オープンソースの取り組みは、これからも人工知能(AI)の民主化で大きな役割を果たしてくれそうだ。
NovaSkyの「Sky-T1-32B-Preview」
カリフォルニア大学バークレー校を拠点とするNovaSkyの研究チームは先ごろ、OpenAIの「OpenAI o1-preview」に匹敵する性能を持つ新しい推論モデル「Sky-T1-32B-Preview」を発表した。ただし、Sky-T1-32B-Previewはオープンソースで、8基のNVIDIA製GPU「NVIDIA H100」を使用しており、かかった費用は450ドル(約7万円)足らず、開発に要した時間はわずか19時間だった。
研究チームは、中国の阿里巴巴(アリババ)の「Qwen2.5-32B-Instruct」を微調整してSky-T1-32B-Previewを開発し、o1-previewに匹敵するもう1つのオープンソースモデル「QwQ-32B-Preview」を用いて生成されたデータでトレーニングした。トレーニングに合成データを利用することでコストの削減が可能になる。

提供:UC Berkeley
OpenAI o1-previewを超えるパフォーマンス
Sky-T1-32B-Previewのパフォーマンスは、数学とコーディングのベンチマークではo1-previewと同等以上だったが、より高度な物理関連の質問を含む大学院レベルのベンチマーク「GPQA-Diamond」ではo1-previewに及ばなかった。NovaSkyは、重みやデータ、インフラ、詳細な技術情報など、Sky-T1-32B-Previewのすべての部分をオープンソース化した。
「o1」はすでにプレビューの段階を脱したため、初期リリース時より性能が高い。さらに、OpenAIはすでに、o1の性能を上回るという「OpenAI o3」のリリースを準備中だ。それでも、NovaSkyのチームがブログで指摘しているように、Sky-T1がこれほど迅速に開発できたという事実は「高度な推論能力を手頃な費用で効率よく再現できることを示している」。
手頃な費用の推論モデル
トレーニングに要したのが比較的短い19時間だったため、Lambda Cloudの料金設定によると、Sky-T1の開発に要した費用はわずか450ドルだ、と研究チームはブログへの投稿で明らかにしている。「GPT-4」がコンピュートに7800万ドル(約122億円)かかったとされていることを考えると、OpenAIほどの資金がない学術機関やオープンソースグループがまねできる手頃な費用の推論モデルの一例を示したのは、なかなかの成果だ。
生成AIを導入した人の半数近くは、費用と信頼性に関する懸念を挙げて、オープンソースのAIを求めている。オープンソースのAIで躍進が続けば、規模が比較的小さい研究所や非営利団体などが競合モデルを開発できるもっと公平な機会を生み出すことが可能となり、もはや大手テクノロジー企業に支配されてしまった新分野を一新する転換点となるかもしれない。

提供:ZDNET
この記事は海外Ziff Davis発の記事を朝日インタラクティブが日本向けに編集したものです。