SambaNova、富岳で学習した「Fugaku-LLM」を「Samba-1 CoE」のエキスパートに

河部恭紀 (編集部)

2024-05-14 10:36

 SambaNova Systemsは5月13日、「Fugaku-LLM」を「Samba-1 Composition of Experts(CoE)」のエキスパートとして導入したと発表した。エキスパートとは特定の分野に特化したモデルのこと。

 Fugaku-LLMは、スーパーコンピューター「富岳」で学習され、日本語能力を強みとする大規模言語モデル(LLM)。5月10日に「Hugging Face」や「GitHub」にて公開されている。

 SambaNova独自のCoEアーキテクチャーは、複数の専門家モデルを集約し、用途に応じて最適なエキスパートを選択することでパフォーマンスと精度を向上させる。Fugaku-LLMはCoEアーキテクチャー上に実装され、3層のメモリーとデータフローアーキテクチャーを持つSambaNovaの「SN40L」システム上で最適に動作するという。

 「富岳によってゼロからから大規模に学習された日本語のLLMであるFugaku-LLMが、SambaNovaのCoEにいち早く導入され、多くの人が富岳の成果を利用できるようになることは大変喜ばしい」と理化学研究所計算科学研究センターでセンター長を務める松岡聡氏はいい、「SambaNovaのCoEの柔軟性と拡張性の高さは、世界のスーパーコンピューターによるLLM学習の成果をホストする基盤として大いに期待できる」とした。

 SambaNova Systemsの共同創業者で最高経営責任者(CEO)のRodrigo Liang氏は、「SambaNovaのSamba-1 CoEは、オープンソースによるベストオブブリード戦略を採用しており、常に世界最高水準で最速のAIモデルにアクセスできるようにしている」とし、「今回、日本が誇る富岳でスクラッチから学習されたFugaku-LLMをCoEのエキスパートの一つとして加えたことは、この戦略に合致している。富岳の成果をいち早く取り入れられたことを大変うれしく思う」と述べた。

出典:SambaNova Systems
出典:SambaNova Systems

ZDNET Japan 記事を毎朝メールでまとめ読み(登録無料)

ZDNET Japan クイックポール

マイナンバーカードの利用状況を教えてください

NEWSLETTERS

エンタープライズコンピューティングの最前線を配信

ZDNET Japanは、CIOとITマネージャーを対象に、ビジネス課題の解決とITを活用した新たな価値創造を支援します。
ITビジネス全般については、CNET Japanをご覧ください。

このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]