SambaNova、Fugaku-LLMをSamba-1 Composition of Expertsのエキスパートに導入

ISC24、ドイツ・ハンブルグ、2024年5月13日－ SambaNova Systems（ (リンク ») ）は本日、日本最速のスーパーコンピュータ「富岳」で学習された日本語に特化した大規模言語モデルで、5月10日にHugging Faceに公開された「Fugaku-LLM」を、SambaNovaの独自技術であるSamba-1 Composition of Experts（CoE）のエキスパートとして導入したことを発表しました。


理化学研究所計算科学研究センターの松岡聡センター長は、次のように述べています。「スーパーコンピュータ「富岳」によってゼロからから大規模に学習された日本語の大規模言語モデルであるFugaku-LLMが、SambaNovaのCoEにいち早く導入され、多くの人が「富岳」の成果を利用できるようになることは大変喜ばしいことです。SambaNovaのCoEの柔軟性と拡張性の高さは、世界のスーパーコンピュータによる大規模言語モデル学習の成果をホストする基盤として多いに期待できます。」

SambaNova Systems の共同創業者兼CEOであるロドリゴ・リアンは次のように述べています。「SambaNovaのSamba-1 CoEは、オープンソースによるベスト・オブ・ブリード戦略を採用しており、常に世界最高水準で最速のAIモデルにアクセスできるようにしています。今回、日本が誇るスーパーコンピュータ「富岳」でスクラッチから学習された日本語の大規模言語モデルであるFugaku-LLMをCoEのエキスパートの一つとして加えたことは、この戦略に合致しています。「富岳」の成果をいち早く取り入れられたことを大変嬉しく思います。」

SambaNova独自のCoEアーキテクチャは、複数の専門家モデルを集約し、用途に応じて最適なエキスパートを選択することでパフォーマンスと精度を向上させます。Fugaku-LLMはCoEアーキテクチャ上に実装されており、3層のメモリとデータフローアーキテクチャーを持つSambaNovaのSN40Lシステム上で最適に動作します。

Samba-1 CoE上のFugaku-LLMは、ISC24（ (リンク ») ）のSambaNovaブースでデモをご覧いただくことができます。

SambaNova Systemsについて
最先端の生成AI機能を企業内に迅速に展開するために、SambaNovaに注目が集まっています。 SambaNovaのエンタープライズスケールのために構築されたAIプラットフォームは、次世代の生成AIコンピューティングのための技術的バックボーンです。
カリフォルニア州パロアルトに本社を置くSambaNova Systemsは、業界の著名人や、サン／オラクルおよびスタンフォード大学のハードウェアおよびソフトウェア設計の専門家によって、2017年に設立されました。投資家には、SoftBank Vision Fund 2、BlackRock、Intel Capital、GV、Walden International、Temasek、GIC、Redline Capital、 Atlantic Bridge Ventures、Celestaなどが含まれています。sambanova.ai（ (リンク ») ）をご覧いただくinfo@sambanova.aiまでご連絡ください。
日本語サイト： (リンク »)