SambaNova Systems、言語モデルに最適化された半導体「SN40L」を発表

河部恭紀 (編集部)

2023-09-21 07:30

 フルスタックAIプラットフォームベンダーSambaNova Systemsは9月19日、新しい半導体「SN40L」を発表した。同社の大規模言語モデル(LLM)プラットフォーム「SambaNova Suite」を強化する。

 SN40Lは、言語モデルに最適化され、シングルシステムノードでシークエンス長が25万で、5兆個のパラメータを扱うことが可能。TSMCの5nmテクノロジーをベースとし、104.3Kmのワイヤー長、1026億個のトランジスターを持つ。同社「Cerulean」アーキテクチャーに基づく再構成可能なデータフローユニット(Reconfigurable Dataflow Unit:RDU)コアを1040個搭載し、638TFLOPS(bf16)という性能を備える。

画像1

 SN40Lの特徴の一つとして、同社で製品担当上級副社長を務めるMarshall Choy氏は、3層データフローメモリーの採用を挙げる。従来は高速なオンチップメモリーと大容量のDDRメモリーという2層だったが、Ceruleanベースのアーキテクチャーでは中間層として広帯域メモリー(HBM)を加えて3層としているという。

オンラインで発表会見に参加し、SN40Lを手にするMarshall Choy氏
オンラインで発表会見に参加し、SN40Lを手にするMarshall Choy氏

 3層のデータフローメモリーにより、学習性能はワークロードにもよるが1.5〜2倍以上まで向上し、推論性能も大幅に改善しているとChoy氏は述べ、1兆パラメータ級で300トークン/秒の推論性能を持ち、「NVIDIA DGX H100」と比べて推論スループットは2.5倍とアピールする。

 SN40Lの発表とともに、SambaNova Suiteの機能強化も明らかにした。SambaNova Suiteは、オンプレミスまたはクラウドで展開可能で、半導体からモデルまでが統合されている。今回、事前学習済みファンデーションモデルが「Bloom 176B」「Llama-2 7B/70B」にも対応した。

 また、ベクトルベースの検索補完生成(RAG)のための新しい埋め込みモデルは、ユーザーの文書をベクトル埋め込みに取り込むことを可能にし、Q&Aの過程で検索することができ、ハルシネーション(幻覚)を防ぐ。その結果をLLMにより情報を分析、抽出、要約できる。

 他には、音声データの書き起こしおよび分析する自動音声認識モデル、マルチモーダルおよび長いシーケンス長の機能の追加、3層のデータフローメモリーによる推論にも最適化されたシステムなどが含まれる。

鯨岡俊則氏
鯨岡俊則氏

 アジア太平洋地域ゼネラルマネージャーを務める鯨岡俊則氏は、生成AIに関する現在のトレンドについて触れ、コンシューマーと企業とで用途の違いがあると述べる。企業用途では、特定領域に特化したコーパスや社内の議事録・レポートといった機密性の高い非公開データを学習に使う必要があるという。

 また、同氏は、顧客が生成AIモデルを所有する重要性も指摘する。SambaNovaが提供する顧客所有モデルの場合、「組織内部のデータの正確性」「安全かつ非公開でモデルを適応」「モデルの重みの可視性」「学習データと学習方法の可視性」といった利点とともに、異なるプラットフォームへのモデル移動可能性を挙げる。

 SN40Lは、クラウドでの利用は可能で、出荷は、オンプレミス対象で11月を目途に開始する予定だという。

ZDNET Japan 記事を毎朝メールでまとめ読み(登録無料)

ホワイトペーパー

新着

ランキング

  1. セキュリティ

    ISMSとPマークは何が違うのか--第三者認証取得を目指す企業が最初に理解すべきこと

  2. セキュリティ

    情報セキュリティに対する懸念を解消、「ISMS認証」取得の検討から審査当日までのTo Doリスト

  3. 運用管理

    IT管理者ほど見落としがちな「Chrome」設定--ニーズに沿った更新制御も可能に

  4. セキュリティ

    従来型のセキュリティでは太刀打ちできない「生成AIによるサイバー攻撃」撃退法のススメ

  5. セキュリティ

    シャドーITも見逃さない!複雑化する企業資産をさまざまな脅威から守る新たなアプローチ「EASM」とは

ZDNET Japan クイックポール

所属する組織のデータ活用状況はどの段階にありますか?

NEWSLETTERS

エンタープライズコンピューティングの最前線を配信

ZDNET Japanは、CIOとITマネージャーを対象に、ビジネス課題の解決とITを活用した新たな価値創造を支援します。
ITビジネス全般については、CNET Japanをご覧ください。

このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]