AIの経済学が話題になる中、DeepSeekはGPUチップの展開において目を見張るような規模の経済を体現している。
ほかの企業も負けてはいられない。Googleは米国時間3月12日、最新のオープンソース大規模言語モデル（LLM）「Gemma 3」が、推定計算能力のごく一部でDeepSeekのLLM「R1」に迫る精度を出したと発表した。
Googleは、対戦型の競技に広く使用されている指標「イロレーティング」を用いながら、Gemma 3のスコアがDeepSeekのR1の98％に達していると主張している。R1のスコアは1363なのに対し、Gemma 3のスコアは1338である。
現時点では、R1はGemma 3よりも優れているといえる。しかしGoogleの推定によると、R1のスコアを達成するにはNVIDIAの主流GPUチップ「H100」が32個必要だが、Gemma 3ではH100 GPUを1個しか使わないという。
Googleは、同社の計算リソースとイロレーティングのバランスが非常に良いとしている。
Googleは同社のブログ投稿で、Gemma 3を「単一のGPU、またはTPUで実行できる最も高性能なモデル」と称し、同社が独自開発した機械学習（ML）特化型のプロセッサー「Tensor Processing Unit」（TPU）に言及している。
この投稿では「Gemma 3は、そのサイズとしては最先端の性能を発揮し、LLMの性能を評価するオープンソースプラットフォーム『LMArena』のリーダーボードにおいて、人間のフィードバックに基づく初期段階の評価では、『Llama 3.1 405B』『DeepSeek V3』『OpenAI o3-mini』を上回る結果を出している」とイロレーティングを参照しながら伝えている。
「これにより、単一のGPUまたはTPUホスト上で動作する魅力的なユーザー体験を実現できる」
提供：Google
Googleのモデルは、16個のGPUが必要と推定されるMetaの「Llama 3」のイロレーティングを上回っている。ただし、競合他社が使用しているH100チップの数はGoogleの推定値であることに注意してほしい。DeepSeekは、NVIDIAの「H800」GPUを1814個使って、R1で回答を提供する例だけを開示している。
より詳細な情報は、HuggingFaceの開発者ブログ記事で紹介されており、Gemma 3のリポジトリーも提供されている。
データセンターよりもデバイス上での使用を目的としたGemma 3は、R1やその他のオープンソースモデルよりもパラメーター、あるいはニューラルネットワークの「重み」の数値が大幅に低い。一般的に、パラメーターの数が多いほど、より高い計算能力が必要となる。
Gemmaのコードにおけるパラメーター数は10億、40億、120億、270億となっており、現在の基準ではかなり少ない。これに対して、R1のパラメーター数は6710億であり、ネットワークの一部を計算に含めない、または停止することで、そのうちの370億を選択的に使用できる。
このような効率化を実現するのは、広く用いられているAI技術「知識蒸留」である。同技術は、大きなモデルから学習済みのモデルの重みを抽出し、それをGemma 3などの小さなモデルに転送することで、そのモデルの能力を強化する。
