人工知能（AI）の深層学習の分野では、2つの基本的なコンセンサスが共有されつつある。
その1つ目は、一部の例外を除いて、ニューラルネットワークの規模は当面の間大きくなっていくというものだ。
そしてもう1つのコンセンサスは、新しいハードウェアが次々に登場しているものの、深層学習の可能性を実現できるかどうかはソフトウェアのイノベーションにかかっているというものだという。
この2つは何を意味しているのだろうか。
それは、大規模で高価なコンピューターを持っている者だけでなく、AIを利用したいすべての人が深層学習にアクセスできるようになるためには、ソフトウェアのイノベーションが必要だということだ。
大手プロセッサーメーカーであるIntelのAIおよびアナリティクス担当バイスプレジデント兼ジェネラルマネージャーを務めるWei Li氏は、「今日のAIの分野を掘り下げていこうとすれば、スーパーコンピューティングの問題になる」と述べている。
Wei Li氏
提供：Intel
「最大規模のモデルをトレーニングするには100万ドル前後の費用がかかるが、この金額はスーパーコンピューター1台の価格に匹敵する」
米ZDNetの取材に応じたLi氏は、そのため、AIの可能性の多くは、普通の人の手には届かない状態になっていると語った。
「AIを研究所に導入して、スタンフォード大学の博士課程の学生が猫や犬を認識するアルゴリズムを作れるようにすることや、サービスプロバイダーが多くのことをできるようすることは、うまくいっている」 と同氏は述べた。
「しかしこれは持続可能ではないし、1兆パラメーターのモデルをトレーニングするのに1000万ドルかかるのであれば、AIを広く利用することはできないだろう」とLi氏は言う。「もしAIを普及させ、どこでもAIを利用できるようしたいと思ったとしても、それを橋渡しする技術はまだ存在しない」
Li氏の考えでは、それを橋渡しするのがソフトウェアだ。ソフトウェアには、研究所で生み出されたブレークスルーを、大小の組織や、CPUやGPU、その他の新たな変わったアクセラレーターチップを含む、さまざまな種類のハードウェアで利用できるようにする力がある。
同氏は、「私はソフトウェアを、AIをあらゆる場所に届けるための橋渡しをする存在だと捉えている」と述べている。
Li氏にとって、現在の行き詰まりは非常に馴染み深いものに感じられるという。同氏は1990年代にコーネル大学で計算機科学の博士号を取得したが、そのときの専門はコンパイラだった。コンパイラとは、プログラムを特定のハードウェアの上で実行できるようにするソフトウェアだ。当時の同氏の研究内容は、ワークロードを多くの計算リソース上で分散的に実行する方法に焦点を当てたものだった。
「素晴らしいことに、私が当時学んだことは、要するにできるだけ高速に何かを実行し、大量のデータを扱うための技術だった」とLi氏は振り返った。
コーネル大学を離れたLi氏は、25年前にIntelに入社した。これは当時同社が、単なるPC用のチップメーカーから、サーバー用チップのトップメーカーに飛躍しようとしていた時期だったからだ。同氏の専門知識は、サーバー用のコンパイラの開発に投入された。「私は常にIntelの最先端分野で働いていた」と同氏は言う。「そのため、仕事は楽しかった」
