10年近く前に、NVIDIA主催の年次イベントとして初めて「GPU Technology Conference」（GTC）が開催されたとき、同社は専門分野に特化した自社のチップを展開できる新たな市場を模索していた、ゲーム向けチップの企業だった。当時の主なターゲットは、ハイパフォーマンスコンピューティング市場だった。その後、「AlexNet」が登場して2012年の画像認識コンペ「ImageNetチャレンジ」に圧勝し、トレーニングにGPUを使用する多層ニューラルネットワークの流行が始まった。今日では、NVIDIAのデータセンター事業の年間売上高は20億ドル（約2100億円）に達しており、追いすがるライバル大手企業に大差をつけている。一方でベンチャーキャピタリストは、さらに優れた製品を作ることを目指す、AI関連ハードウェアのスタートアップに投資している。
現在のNVIDIAには、もうGPUを使ったコンピューティングの事例を作る必要はない。GTC 2018でオープニング基調講演を行った同社の最高経営責任者（CEO）Jensen Huang氏の仕事は、参加した8500人の開発者に、NVIDIAが今後もこのリードを維持し、より多くの人に人工知能（AI）のメリットを提供していくことを納得させることだった。
Huang氏は、同社がこれまでに下した中でもっとも優れた判断の1つは、ゲームのために開発されたプロセッサが、汎用ハードウェアになり得ると信じたことだったと語った。NVIDIAのGPU向けコンピューティングプラットフォーム「CUDA」はこれまでに800万回以上もダウンロードされており、世界的な高速スーパーコンピュータランキングのトップ50は、GPUを使って370ペタフロップスもの処理能力を発揮するようになっている。「GPUコンピューティングの導入は明らかに増えており、しかもかなりのペースで成長している」と同氏は述べている。
これは、新しいアーキテクチャやインターコネクト、アルゴリズム、システムなどによって、急速にGPUの大規模利用が可能になったためだ。CPUの性能はムーアの法則によってこの5年間で5倍になったが、GPUは同じ期間に分子動力学によるシミュレーションを25倍加速した。今では、600キロワットの電力を消費する、600台のデュアルCPUサーバを相互接続した従来型のHPCクラスタを、消費電力48キロワットの、「Tesla V100」を4基搭載したサーバ30台で代替することもできる。また、今後登場するエクサスケールのシステムでは、これまで数カ月かかっていたシミュレーションが1日で終えられるようになるが、それを受けて、研究者はより大規模なシミュレーションを作り始めると考えられている。「新しい法則が登場している」とHuang氏は言う。「世界はより大きなコンピュータを必要としている。なぜなら、やるべき重要な仕事があるからだ」
深層学習の世界でも、同様の進化が起きつつある。AlexNetの畳み込みニューラルネットワーク（CNN）は8階層で、数百万のパラメータを持っていた。それから5年が経過したが、その間にCNNの「カンブリア爆発」が起こり、再帰型ニューラルネットワーク（RNN）や敵対的生成ネットワーク（GAN）、強化学習、カプセルネットワークを始めとする新種などの新たなモデルが登場した。これらのニューラルネットワークのモデルは、500倍の複雑さと、数百の階層、数十億のパラメータを持っており、高速なハードウェアに対する需要は高まり続けている。「世界は途方もないGPUを求めている」とHuang氏は述べている。
