Microsoft、Cray、スイス国立スーパーコンピューティングセンター(CSCS)の研究者から成るチームは、スーパーコンピュータ上での深層学習アルゴリズムの実行を高速化するプロジェクトを進めてきた。
同チームはオープンソースの深層学習アルゴリズムトレーニングツールキットである「Microsoft Cognitive Toolkit」を拡張し、CSCSが所有するスーパーコンピュータ「Cray XC50」でNVIDIA製GPUアクセラレータ「Tesla P100」を1000基以上使用できるようにした。このスーパーコンピュータには、「Piz Daint」というニックネームが付けられている。
Crayによれば、今回のプロジェクトの成果により、研究者がスーパーコンピュータで、複数の層を持つ、より大規模かつ複雑なワークロードを実行できるようになる可能性がある。
深層学習は急速に進歩している機械学習の一分野で、複雑な問題を解くに当たって、複数のニューラルネットワークを階層的に使用する手法だ。研究者はより大規模な深層学習モデルを使用したいと考えているものの、従来のシステムやアーキテクチャでは、モデルが大きいとトレーニングに時間がかかりすぎるため、適用できる問題の規模が限られていた。
しかし、トレーニングの処理を加速することによって、数週間や数カ月ではなく、数時間、あるいは数分で結果を得ることができるようになる。これによって、画像認識から動画認識、あるいは音声認識から文脈を踏まえた自然言語処理にステップアップするなど、新たなコンピューティングの課題に挑戦できる可能性がある。
Crayによれば、深層学習で扱う問題には、これまで超並列スーパーコンピュータで実行されていたアプリケーションとアルゴリズムの面で類似性がある。今回の研究では、各トレーニングジョブのノード間通信を最適化することによって、従来よりはるかに多くの計算資源を利用できるようにし、個々のモデルのトレーニングに必要な時間を短縮したという。
CSCSのディレクターを務めるThomas Schulthess教授によれば、今回の成果を活用することで、研究者や科学者が既存のCray XCを使用して、「これまでは不可能だった」新たなクラスの深層学習の問題に取り組めるようになるという。
この記事は海外CBS Interactive発の記事を朝日インタラクティブが日本向けに編集したものです。