富士通研究所、ディープラーニングの高速化技術を開発--GPU1台比27倍の実験結果

NO BUDGET 2016年08月10日 12時42分

  • このエントリーをはてなブックマークに追加

 富士通研究所は8月9日、スーパーコンピュータのソフトウェア並列化技術を応用し、複数のGPUを使ってディープラーニングの学習速度を高速化するソフトウェア技術を開発したと発表した。ディープラーニングによる研究開発期間が短縮され、より高品質な学習モデルの開発が可能になるという。富士通のAI技術「Human Centric AI Zinrai(ジンライ)」の一つとして2016年度中の実用化を目指し、ユーザーとともにAIの活用に取り組んでいく予定。また、学習速度のさらなる向上を目指して技術の改善していく。

 ディープラーニングでは大量のデータを何度も学習する必要があるため、学習の際にはCPUより高速な演算に適しているGPUが広く利用されており、さらに短時間で処理できるよう複数のGPUを並列動作させるディープラーニングソフトウェアが開発されてきている。このとき、1台のコンピュータに搭載できるGPU数の制約があることから、より多数のGPUを利用する際には、高速なネットワークで複数のコンピュータを相互接続し、データを共有しながら学習処理を進めることが必要となってくる。

 しかし、ディープラーニングの並列処理では、共有が必要となる処理単位において、共有が必要なデータ量と演算時間にばらつきがあり、加えて前の演算結果を利用しながら順に演算をすることから、並列処理におけるデータ共有が複雑になる。そのため、コンピュータ間の通信時間が余分にかかり、コンピュータの台数を増やしても、高速化の効果が得にくいという課題があった。既存の手法では、10数台を超えると並列化の効果が得られにくくなるとされている。

 これに対し今回、富士通研究所では通信と演算を同時並列に実行するというスーパーコンピュータの技術に加え、ディープラーニングの処理の順序と共有するデータサイズの特徴に合わせて処理方法を変える次の2つの技術を開発、適用した。大小さまざまな共有データサイズが含まれる場合においても、処理と処理の間の待ち時間の増加を抑えて学習処理の高速化を実現した。

 開発した技術の概要は以下の通り。

データ共有のスケジューリング技術

 連続的に続く複数の演算で、次の学習処理の開始に必要となるデータが先にそれぞれのコンピュータで共有されるように転送の優先順序を自動的に制御する。

 具体的には、従来技術(下図の左)では、次の学習処理の最初に必要となる1層のデータ共有処理が最後に行われるため、データ共有処理による遅延が長くなっているのに対し、今回の開発技術(下図の右)では、2層目のデータ共有処理途中に1層目のデータ共有処理を行うことで、次の学習処理の開始までの待ち時間を短縮する動作を実現。


データ共有のスケジューリング技術

データサイズに応じた演算最適化処理技術

 演算結果を全コンピュータで共有する処理において、元となるデータ量が少ない時は各コンピュータでデータを共有して同じ演算を実行し、結果を転送する時間を削減(下図の上段)。データ量が多い時は処理を分割し、他のコンピュータと算出した結果を共有して、後の演算で利用する(下図の下段)。データの量に応じて最適な演算方法を行うよう自動で振り分けることにより、全体の演算時間を最小化。


共有データサイズが小さい場合(上段)と大きい場合(下段)による、処理の違い

 富士通研究所では今回開発した技術を、広く用いられているオープンソースのディープラーニングフレームワーク「Caffe」に実装し、その効果を検証した。ニューラルネットのサンプルとして画像認識用多層ニューラルネット「AlexNet」を用い、GPUをそれぞれ搭載した64台のコンピュータにおける学習時間を計測したところ、GPUを1台だけ使用した場合に比べ27倍の速度を達成、コンピュータ1台では約1か月かかる学習処理を、GPUを64台並列動作させることで1日程度で処理することが可能となった。同社によると、本技術適用前と比較してGPU16台で46%、64台で71%の学習速度の向上を実現したという。

 同社では、本技術を利用することにより、ロボットや自動車などの自動制御や、医療や金融などの分野において病変分類や株価予測に独自のニューラルネットモデルを開発する場合など、ディープラーニングの研究開発時間を短縮することができ、より高品質なモデルの開発が可能になるとしている。

ZDNet Japan 記事を毎朝メールでまとめ読み(登録無料)

  • このエントリーをはてなブックマークに追加

この記事を読んだ方に

関連ホワイトペーパー

連載

CIO
IT部門の苦悩
Rethink Internet:インターネット再考
インシデントをもたらすヒューマンエラー
トランザクションの今昔物語
エリック松永のデジタルIQ道場
研究現場から見たAI
Fintechの正体
米ZDNet編集長Larryの独り言
大木豊成「仕事で使うアップルのトリセツ」
山本雅史「ハードから読み解くITトレンド放談」
田中克己「2020年のIT企業」
松岡功「一言もの申す」
松岡功「今週の明言」
内山悟志「IT部門はどこに向かうのか」
林 雅之「デジタル未来からの手紙」
谷川耕一「エンプラITならこれは知っとけ」
大河原克行「エンプラ徒然」
内製化とユーザー体験の関係
「プロジェクトマネジメント」の解き方
ITは「ひみつ道具」の夢を見る
セキュリティ
「企業セキュリティの歩き方」
「サイバーセキュリティ未来考」
「ネットワークセキュリティの要諦」
「セキュリティの論点」
スペシャル
ざっくりわかるSNSマーケティング入門
課題解決のためのUI/UX
誰もが開発者になる時代 ~業務システム開発の現場を行く~
「Windows 10」法人導入の手引き
ソフトウェア開発パラダイムの進化
エンタープライズトレンド
10の事情
座談会@ZDNet
Dr.津田のクラウドトップガン対談
Gartner Symposium
IBM World of Watson
de:code
Sapphire Now
VMworld
Microsoft WPC
Microsoft Connect()
HPE Discover
Oracle OpenWorld
Dell EMC World
AWS re:Invent
AWS Summit
PTC LiveWorx
より賢く活用するためのOSS最新動向
古賀政純「Dockerがもたらすビジネス変革」
中国ビジネス四方山話
ベトナムでビジネス
米株式動向
日本株展望
企業決算