富士通研、Deep Learningのニューラルネット規模を約2倍に拡大するメモリ技術

NO BUDGET 2016年09月26日 07時00分

  • このエントリーをはてなブックマークに追加

TechRepublic Japan関連記事

 富士通研究所は9月21日、学習の高精度化に向けたニューラルネットの大規模化に対応するためGPUの内部メモリの利用効率を向上させる技術を開発し、最大で従来比約2倍規模のニューラルネットの学習を可能にしたと発表した。同社では、今回開発した技術を富士通のAI技術「Human Centric AI Zinrai(ジンライ)」の一つとして、2016年度末までの実用化を目指すほか、すでに発表しているGPUの並列化によるDeep Learning学習処理の高速化技術(8月9日発表)と組み合わせて、技術の改善を行っていくとしている。

 Deep Learningの学習処理においては大量の演算が必要となるため、近年ではGPUを用いて高速に学習を行う技術が注目されている。GPUの高速な演算性能を活用するためには、一連の演算に使用するデータをGPUの内部メモリに格納する必要があるが、GPUは搭載しているメモリの量が一般的なコンピュータより小さいことから、学習可能なニューラルネットの規模が制限されるという課題があった。

 この課題に対し富士通研究所では今回、学習の開始時にニューラルネットの構造を解析して、メモリ領域を効率的に再利用できるように演算順序とデータのメモリへの配置を最適化するメモリ効率化技術を開発した。具体的には、ニューラルネットの各層での学習処理において、重みデータから中間誤差データを求める演算と、中間データから重みデータの誤差を求める演算を独立に実行できることに着目して、学習の開始時にニューラルネットの各層の構造を解析し、より大きなデータを配置しているメモリ領域を再利用できるように演算の処理順序を切り替えることにより、メモリ使用量を削減しているという。



新たに開発されたメモリ効率化技術

 同社ではこの技術を、オープンソースソフトウェアのDeep Learningフレームワーク「Caffe」に実装しGPUの内部メモリ使用量を計測した。研究分野で広く使用されている画像認識用ニューラルネット「AlexNet」(2012年の画像分類コンテストで世界最高認識精度を達成)や「VGGNet」(2014年の位置検出コンテストで世界最高認識精度を達成)を用いた評価では、本技術適用前と比較し40%以上のメモリ使用量削減を達成するなど、GPU1台あたり最大で約2倍の規模のニューラルネットを学習することが可能になったという。

 これにより、複雑な処理が求められる大規模なニューラルネットでもGPUの性能を生かした高速な学習演算が可能となり、より高精度なモデルの開発が加速するとのこと。

ZDNet Japan 記事を毎朝メールでまとめ読み(登録無料)

  • このエントリーをはてなブックマークに追加

この記事を読んだ方に

連載

CIO
シェアリングエコノミーの衝撃
デジタル“失敗学”
コンサルティング現場のカラクリ
Rethink Internet:インターネット再考
インシデントをもたらすヒューマンエラー
トランザクションの今昔物語
エリック松永のデジタルIQ道場
研究現場から見たAI
Fintechの正体
米ZDNet編集長Larryの独り言
大木豊成「仕事で使うアップルのトリセツ」
山本雅史「ハードから読み解くITトレンド放談」
田中克己「2020年のIT企業」
松岡功「一言もの申す」
松岡功「今週の明言」
内山悟志「IT部門はどこに向かうのか」
林 雅之「デジタル未来からの手紙」
谷川耕一「エンプラITならこれは知っとけ」
大河原克行「エンプラ徒然」
内製化とユーザー体験の関係
「プロジェクトマネジメント」の解き方
ITは「ひみつ道具」の夢を見る
セキュリティ
エンドポイントセキュリティの4つの「基礎」
企業セキュリティの歩き方
サイバーセキュリティ未来考
ネットワークセキュリティの要諦
セキュリティの論点
スペシャル
エンタープライズAIの隆盛
インシュアテックで変わる保険業界
顧客は勝手に育たない--MAツール導入の心得
「ひとり情シス」の本当のところ
ざっくり解決!SNS担当者お悩み相談室
生産性向上に効くビジネスITツール最前線
ざっくりわかるSNSマーケティング入門
課題解決のためのUI/UX
誰もが開発者になる時代 ~業務システム開発の現場を行く~
「Windows 10」法人導入の手引き
ソフトウェア開発パラダイムの進化
エンタープライズトレンド
10の事情
座談会@ZDNet
Dr.津田のクラウドトップガン対談
Gartner Symposium
IBM World of Watson
de:code
Sapphire Now
VMworld
Microsoft WPC
Microsoft Connect()
HPE Discover
Oracle OpenWorld
Dell Technologies World
AWS re:Invent
AWS Summit
PTC LiveWorx
吉田行男「より賢く活用するためのOSS最新動向」
古賀政純「Dockerがもたらすビジネス変革」
中国ビジネス四方山話
ベトナムでビジネス
日本株展望
企業決算
このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]