グーグルの機械学習プロセッサ“開発物語”

國谷武史 (編集部) 2018年07月10日 06時00分

  • このエントリーをはてなブックマークに追加

 マシンラーニングやディープラーニングでは、膨大なデータの「学習」と学習データから導く「推論」の2つの処理において膨大なコンピューティングリソースを必要とする。そのためのハードウェア開発では多くのIT企業が凌ぎを削り、その1つのGoogleは2013年から独自の専用プロセッサ「Tensor Processing Unit(TPU)」を開発する。同社が開催したメディアセミナーでは、最新世代のTPU 3.0に至るまでの道のりが語られた。

 TPUは、Googleが2015年11月にマシンラーニングを開発するためのオープンソースライブラリとして公開した「TensorFlow」を実行するための独自のチップセットで、初代のTPU v1は2016年5月、2代目のTPU v2は2017年5月、TPU 3.0は2018年5月にそれぞれ発表。ほぼ1年ごとに世代が進化する。TPU v2から、多数のTPUを組み合わせた大規模システム「TPU Pod」を開発し、同時にTPU単体のリソースをインターネット経由する「Cloud TPU」(現在はGoogle Computing Platformで提供されるβ版サービス)も開始した。

TPU v1とTPU v2

Google Cloud デベロッパーアドボケイトの佐藤一憲氏
Google Cloud デベロッパーアドボケイトの佐藤一憲氏

 Google Cloud デベロッパーアドボケイトを務める佐藤一憲氏によると、TPUの開発構想は2006年ごろからあったという。Google内部でマシンラーニングでのニューラルネットワークの利用が広がるにつれ、当時の全てのデータセンターが持つコンピューティングリソースの2倍が必要になるとの見通しが判明したことから、ニューラルネットワークでの行列計算処理に特化したASIC(特定用途の集積回路)開発の必要性が高まった。

 TPU開発の狙いは、あくまでディープラーニングの行列演算を低消費電力で高速に処理することにあったことから、TPU v1ではまず膨大なデータの「推論」処理のみとし、行列演算の最適化を図ることに重点が置かれた。開発は2013年に本格化し、2015年からまず検索、翻訳、画像などのサービスで実運用を開始した(公表は2016年5月)。1年強での実用化は、こうしたチップセットの開発では異例とも言えるスピードになる。

 28ナノミリプロセスで製造され、動作周波数は400MHz、消費電力は40ワット。6万5536個の8ビット演算器が実装された。同時代のIntel Haswell(第4世代Intel Coreプロセッサ)に比べ、行列演算の処理性能は15~30倍、電力性能としては30~80倍だったという。

 最適化においては、研究から汎用性が求められる32ビットプロセッサほどの計算精度を必要としないことが分かり、16ビットで「学習」、8ビットで「推論」の処理を行う。また、行列演算の高速化では「シストリックアレイ」と呼ばれるアーキテクチャで、行列演算を並列・連続的に行う。

「Tensor Processing Unit(TPU)」の動作イメージ
「Tensor Processing Unit(TPU)」の動作イメージ

 続くTPU v2は「学習」処理が追加され、3万2768個の16ビット演算器で構成される。ユニット単体では最大180テラフロップスの浮動小数点演算が可能になり、64ユニットのTPU v2で構成されるTPU Podは、11.5ペタフロップスを記録する。米スタンフォード大学が公開しているディープラーニングのベンチマーク「Dawnbench」でのResidual Network(ResNet)-50を用いた評価では、精度93%での学習時におけるCloud TPUのコストが7ドル50セントとされ、これはGPUを用いる場合の約10分の1程度になるという。また、学習に要する時間はTPU Podの半分のリソースで最速となる30分だった。

機械学習は誰でも利用できるサービスに

 2018年5月に発表した最新のTPU 3.0では、冷却方法が空冷から水冷に変更されたことで、TPU v2よりも高密度実装が可能になった。TPU 3.0単体の処理性能は公表していないが、TPU PodとしてはTPU v2比で約8倍の100ペタフロップスになるという。Googleは、2018年中にTPU v2ベースのTPU PodによるCloud TPUサービスの提供を予定。ただ、現時点でTPU 3.0単体およびTPU 3.0ベースのTPU PodによるCloud TPUサービスの提供はしていない。

 佐藤氏によれば、TPUは、マシンラーニングの技術をだれもが容易に利用できるサービスとして提供するためのコンピューティングリソースという位置付けであり、一般への外部販売などは計画していない。将来的な利用の拡大に向けては、2017年11月に組み込みデバイスでTensorFlowを利用できるようにするフレームワーク「TensorFlow Lite」を発表。Androidスマートフォンなどのデバイス側でも推論処理が可能になり、AIサービスのさらなる拡大を目指していくと説明している。

(訂正:初出時の記事内容に一部誤りがございました。お詫びして訂正いたします。)

GoogleのサービスでのTPU利用は検索や翻訳、フォトでスタート

GoogleのサービスでのTPU利用は検索や翻訳、フォトでスタート

Scroll Right Scroll Left
  • このエントリーをはてなブックマークに追加

連載

CIO
ITアナリストが知る日本企業の「ITの盲点」
シェアリングエコノミーの衝撃
デジタル“失敗学”
コンサルティング現場のカラクリ
Rethink Internet:インターネット再考
インシデントをもたらすヒューマンエラー
トランザクションの今昔物語
エリック松永のデジタルIQ道場
研究現場から見たAI
Fintechの正体
米ZDNet編集長Larryの独り言
大木豊成「仕事で使うアップルのトリセツ」
山本雅史「ハードから読み解くITトレンド放談」
田中克己「展望2020年のIT企業」
松岡功「一言もの申す」
松岡功「今週の明言」
内山悟志「IT部門はどこに向かうのか」
林 雅之「デジタル未来からの手紙」
谷川耕一「エンプラITならこれは知っとけ」
大河原克行「エンプラ徒然」
内製化とユーザー体験の関係
「プロジェクトマネジメント」の解き方
ITは「ひみつ道具」の夢を見る
セキュリティ
エンドポイントセキュリティの4つの「基礎」
企業セキュリティの歩き方
サイバーセキュリティ未来考
ネットワークセキュリティの要諦
セキュリティの論点
スペシャル
エンタープライズAIの隆盛
インシュアテックで変わる保険業界
顧客は勝手に育たない--MAツール導入の心得
「ひとり情シス」の本当のところ
ざっくり解決!SNS担当者お悩み相談室
生産性向上に効くビジネスITツール最前線
ざっくりわかるSNSマーケティング入門
課題解決のためのUI/UX
誰もが開発者になる時代 ~業務システム開発の現場を行く~
「Windows 10」法人導入の手引き
ソフトウェア開発パラダイムの進化
エンタープライズトレンド
10の事情
座談会@ZDNet
Dr.津田のクラウドトップガン対談
Gartner Symposium
IBM World of Watson
de:code
Sapphire Now
VMworld
Microsoft WPC
Microsoft Connect()
HPE Discover
Oracle OpenWorld
Dell Technologies World
AWS re:Invent
AWS Summit
PTC LiveWorx
吉田行男「より賢く活用するためのOSS最新動向」
古賀政純「Dockerがもたらすビジネス変革」
中国ビジネス四方山話
ベトナムでビジネス
日本株展望
企業決算
このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]