海外コメンタリー

Hadoop生みの親が語るビッグデータの未来、インメモリやクラウド技術の進展 - (page 2)

Nick Heath (TechRepublic) 村上雅章 野崎裕子

2016-06-15 06:00

 XPointは当初、ストレージ製品に採用され、「Optane」ブランドのSSDとして提供されるものの、Intelはそれに引き続き、XPointを採用したメモリモジュールもリリースする計画だ。XPointにより従来のDRAMよりも高い記録密度を実現できるため、サーバは現在よりも大容量のメモリを搭載できるようになる。同社によると、DDR4 DRAMとXPointを組み合わせ、6Tバイトのメモリを搭載した「Intel Xeon」サーバを2017年に発売する予定だという。とは言うものの、XPointはパフォーマンス面でDRAMを上回ることはない。XPoint搭載SSDのリリースに先立つデモによると、レイテンシが7マイクロ秒、1秒あたり入出力処理回数(IOPS)が7万8000となっている。この性能はDRAMよりも遅く、一部の推定では高性能のSSDと比べても20倍以上の性能差は開かないとされている。

 それでもCutting氏は、Hadoopクラスタ内でXPointやその他の不揮発性メモリが使用されるようになれば、新たなユーザーが同プラットフォームを採用し、メモリ内でより大きなデータセットを処理することで、ディスクからのデータ取得につきもののレイテンシという問題を避けられるようになると予想している。

 独自のHadoopディストリビューションを手がけるClouderaに籍を置くCutting氏は、「ペタバイト規模のデータをメモリ上に配置でき、どのノードからでも数サイクル以内にアクセスできるようになれば、ある種のアルゴリズムにおいてパフォーマンスは数段階の向上を遂げることになる」と述べた。

 「グラフ処理や、反復処理を必要とする機械学習アルゴリズム、クラスタ処理といった、現時点で極めてコストが高いとされている処理、つまり従来では非常に長い時間を要した処理が、今や短時間で実行でき、かつ驚くほど大量のデータを取り扱えるようになってきている」(Cutting氏)

 同氏は「データセットがあまりにも巨大であり、計算速度があまりにも遅いという状況は依然としてあるが、事態は大きく変わるはずだ」と述べ、ネットワークトラフィック関連のレイテンシはリモートダイレクトメモリアクセス(RDMA)やギガビットイーサネット(GbE)対応スイッチによって低減するだろうと付け加えた。

 Intelは2014年、Clouderaに推定7億4000万ドルを投資した。またパートナー関係の一環としてIntelは、同社が計画している新たな機能やハードウェアに関する情報をClouderaに提供することで、ClouderaのHadoopディストリビューションがそういったテクノロジを活用できるようにしている。

 Cutting氏はXPointについて、「われわれの提供するツールでその利点を確実に引き出せるようにしたい」と述べた。

 Cutting氏は「われわれは、メモリ内に既に存在しているデータ構造にアクセスする際のCPU使用率を抑えるために多大な労力を注いできている」と述べるとともに、Clouderaはインメモリデータの処理においてCPUがボトルネックとなるような不必要な操作を避けようとしてきていると付け加えた。

ZDNET Japan 記事を毎朝メールでまとめ読み(登録無料)

ZDNET Japan クイックポール

自社にとって最大のセキュリティ脅威は何ですか

NEWSLETTERS

エンタープライズ・コンピューティングの最前線を配信

ZDNET Japanは、CIOとITマネージャーを対象に、ビジネス課題の解決とITを活用した新たな価値創造を支援します。
ITビジネス全般については、CNET Japanをご覧ください。

このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]