海外コメンタリー

インメモリビッグデータシステムをつなぐ「Apache Arrow」 - (page 2)

Andrew Brust (Special to ZDNet.com) 翻訳校正: 石橋啓一郎 2016年02月24日 06時30分

  • このエントリーをはてなブックマークに追加
  • 印刷

 ステルススタートアップであるDremioの共同創業者兼最高技術責任者(CTO)であり、Arrowのプログラム管理委員会(PMC)委員長でもあるJaques Nadeau氏は、2月第2週にこのプロジェクトについて筆者に説明してくれた。Apache DrillのPMC委員長でもあるNadeau氏によれば、Drill、Impala、Kudu、Parquet、Ibis、Sparkが2016年中にArrowに対応するという。また、ほかのオープンソースプロジェクトもこれに続く予定になっている。さらに、商用プロジェクトもこのArrowの流れに乗るのかとNadeau氏に聞いてみたところ、同氏は楽観的な見通しを示した。

Arrowの恩恵

 複数のプロジェクトでArrowが使えるようになれば、それらのプロジェクトの間では、少ないオーバーヘッドでデータを共有できる。これは、複数の独自のインメモリデータフォーマット間で、データのシリアライズやデシリアライズを行う必要がなくなるためだ。同じクラスタ上にインストールされたシステムでは、各ノードでメモリを共有していれば、データを移動したり変換したりする必要はなくなる。

 その代わり、異なるプロジェクトや製品がパイプラインを形成し、データに対して順番に累積的な形で処理を行うことが可能になる。また、Arrowのフォーマットは最新のCPUアーキテクチャに合わせて最適化されており、オンチップキャッシュストレージや、CPUの1クロックサイクルで複数の値を同時に処理できるIntelのSIMD(Single Instruction Multiple Data)命令を最大限に活用できる。

 開発者もこの恩恵にあずかることができる。最初に提供される言語バインディングは、Java、Python、C、C++であり、これらの言語を使っている開発者は、Arrowに対応するビッグデータプロジェクトと同じパイプラインに自分のアプリケーションを加えることができる。R、Julia、JavaScriptの言語バインディングも、近日中に利用できるようになるはずだ。

ビッグデータ業界における標準化の必要性

 この取り組みは実を結ぶだろうか?このような協力プロセスは、本当にうまくいくのだろうか?Nadeau氏の話によると、13のプロジェクトのリーダーはすでに協力してプロジェクトに取り組んでおり、その取り組みは技術的なことだけでなく、現在まで情報をほぼ秘密にしてきたことなどにも及んでいる。これはよい前兆だ。

 筆者はこれまで、ビッグデータ関連技術やApacheの各プロジェクトが分断されている状況について、繰り返し問題を指摘してきた。オープンソースビッグデータ市場では、激しい競争の下、複数のプロジェクトで多くの取り組みが重複している。これは非効率的であると同時に、顧客のテクノロジ選定をリスクの高い経験にしている。このことは、新しいテクノロジの導入を妨げ、アナリティクス業界全体の不利益になっている。

 Apache Arrowのようなプロジェクトは、多くのテクノロジの相互運用性と性能を高めることによって、この問題を解決するものだ。Arrowは複雑さを減らし、本来各プロジェクトで共通であるべき技術を再発明するのに使われているリソースを、独自機能の開発に使えるようにしてくれる。これこそが標準が持つ力だ。Apache Arrowは、ビッグデータ業界の常識に勝利を勝ち取ってくれるかもしれない。

この記事は海外CBS Interactive発の記事を朝日インタラクティブが日本向けに編集したものです。

ZDNet Japan 記事を毎朝メールでまとめ読み(登録無料)

  • このエントリーをはてなブックマークに追加

SpecialPR

連載

CIO
月刊 Windows 10移行の心・技・体
ITアナリストが知る日本企業の「ITの盲点」
シェアリングエコノミーの衝撃
デジタル“失敗学”
コンサルティング現場のカラクリ
Rethink Internet:インターネット再考
インシデントをもたらすヒューマンエラー
トランザクションの今昔物語
エリック松永のデジタルIQ道場
研究現場から見たAI
Fintechの正体
米ZDNet編集長Larryの独り言
大木豊成「仕事で使うアップルのトリセツ」
山本雅史「ハードから読み解くITトレンド放談」
田中克己「展望2020年のIT企業」
松岡功「一言もの申す」
松岡功「今週の明言」
内山悟志「IT部門はどこに向かうのか」
林 雅之「デジタル未来からの手紙」
谷川耕一「エンプラITならこれは知っとけ」
大河原克行「エンプラ徒然」
内製化とユーザー体験の関係
「プロジェクトマネジメント」の解き方
ITは「ひみつ道具」の夢を見る
セキュリティ
セキュリティインシデント対応の現場
エンドポイントセキュリティの4つの「基礎」
企業セキュリティの歩き方
サイバーセキュリティ未来考
ネットワークセキュリティの要諦
セキュリティの論点
スペシャル
エンタープライズAIの隆盛
インシュアテックで変わる保険業界
顧客は勝手に育たない--MAツール導入の心得
「ひとり情シス」の本当のところ
ざっくり解決!SNS担当者お悩み相談室
生産性向上に効くビジネスITツール最前線
ざっくりわかるSNSマーケティング入門
課題解決のためのUI/UX
誰もが開発者になる時代 ~業務システム開発の現場を行く~
「Windows 10」法人導入の手引き
ソフトウェア開発パラダイムの進化
エンタープライズトレンド
10の事情
座談会@ZDNet
Dr.津田のクラウドトップガン対談
Gartner Symposium
IBM World of Watson
de:code
Sapphire Now
VMworld
Microsoft Inspire
Microsoft Connect()
HPE Discover
Oracle OpenWorld
Dell Technologies World
AWS re:Invent
AWS Summit
PTC LiveWorx
吉田行男「より賢く活用するためのOSS最新動向」
古賀政純「Dockerがもたらすビジネス変革」
中国ビジネス四方山話
ベトナムでビジネス
日本株展望
企業決算
このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]