編集部からのお知らせ
宇宙ビジネスの記事まとめダウンロード
記事まとめ「テレワーク常態化で見えたこと」

「Apache Spark」にかけるHortonworksの取り組み--インメモリエンジンをどう強化するか

Toby Wolpe (ZDNet UK) 翻訳校正: 川村インターナショナル

2014-09-30 06:00

 「Hadoop」関連のソフトウェアとサービスを提供するHortonworksは米国時間9月24日、「Apache Spark」に関する計画を明らかにした。このインメモリエンジンを、エンタープライズでの利用に向けてさらに優れた選択肢にすることが目的だという。

Arun Murthy氏:「Sparkは、オープンソースコミュニティーから作り出された、最も興味深いものの1つだ」
Arun Murthy氏:「Sparkは、オープンソースコミュニティーから作り出された、最も興味深いものの1つだ」
提供:Hortonworks

 同社は、Sparkと、Hadoopのリソース管理レイヤである「YARN」の連携を向上させ、ガバナンスとセキュリティ、オペレーションに優れたインメモリエンジンを提供するための取り組みに力を入れている。

 SparkをYARNとより深く連携させる目的は、Sparkが、単一データプラットフォーム上で「Hive」「Storm」「HBase」といったほかのエンジンと連携してより効率的に稼働するようにして、専用のSparkクラスタを不要にすることだ。

 Hortonworksによれば、同社はこうした取り組みの成果をオープンソースプロジェクトのApache Hadoopに還元する方針を継続する予定だという。

 Hortonworksの共同創設者であり、2006年のスタート時からHadoopに取り組んでいるArun Murthy氏は、「Sparkは、オープンソースコミュニティーから作り出された最も興味深いものの1つであり、われわれがこうしたあらゆるイノベーションを目にしていることは、HadoopのエコシステムとApacheのオープンソースコミュニティーの粘り強さの証だ」と述べている。

 「メモリは安価になってきている。われわれには、ボックス当たり100Gバイト程度を難なく搭載している顧客がいる。これは、こうしたマシンを10台か20台集めれば、たちまち1テラバイトか2テラバイトのRAMを実現できることを意味する」(Murthy氏)

 「こうした状況では、データサイエンティストたちが出てきて、『高速なインタラクティブ分析を行って、機械学習やモデリングのようなアルゴリズムを書き、Sparkのようなフレームワークでイテレーション開発をするつもりだ』と言いたくなるものだ。Sparkが特に次世代の開発者にとって非常に魅力的であるのはこのためだ」(Murthy氏)

 この魅力をさらに高めるのがScalaのAPIだ。これは、スクリプト言語であるScalaが、Lispのような数学向け関数型プログラミング言語としての役割を果たしているためだ。

 「Scalaは数学のため、そして数学の観点から考える人のための優れた言語であることと、ハードウェアの進化の観点ではメモリは十分に用意されているという事実を考え合わせてほしい」(Murthy氏)

 「私がHadoopに取り組み始めた時には、われわれのサーバのボックス1台当たりのRAMはおよそ4Gバイトから8Gバイトだった。それは当時としては最高水準だった。現在では、4Gバイトや8Gバイトということはない。メモリは128Gバイトや256Gバイトという時代だ。つまり、Sparkは適切な時期に登場した適切なテクノロジだといえる」(Murthy氏)

 Sparkに関心を寄せているのは、今のところ機械学習に関わるデータサイエンティストたちが大半だが、Hortonworksは、企業が複数の作業を行う場合に、このフレームワークがうまく機能することを望んでいる。

 「データのコンテキスト全体に注目すれば、われわれがデータオペレーティングシステムとしてのYARN、そして全てのデータをHadoopで扱うという考えを抱いたのはそのためだ」(Murthy氏)

 「そうすれば、データサイエンティストがSparkを使っていようと、アナリストがHiveを使っていようと、プログラマーや開発者がNoSQLデータベースを使っていようと、こうした全ての人々は1カ所でYARNを使うことができ、同じコンテキストにある多くのエンジンをまたがってやり取りできるようになる」(Murthy氏)

ZDNet Japan 記事を毎朝メールでまとめ読み(登録無料)

特集

CIO

モバイル

セキュリティ

スペシャル

ホワイトペーパー

新着

ランキング

  1. クラウドコンピューティング

    MITスローン編著、経営層向けガイド「AIと機械学習の重要性」日本語版

  2. クラウドコンピューティング

    AWS提供! 機械学習でビジネスの成功を掴むためのエグゼクティブ向けプレイブック

  3. クラウドコンピューティング

    DX実現の鍵は「深層学習を用いたアプリ開発の高度化」 最適な導入アプローチをIDCが提言

  4. セキュリティ

    ランサムウェアを阻止するための10のベストプラクティス、エンドポイント保護編

  5. セキュリティ

    テレワークで急増、リモートデスクトップ経由のサイバー脅威、実態と対策とは

NEWSLETTERS

エンタープライズ・コンピューティングの最前線を配信

ZDNet Japanは、CIOとITマネージャーを対象に、ビジネス課題の解決とITを活用した新たな価値創造を支援します。
ITビジネス全般については、CNET Japanをご覧ください。

このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]