編集部からのお知らせ
新着記事まとめ:アジャイル開発が支えるDX
新しい働き方の関連記事はこちら

「Apache Spark」にかけるHortonworksの取り組み--インメモリエンジンをどう強化するか - (page 2)

Toby Wolpe (ZDNet UK) 翻訳校正: 川村インターナショナル

2014-09-30 06:00

 この目標は、Hortonworksが関与してきた、SparkとデータウェアハウスソフトウェアのApache Hive、およびそのバイナリファイル形式であるORCの連携を向上させるための取り組みに表れている。

 「Hiveを使って効率的にクエリを実行できるように、ETL(データの抽出、変換、読み込み)を実行してデータをORC形式にすれば、このデータにアクセスしたいデータサイエンティストは、こうしたファイルをSparkを通じて処理することで、同様に優れた経験ができる」(Murthy氏)

 セキュリティの面では、Hortonworksによれば、同社はSparkがセキュアなHadoopクラスタでスムーズに機能できるように多額の投資をするとともに、Sparkのウェブユーザーインターフェースへのアクセスが与えられる前にLDAPかActive Directoryによって認証してほしいという顧客の要求に応えているという。

 Hortonworksはまた、YARN上のSparkのクラスタリソースの使い方は理想的でないとしており、この問題にも対処しようとしている。

 「現在起こっているのは、YARNにおけるSparkの展開モデルが古くからあるサービスのようにみえることだ。この展開モデルでは、ボックスのメモリを大量に消費して稼働している」(Murthy氏)

 「この展開モデルは、インタラクティブ分析やイテレーションを行うには適しているが、バッチ処理をするにはあまり向いていない。なぜなら、バッチ処理の際には、ある時点では多くのリソースにアクセスが必要で、時間がたてば少ないリソースで済むということがあるからだ。アプリケーションにはこうした満ち引きがある」(Murthy氏)

 「そこでわれわれが行ったのは、Sparkのためのバッチの代替となる実行方法や展開モデルを提案することだ。これによって、Hadoopプラットフォームで利用可能な一部のネイティブ機能を(それが中間データの転送を可能にする、YARNにおけるHadoopのシャッフルであっても)Sparkで使い始めることができる」(Murthy氏)

 「われわれはYARNのシャッフルを使いたいと考えている。Sparkと同様のプロジェクトであるApache Tezの成果の一部を使って、実際に両方への投資を生かしたいと考えている」(Murthy氏)

 「この2つを活用して、われわれのエンタープライズユーザー全体に極めて優れたエクスペリエンスを提供することができる。そうすることで、ユーザーはSparkによって、バッチアプリケーションの利用度とスループットを高められる」(Murthy氏)

 Murthy氏は、HortonworksのSparkに対する取り組みでは、分散計算フレームワークの「Storm」やハイスループットの分散メッセージシステム「Kafka」といった新興技術に適用して既に成功しているアプローチを採用すると述べた。

 「われわれの顧客の多くが、こうしたテクノロジを早い段階から使用している。こうした顧客はこのプログラムを選択しており、われわれはエンタープライズソフトウェアベンダーとして注力する必要がある分野を理解し、それを確実なものにするため、そうした顧客とやり取りしている」(Murthy氏)

 「われわれが今やっているのは、このプログラムの成果を伝えることであり、われわれはこれを前進させてApache Sparkのコアプロジェクトに引き入れたい。そうすれば十分に支援できるようになる」(Murthy氏)

figure_1

この記事は海外CBS Interactive発の記事を朝日インタラクティブが日本向けに編集したものです。

ZDNet Japan 記事を毎朝メールでまとめ読み(登録無料)

特集

CIO

モバイル

セキュリティ

スペシャル

NEWSLETTERS

エンタープライズ・コンピューティングの最前線を配信

ZDNet Japanは、CIOとITマネージャーを対象に、ビジネス課題の解決とITを活用した新たな価値創造を支援します。
ITビジネス全般については、CNET Japanをご覧ください。

このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]