この目標は、Hortonworksが関与してきた、SparkとデータウェアハウスソフトウェアのApache Hive、およびそのバイナリファイル形式であるORCの連携を向上させるための取り組みに表れている。
「Hiveを使って効率的にクエリを実行できるように、ETL（データの抽出、変換、読み込み）を実行してデータをORC形式にすれば、このデータにアクセスしたいデータサイエンティストは、こうしたファイルをSparkを通じて処理することで、同様に優れた経験ができる」（Murthy氏）
セキュリティの面では、Hortonworksによれば、同社はSparkがセキュアなHadoopクラスタでスムーズに機能できるように多額の投資をするとともに、Sparkのウェブユーザーインターフェースへのアクセスが与えられる前にLDAPかActive Directoryによって認証してほしいという顧客の要求に応えているという。
Hortonworksはまた、YARN上のSparkのクラスタリソースの使い方は理想的でないとしており、この問題にも対処しようとしている。
「現在起こっているのは、YARNにおけるSparkの展開モデルが古くからあるサービスのようにみえることだ。この展開モデルでは、ボックスのメモリを大量に消費して稼働している」（Murthy氏）
「この展開モデルは、インタラクティブ分析やイテレーションを行うには適しているが、バッチ処理をするにはあまり向いていない。なぜなら、バッチ処理の際には、ある時点では多くのリソースにアクセスが必要で、時間がたてば少ないリソースで済むということがあるからだ。アプリケーションにはこうした満ち引きがある」（Murthy氏）
「そこでわれわれが行ったのは、Sparkのためのバッチの代替となる実行方法や展開モデルを提案することだ。これによって、Hadoopプラットフォームで利用可能な一部のネイティブ機能を（それが中間データの転送を可能にする、YARNにおけるHadoopのシャッフルであっても）Sparkで使い始めることができる」（Murthy氏）
「われわれはYARNのシャッフルを使いたいと考えている。Sparkと同様のプロジェクトであるApache Tezの成果の一部を使って、実際に両方への投資を生かしたいと考えている」（Murthy氏）
「この2つを活用して、われわれのエンタープライズユーザー全体に極めて優れたエクスペリエンスを提供することができる。そうすることで、ユーザーはSparkによって、バッチアプリケーションの利用度とスループットを高められる」（Murthy氏）
Murthy氏は、HortonworksのSparkに対する取り組みでは、分散計算フレームワークの「Storm」やハイスループットの分散メッセージシステム「Kafka」といった新興技術に適用して既に成功しているアプローチを採用すると述べた。
「われわれの顧客の多くが、こうしたテクノロジを早い段階から使用している。こうした顧客はこのプログラムを選択しており、われわれはエンタープライズソフトウェアベンダーとして注力する必要がある分野を理解し、それを確実なものにするため、そうした顧客とやり取りしている」（Murthy氏）
「われわれが今やっているのは、このプログラムの成果を伝えることであり、われわれはこれを前進させてApache Sparkのコアプロジェクトに引き入れたい。そうすれば十分に支援できるようになる」（Murthy氏）
この記事は海外CBS Interactive発の記事を朝日インタラクティブが日本向けに編集したものです。
