それでも十分ではないという人のために、Sparkの開発者たちが創設した企業Databricksは「Databricks Cloud」製品（「Spark as a Service」と呼びたくなるような製品だ。既にお決まりとなった頭字語がさらに増えてしまうかもしれないが）を準備している。
PaxataやClearStory Dataなど、Sparkを基に自社製品を構築している企業もある。Platforaのように、Apache Software Foundation（ASF）プロジェクトと依存関係があり、同プロジェクトとある程度統合された新しい製品機能を展開する企業もある。エンタープライズでのSparkの普及はまだそれほど進んでいないかもしれないが、業界内での普及はすさまじいものがある。
それでは、Sparkには次に何が起こるのだろうか。Sparkの人気の高さとHadoopなしでも動作できることを考えると、Hadoopを追い抜く可能性もある、と予想する業界人もいる。筆者を含め、その予想に懐疑的な業界人もいる。HDFSだけでもHadoopの揺るぎない地位を維持するのに十分な標準になっており、YARNは挑戦者がクラスタ上のアプリケーションとして動作することを認めているからだ。
Sparkは過大評価されているのか？
概して、ベンダーはSparkに関して、心配になりそうなほど顧客のはるか先を行っているように思える。Sparkはまだ不安定で、大規模なエンタープライズの本稼働のジョブを処理できるだけの強力な性能を備えていないのなら、そして、Sparkを標準とした企業までもが、Sparkを自分たちの望み通りに機能させるために独自の機能強化を記述しなければならなかったと言うのなら（筆者はビッグデータ分野の重要なベンダー数社からそういう話を聞いた）、Sparkは単に過大評価されているだけなのだろうか。
成熟しているかどうかは、各人が判断することだ。評判の良い業界分析企業Bloor ResearchのRobin Bloor氏はかつて、筆者に次のように話してくれた（それを分かりやすく言い換えてみる）。プラットフォームは、それを支えるクリティカルマスを超えると、最初は過大だった評価に最終的に追いつくものだ。言い換えると、プラットフォームの品質に対する信念は自己達成することが多い。ひとたび業界が何かを支持すると決めたら、それを安定性と十分な性能を備えたものにしなければならない、という義務が発生する。たとえ業界自体が力を貸さなければならないとしてもだ。
2015年になって、3カ月余りが経過した。筆者は先日、アイスクリームを販売するMr. Softeeのトラックを今年に入って初めて見かけた。ニューヨークにようやく春が訪れたことを示す確かな兆候だ。年末に大きなクリスマスツリーがロックフェラーセンターに立てられるまでに、Sparkは成熟度と信頼性の面で少なくともある程度は自己達成する可能性が高そうだ。それまで時間はたっぷりある。どのような結果になるか、楽しみに待つことにしよう。
この記事は海外CBS Interactive発の記事を朝日インタラクティブが日本向けに編集したものです。
