IBM、「Apach Spark」向け開発環境を発表--Couchbase、Snowflakeもコネクタ製品を発表

　サンフランシスコで米国時間6月6日から3日間にわたって開催されている「Spark Summit」が2日目に入った。初日に報道したとおり、MapRとMicrosoftは既に、このイベントにタイミングを合わせ、Sparkディストリビューション関連の発表を行っている。2日目はIBMの番だ。同社は新たなSpark開発環境「Data Science Experience」を発表した。また本記事では、CouchbaseとSnowflake Computingがそれぞれ初日に発表したSparkコネクタについても紹介する。

マイクロソフトやMapRが新Sparkディストリビューション発表--Spark Summit

IBMとSpark、そしてR

　2015年のSpark Summitにおいて、約3億ドルをSparkのサポートに投資すると大々的に発表したIBMは今回、同じイニシアティブの下で革新的なこの製品を発表した。

　Data Science Experienceは、クラウドをベースにしたSpark向け開発環境だ。これにより開発者はRを使ってコードを記述できるようになる。IBMによると、Data Science ExperienceはRStudioとH2Oのリソースに、「Jupyter」というデータ科学者向けラボノート（実験ノート）のインターフェースを組み合わせたものであり、250におよぶ厳選されたデータセットにアクセスできるようになっているという。

　Data Science Experienceの開発においてIBMは、オープンソースプロジェクトの「SparkR」とともに、「Apache Spark」プロジェクトの「Spark SQL」モジュールや「MLlib」ライブラリに対しても貢献している。同社は他にも「PySpark」プロジェクトに対する貢献について言及している。

IBMとMicrosoftの戦い

　IBMの広報担当者が筆者に語ったところによると、MicrosoftのJupyterノートブックの実装では、6日に発表されたとおり、PythonやScalaのコード実行が可能になっている一方、IBMはRも使用できるようにすることで、データ科学者が好みの言語を使えるようにしているという。

　確かにその通りだが、MicrosoftによるRevolution Analyticsの買収と、「Microsoft R Server for HDInsight」関連の6日の発表、そして今やHadoopがSparkによって強化されている点を考え合わせると、筆者は両社が互角の戦いをするのではないかと感じている。

コネクタ関連のニュース

　NoSQLデータベースのベンダーであるCouchbaseと、クラウドによるデータウェアハウスを手がけるSnowflake Computingはそれぞれ、Spark Summitの初日にSparkコネクタを発表した。「Couchbase Spark Connector」と「Snowflake Data Source for Spark」はいずれも、両社それぞれのデータベースとApache Sparkを直接接続するための製品だ。

　Snowflakeの製品は、「Spark DataFrame API」に基づいたネイティブなコネクタだ。同社はこのコネクタを用いるユースケースとして、ストリーミング／IoTデータの統合や、複雑な抽出／加工／格納（ETL）処理、機械学習を挙げている。一方Couchbaseはユースケースの例として、リアルタイムでの製品リコメンデーションや、異常検出、ネットワークの侵入検知、不正利用の検知、「包括的な製品管理や顧客管理」を挙げている。

Sparkは万能薬なのか？

　ここで明確なのは、CouchbaseとSnowflakeの両社とも、それぞれのプラットフォームがストリーミングデータの活用というシナリオにおいてSparkとの接続性を重視しているため、Sparkが重要な目的のための手段となっていることだ。一方IBMは、データ科学者やアナリティクスの専門家に向けてSparkをより使いやすくするための手段としてRを捉えている。

　自社製品にSparkというブランドを付加するこれら3社の動きは、MapRとMicrosoftの動きと同様に、ビジネス上の優れた戦略だと捉えられているようだ。現在のところ、Sparkのロゴに描かれたオレンジ色の星は、Hadoopのマスコットである黄色い象よりも光り輝いて見える。