Hadoopとクラウド
Cutting氏は、クラウド内でのHadoopクラスタの起動を容易にすることで、Hadoopをより多くの人々に利用してもらいたいとも考えている。
Hadoopクラスタは、既にさまざまなクラウドプラットフォーム上で起動できるようになっている。例を挙げると、「Cloudera's Distribution of Hadoop」(CDH)を使用しているユーザーであれば、「Cloudera Director」を使えば「Amazon Web Services」(AWS)や「Google Cloud Platform」上で仮想サーバのクラスタを起動することができる。
しかしCutting氏は、このプロセスを容易にするうえで取り組むべき課題がまだ存在していると述べている。そして、Clouderaは「Amazon Simple Storage Service」(Amazon S3)やその他のクラウドベースのストレージからHadoopのデータ処理エンジンに向けたデータの流し込みのサポートを改善しようとしているという。
同氏は「Hadoopに改良を加え、クラウド内でのよりスムーズな運用を実現する必要がある。われわれは入出力について、Amazon S3のようなストレージをHadoop Distributed File System(HDFS)と同様、第1級の身分を持つ者として扱うことで、ユーザーがクラスタを動的に起動できるようにする必要がある」と述べた。
そしてCutting氏は、これにともなってクラウド内でのクラスタの起動および終了がより頻繁になるため、同社は起動時間の向上を図ろうとしているのだとも述べた。
Cutting氏が取り組もうとしているもう1つの問題は、Hadoopクラスタをあるクラウドプラットフォームから他のクラウドプラットフォームに容易に移送できるようにするというものだ。同氏はクラウドのロックインという現在の状況に落胆している。
「われわれは、クラウドプロバイダー間のポータビリティを実現することで、ユーザーに真の価値をもたらせると考えている。現在のところ、クラウド上でアプリケーションの開発を始めると、すぐに単一のクラウドベンダーにロックインされてしまう」(Cutting氏)