HadoopやHortonworks製品のアップデート
サミットでは、HadoopやHortonworks製品の最新情報についても多く語られました。特に、Hadoop YARN Development LeadのVinod Vavilapalliによる「Apache Ambari」のマーケットプレイス的な話が面白かったです。
Hadoopは、バッチ処理での利用が主だった頃と比べて、YARNといわれるリソース管理ミドルウェア（データオペレーティングシステムとも言われます）が2011年に登場し、NoSQLや、Stream処理、検索処理の基盤にも利用されるようになりました。さらに今後は、YARN.nextと呼んでいましたが、コンテナ技術を取り入れ、アプリケーションのプロビジョニングにも対応するとのことです。デモでは、Ambariに、アプリケーションのマーケットプレイス的なUIが実装されており、そこからDockerイメージを展開していました。
Hadoop YARN Development LeadのVinod Vavilapalliが「Apache Ambari」を紹介
「Apache Ambari」にはマーケットプレイス的なUIが実装される
3日目には、HoronworksのSenior Direct of EngineeringであるJoe Wittより、「Hortonworks DataFlow powered by Apache NiFi（HDF）」について説明がありました。
Joeは元米国国防省内部部局の国家安全保障局（NSA）でNiFiの開発に従事したあと、Onyaraというスタートアップを立ち上げた人物です。その後、OnyaraをHortonworksが買収し、現在はHortonworksに在籍しています。HDFは、データオーケストレーションソフトウェアで、ウェブ、アプリケーションサーバ、センサなどのさまざまなデータソースからデータを収集してコントロールするソフトウェアです。ウェブUIからプロセッサと呼ばれる小さなタスクを組み合わせながら、データフローを構築できます。これにより、Data in Motion（流れているデータ）を処理できるということです。
Horonworks Senior Direct of EngineeringのJoe Witt
Hortonworks DataFlow powered by Apache NiFi（HDF）
Summitでは、プレスカンファレンス的なものはなかったのですが、Hortonworkから5つのプレスリリースが出ました。この中で一番大きいリリースは、HDP 2.5の発表でしょう。
HDP 2.5では、Apache Zeppelinを正式に組み込んでデータサイエンティスト向けにウェブベースのUIを提供し、Hadoop/Spark環境においてデータの分析をインタラクティブに行うことができます。もう1つ、大きな機能追加として、「Apache Ranger」と「Apache Atlas」によるガバナンスとセキュリティが強化されたことが挙げられます。これにより、企業はさまざまなアクセスポリシーを有効にすることができます。
