海外コメンタリー

MSの最新「Azure HDInsight」--Spark 2.0対応やHive高速化、セキュリティ強化など

Andrew Brust (Special to ZDNET.com) 翻訳校正: 村上雅章 野崎裕子

2016-10-05 06:30

 Microsoftは、同社の「Azure HDInsight」を豪華なHadoop/Spark製品にしつつある。この製品では「Azure Active Directory」との統合や、「Apache Spark 2.0」「Apache Zeppelin」への対応、そして「Apache Hive」の新たな「Live Long And Process」(LLAP)モードが搭載されているほか、独立系ソフトウェアベンダー(ISV)アプリケーションをファーストクラスとして統合できるようにもなっている。

 Microsoftが「Apache Hadoop」の採用を決定した際、Hortonworksと組んでHadoopを「Windows」へと移植し、「Microsoft Azure」上で実行させようとしていた。ただ、Windows上で「Hortonworks Data Platform」(HDP)を稼働させるという選択は、HDInsight(最終的にAzure上で稼働するHadoopはHDInsightという名称になった)が、主流のLinuxディストリビューションに1歩後れ、常に追いかける立場に甘んじるということを意味していた。しかしその後、MicrosoftがLinux上でHDInsightクラスタを稼働させる製品を提供すると決定した時、すべてが変わった。この決定は業界の各所から支持を集め、Hadoopの最新機能が迅速に追加されるようになったのだ。

 とはいえ、HDInsightに磨きをかける作業は今まで続けられてきており、米国時間9月29日についに、待ち望まれていた最新版が発表されたというわけだ。「Horton Data Platform(HDP)2.5」をベースにした、この最新版のHDInsightは、Microsoft独自のセキュリティ機能とアプリケーションを統合しており、クラウド上の先進的なHadoop製品と戦える力を備えたものとなっている。

HDInsightに搭載されているSpark

 では、HDInsightの内部に目を向けてみよう。まずはApache Sparkのバージョン2.0からだ。Spark 2.0には「Project Tungsten」の成果が搭載されているため、ベクトル演算能力が強化されている。またHDInsightでは、Sparkの新バージョンとともに、Apache Zeppelinというノートブック技術もサポートされている。これにより開発者は、スクラップブックを使う感覚で、Spark上でのコード実行や、データの可視化を実現できる。

 HDInsightは以前から「Jupyter」という、オープンソースのノートブック技術にも対応している。とは言うものの、HDInsightが他の多くのHadoop製品と同様に2つのノートブック技術をサポートするのはよい考えと言える。またSpark関連では、「Spark-HBaseコネクタ」という歓迎すべき追加もある。これにより、Spark SQLを使用してノートブックをはじめとするさまざまな場所から「Apache HBase」のデータを検索できるようになる。

ZDNET Japan 記事を毎朝メールでまとめ読み(登録無料)

ZDNET Japan クイックポール

所属する組織のデータ活用状況はどの段階にありますか?

NEWSLETTERS

エンタープライズコンピューティングの最前線を配信

ZDNET Japanは、CIOとITマネージャーを対象に、ビジネス課題の解決とITを活用した新たな価値創造を支援します。
ITビジネス全般については、CNET Japanをご覧ください。

このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]