Azure Data Lake Store/Azure Data Lake Analyticsが一般提供に
Azure Data Lakeは、次の3つのAzureサービスで構成されています。
- Azure Data Lake Store：ペタバイト級のファイルを数兆個以上格納できる、HDFSベースのビッグデータ分析向けのストレージサービス
- Azure Data Lake Analytics：U-SQL言語を使ってジョブを記述できる、ビッグデータ分析のためのスケーラブルな分散クエリサービス
- Azure HDInsight：Hadoop、Sparkなどのマネージドサービス
2015年10月に、Azure Data Lake Store、Azure Data Lake Analyticsは、パブリックプレビューになっていました。
今回、Azure Data Lake Store、Azure Data Lake Analyticsが、GAになりました。現在、米国東部2、米国中部リージョンで利用可能です。
また、Visual Studio Code向けの拡張機能「Azure Data Lake Tools for Visual Studio Code」のパブリックプレビューもリリースされました。これを使うと、Visual Studio Codeで、U-SQLの作成やAzure Data Lake Analyticsジョブの送信などが簡単になります。
詳細は、Azure Blogのポスト「The Intelligent Data Lake」、「Azure Data Lake Store now generally available」、「Azure Data Lake Analytics now generally available」、「Public Preview: Azure Data Lake Tools for Visual Studio Code (VSCode)」、Azure Data Lake & Azure HDInsight Blogのポスト「Azure Data Lake Store is now generally available」をご覧ください。
Azure Data Lakeの3つのサービス
Azure HDInsight：Kafka for HDInsightのパブリックプレビューをリリース
Azure HDInsightでは、Hadoop、HBase、Spark、Storm、R Serverのクラスタを作成できます。
今回、Azure HDInsightでKafkaのクラスタを作成する機能「Kafka for HDInsight」が、パブリックプレビューとしてリリースされました。
Kafkaは、オープンソースの分散ストリーミングプラットフォームであり、リアルタイムのデータストリーミング処理のシナリオで人気が高いものです。Azureには、Azure Event Hubs、Azure IoT Hubという類似の機能を提供するサービスがありますが、ユーザーに新しい選択肢を提供するために、人気の高いOSSであるKafkaのサービスを追加しました。
これによって、Kafkaを使っている既存システムのAzureへの移行や、KafkaなどのOSSを使ったデータ処理システムのAzure上での構築が、簡単になりますね。
詳細は、Azure Blogのポスト「Kafka for Azure HDInsight now public preview」、ドキュメント「Introducing Apache Kafka on HDInsight (preview)」をご覧ください。
Kafka for Azure HDInsightの活用シナリオ
