SQL ServerとSparkという道が2つに分かれるのか？
興味深いことに、オンプレミスのSQL Server製品（そのエンジンとT-SQL言語はSynapse Analyticsの源流とも言える）も同日、新たなバージョンの一般提供が開始された（「SQL Server 2019」）。この製品は「Big Data Clusters」（BDC）という機能を搭載しており、Apache Sparkやデータレイクワークロードとの統合が実現されている。さらにオンプレミス製品というSQL Serverの出自にもかかわらず、BDCはKubernetesのコンテナオーケストレーションに完全に基づいているため、「Azure Kubernetes Service」（AKS）との実装上の親和性も高くなっている。
つまりMicrosoftは実質的に、同じ日の同じイベントでSQL ServerテクノロジーとApache Sparkを組み合わせる2つの新たな選択肢の提供を開始し、そのいずれもがAzure上で稼働するということだ。ただ、これら2つの実装は異なっている。そしてSynapseがAzure Synapse studioを有している一方、SQL Server 2019は「Azure Data Studio」という、データベース及びデータレイクのワークロードを取り扱う、ノートブック機能を有したクロスプラットフォーム（Windows/macOS/Linux）デスクトップユーザーインターフェースを提供している。
Sparkの統合とツールの提供に向けたこの2つの道は、残念ながら顧客の混乱を招くかもしれない。また、Azure Databricksとは異なる、Azure上で稼働するもう1つのApache Spark実装によって、さらなる混乱が引き起こされる可能性もある。というのも、MicrosoftはDatabricksをSynapseのパートナーの1つとして挙げているためだ。
とは言うものの、こういったサービスそれぞれには重要な違いがある。SQL Serverは主にOLTP（オンライントランザクション処理）の要求を満足するための製品であり、DatabricksはデータエンジニアリングとMLの分野で力を発揮する製品であり、Synapseは大規模並列処理（MPP）向けのデータウェアハウスアナリティクスがニーズの中心にある場合のサービスとなっている。要するに、Sparkとデータレイクがこれら3つの分野すべてをまたがっているという事実こそが、同テクノロジーとアナリティクスモデルそれぞれの重要性が増してきていることの表れなのだ。
（筆者の Andrew Brustは、Microsoft Data Platform MVPであり、Microsoft Advanced Analyticsチームの作業を行っている）。
この記事は海外CBS Interactive発の記事を朝日インタラクティブが日本向けに編集したものです。
