市場の変化がますます激しくなるとともに、さまざまなビジネスがデジタル化された現在のビジネスでは、データを最大限活用することは必須と言っても過言ではない。しかしながら、オペレーショナル データベースやアプリケーションのデータベース、IoT のセンサーデータ、モバイルアプリから生成されるログなどは、そのままデータ分析に使うのは困難だ。
そうしたなか、BI ツールや機械学習、ほかのシステムなどに連携するためのデータ パイプラインが重要となってくる。なかでも「BigQuery」は、データ ウェアハウスとデータレイクの機能を統合した、Google Cloud のエンタープライズ向けレイクハウスとして知られる。この BigQuery は強力なデータ分析ツールではあるが、そこにデータがあるだけでは組織内で広くデータ活用をするには十分ではない。
そこで本資料では、BigQuery やそのほかのデータ アナリティクスのプロダクトを活用して、どのようにして常に分析に使えるデータを提供するデータ基盤、データ パイプラインを構築/運用していくかについて解説している。最近発表された Dataform の最新のトピックも紹介しているので、ぜひお目通しいただきたい。
ホワイトペーパー