アナリティクスを用いて問題解決を試みる取り組みは、この20年の間、複雑化を続けています。1980年代のビジネスアナリティクスでは、インベントリー分析や生産効率の計算といった単純なものだけでした。単純というのは、分析に必要なデータが1カ所(1つのデータベース)にあるという意味です。
当時のデータアーキテクチャーは、少数の運用システムとそれらに接続されたOLAP(Online Analytical Processing)キューブから構成されているのが一般的でした。データキューブによって、ビジネスインテリジェンス(BI)を効果的に利用できましたが、それはごく基本的なものでした。
21世紀に入ると、ビジネスユースケースははるかに複雑になりました。近年、多くの企業では、解約防止、予防保全、消費傾向、感情分析などのビジネス課題を解くに当たって、高度なアナリティクスを活用しています。
問題が難しくなれば、それを解くためのデータインフラストラクチャーにも進化が必要になります。大企業が管理しているデータエコシステムは非常に複雑になり、複数の地域にオンプレミス/クラウドのシステムが分散していることも珍しくありません。ソーシャルメディアやウェブログ、センサー、IoTデバイスなど多数のソースからデータが集まり、価格戦略、需要予測、顧客関係管理、在庫管理、などの業務機能ごとに専用のソフトウェアがあります。
こういった新技術や異種混合のデータソース、アナリティクス機能が多くの価値を生むのは明らかですが、データの統合、ガバナンス、分析に関連した課題も生み出します。高度なアナリティクスで新旧のデータソースを結び付けて利用価値を高めるには、これまでとは別の設計アプローチが必要です。そこでデータファブリックの出番となります。
データファブリックの概要とそれが必要とされる理由
Garnterによると、データファブリックというアーキテクチャーは、データオブジェクトの設計、統合、展開を統合管理し、自動化するものだとされています。プラットフォームやアーキテクチャーは問いません。データファブリックは、全てのメタデータにアナリティクスとAI/ML(人工知能/機械学習)を適用し、データの管理/統合に関する設計や展開のパターンを提示したり、助言したりします。その結果、データのアクセスと共有が高速かつ的確に行われるようになり、場合によっては完全に自動化されるようになります。
簡単に言えば、データファブリックアーキテクチャーとは、分散ネットワーク環境においてスムーズなデータのアクセスと共有を支援する手段です。データファブリックを活用することで、データの統合、変換、準備、選別、セキュリティ、ガバナンス、オーケストレーションの手順を自動化して、顧客の全方位ビュー、不正の検出、IoT分析、リスク分析、医療知見などの高度アナリティクスのユースケースを促進します。
Garnterの定義をもとにしたデータファブリックアーキテクチャー
データファブリックから「論理」データファブリックへ
本来、データファブリックは物理的でも論理的でも構わないものです。論理データファブリックとは、ビジネス利用者向けの複数データシステムへのアクセスを抽象化する、統一されたデータ配信プラットフォームです。これにより、システムの複雑さを隠して、データをビジネスフレンドリーな形式で公開すると同時に、あらかじめ定義されたセマンティクスとガバナンスルールに従ってデータを配信します。
データ仮想化は、論理データファブリックの主要な構成要素であり、従来のレポートおよびBI用の異種プラットフォームに存在するデータへのアクセス、管理、分析に重要な役割を果たします。さらに、保存されている静的なデータとリアルタイムのストリーミングデータを組み合わせた分析やAI/MLの活用といった最新のユースケースにおいても重要な役割を果たします。
データ仮想化と論理データファブリックのメリット
論理データファブリックには、データ仮想化を土台としていることから、さまざまなメリットがあります。
- 異種混合システムにおけるリアルタイムデータ統合:論理データファブリックにより、クラウドシステムとオンプレミスシステム、ストリーミングシステムと履歴データシステム、レガシーシステムとモダンシステム、構造化ソース、半構造化ソース、非構造化ソース、複数ベンダーが提供するクラウドシステムなど、さまざまなソースのデータにリアルタイムにアクセスできます。フラットファイル、ソーシャルメディアのフィード、IoTデータなども扱えます。
- エンタープライズデータカタログ:論理データファブリックにより、企業全体をカバーする包括的なデータカタログが実現し、データそのものに対するシームレスなアクセスが可能になります。ビジネスユーザーは、このカタログを使用することで、データの利用可能性と利用条件を把握できます。このカタログは、データの完全なリネージや適用可能な関連付けにも対応します。
- シームレスなガバナンスとセキュリティ:論理データファブリックのデータは、統合データアクセスレイヤーを通じてアクセスされるため、企業においてデータの閲覧や編集の権限を簡単に管理できます。
- 強力なAI/MLの機能:論理データファブリックには、統合された論理フレームワークがあるため、提供されるソリューションのさまざまな場所で、クエリー最適化、データ配信、データカタログ内の自動レコメンデーションなどのAI/MLの機能を実現できます。
- メンテナンスの簡略化:論理データファブリックによって、ユーザーと管理者は、個別のソースにアクセスするという煩わしさから解放されると同時に、各データソースを「そのまま」操作できるようになります。ETL(抽出、変換、展開)スクリプトであれば、ソースの削除や変更があると、書き直した上でテストとデプロイをやり直す必要がありますが、論理データファブリックは、こうした変更にも対応して管理作業を簡素化し、その負荷を大幅に軽減します。