情シスから始まるデータ分析

データサイエンティストとマーケが喜ぶデータ基盤の作り方 - (page 3)

安部晃生 2016年02月18日 07時30分

  • このエントリーをはてなブックマークに追加
  • 印刷

 データが大量に蓄積されるようになると、一つのマシン上にデータが乗り切らなくなるという問題が発生する。こうなると複数のマシン上にデータを分散させなければならない。ところがデータが分散するようになると、理論上の困難が生じる。

 この問題に関して、CAP定理と呼ばれる定理を聞いたことがあるだろうか。CAP定理とは、分散環境におけるデータに関する定理である。分散環境上のデータは一貫性(consistency)・可用性(availability)・分断体制(partition tolerance)の3つの性質により表現される。CAP定理の名前はこれら3つの性質の頭文字をとったものであり、CAP定理が主張するのは、これら3つの性質のすべてを同時に満たすことはできないということだ。これらの性質をシステムの特性に応じて取捨選択する必要があるのだが、それによってデータベースの扱い方も変わってくる。

 例えばAmazon DynamoDBのようなキーバリュー型のデータベースを選択して、非構造化データを一次ソースにしたとしよう。アプリケーションを動かすにはこれが最適であったとしても、データ分析の枠組みでは構造化データであった方が良いかもしれない。なぜならデータ分析が要求するデータモデルの多くは、ベクトルや行列といった構造化データのようなデータ構造を要求するからだ。キーバリュー型のデータ構造から、分析に必要なデータ構造を取得するにはどのようなクエリを投げ、どのような前処理が必要になってくるのか。考えることは多い。

 ここまでくると、エンジニアとマーケターの関係以上に、エンジニア内でも専門性が求められてくる。最終的なデータが欲しいのはマーケターであったとしても、専門性を持ったエンジニアが不在の状態では、とても必要なデータにたどり着くことはできない。データベースを適切に扱える人材がデータを取得し、それがマーケターまで遅延なしに届く環境が、データ分析をうまく運用するためのポイントとなってくる。

不幸を生まないための基盤

 マーケティング部門がデータを自在に取り扱うということに対して、システム運用者はどのように思うだろうか。おそらく良い印象を抱かない。なぜなら業務を回すために設計されたシステムに対して、想定外の負荷を与えることに他ならないからだ。

 しかし、攻めのデータ分析のためのデータは従来の“守り”ではなく、利益を生むためのデータなのである。よく言われるデータ分析基盤は、図1に示したような構成だ。まず各システムで集積されたデータあるいは外部から得たデータを変換し、集中管理するデータウェアハウス(DWH)に貯める。DWHからデータ分析システムに特化したデータマートを作成する。最近ではDWH自身の性能の向上から、データマートをスキップしてDWHから直接データを引き出す分析システムも珍しくない。そのどちらが良いかに関してはここでは議論しない。

ZDNet Japan 記事を毎朝メールでまとめ読み(登録無料)

  • このエントリーをはてなブックマークに追加

関連ホワイトペーパー

SpecialPR

連載

CIO
月刊 Windows 10移行の心・技・体
ITアナリストが知る日本企業の「ITの盲点」
シェアリングエコノミーの衝撃
デジタル“失敗学”
コンサルティング現場のカラクリ
Rethink Internet:インターネット再考
インシデントをもたらすヒューマンエラー
トランザクションの今昔物語
エリック松永のデジタルIQ道場
研究現場から見たAI
Fintechの正体
米ZDNet編集長Larryの独り言
大木豊成「仕事で使うアップルのトリセツ」
山本雅史「ハードから読み解くITトレンド放談」
田中克己「展望2020年のIT企業」
松岡功「一言もの申す」
松岡功「今週の明言」
内山悟志「IT部門はどこに向かうのか」
林 雅之「デジタル未来からの手紙」
谷川耕一「エンプラITならこれは知っとけ」
大河原克行「エンプラ徒然」
内製化とユーザー体験の関係
「プロジェクトマネジメント」の解き方
ITは「ひみつ道具」の夢を見る
セキュリティ
セキュリティインシデント対応の現場
エンドポイントセキュリティの4つの「基礎」
企業セキュリティの歩き方
サイバーセキュリティ未来考
ネットワークセキュリティの要諦
セキュリティの論点
スペシャル
エンタープライズAIの隆盛
インシュアテックで変わる保険業界
顧客は勝手に育たない--MAツール導入の心得
「ひとり情シス」の本当のところ
ざっくり解決!SNS担当者お悩み相談室
生産性向上に効くビジネスITツール最前線
ざっくりわかるSNSマーケティング入門
課題解決のためのUI/UX
誰もが開発者になる時代 ~業務システム開発の現場を行く~
「Windows 10」法人導入の手引き
ソフトウェア開発パラダイムの進化
エンタープライズトレンド
10の事情
座談会@ZDNet
Dr.津田のクラウドトップガン対談
Gartner Symposium
IBM World of Watson
de:code
Sapphire Now
VMworld
Microsoft WPC
Microsoft Connect()
HPE Discover
Oracle OpenWorld
Dell Technologies World
AWS re:Invent
AWS Summit
PTC LiveWorx
吉田行男「より賢く活用するためのOSS最新動向」
古賀政純「Dockerがもたらすビジネス変革」
中国ビジネス四方山話
ベトナムでビジネス
日本株展望
企業決算
このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]