2013年はビッグデータという言葉が流行した年でした。多くの企業がビッグデータの対応に乗り出し、体制を整えたことなども、記憶に新しいと思います。ただ、なかなか実際的な話は聞こえて来ず、次はスモールデータだという論調もあります。振り返る意味も込めて、ビッグデータとは何かを解説し、そこからマーケティングへつなげるためにどういったことが大切なのかを今回は解説します。
あらためてビッグデータとは
もはや聞き慣れた方も多いと思いますが、改めてビッグデータとは何かについて記載しておきます。ビッグデータにおける明確な定義はないものの、「3V」や「4V」での定義というものが一般的です。3Vとは「Volume、Variety、Velocity」の3つの頭文字のVを取ったものであり、多量、多用かつ高頻度に発生するデータのことです。その他にValue(価値)をつけた4Vで定義されることもあります。
よくデータ量の多寡のみでビッグデータを語る方も多いのですが、それだけでは不十分であり、自社データだけでなく外部のデータも利用するなどの多様なデータを扱い、センサデータやウェブの行動履歴(ログ)のように日々大量のデータが常に蓄積されるような特徴も合わせて考える必要があります。
これらのデータを適切に処理する手段として、近年活用されてきたのが「Hadoop」を中心とした製品、サービス群でした。Hadoopが広く使われるようになったのはGoogleが、大量のデータをさばく技術としてこれを公開したことがきっかけです。HadoopはApache Software Foundationがオープンソースとして公開しているため、多くの企業が活用に乗り出しました。Hadoopに関して、多くの解説記事が出ているため、詳細は譲ります。
また、Amazon Web Services(AWS)のようなクラウドサービスが普及することで、さらに手軽に大規模分散処理環境を構築できるようになったことも普及の後押しとなりました。
では、ビッグデータと統計学とはどのように関わっているのでしょうか。