ビッグデータ解析にビッグなデータは必要なのか
ビッグデータというキーワードの登場により、がぜん注目を浴びているのが統計や解析、分析に絡んだツールやソリューションである。ところが、“統計解析にビッグデータは不要だ”という意見がある。今回はその真意について、矢野経済研究所の考えを記載したい。 詳細は「2013 解析・分析ソリューション市場の展望 －ビッグデータ時代の注目市場－」（2013年6月 矢野経済研究所）を参照していただきたい。
統計解析にビッグデータは不要、とする声は、ごく一部というわけではない。矢野経済研究所では2012年4月に「2012 ビッグデータ市場 －将来性と参入企業の戦略－」というレポートを発刊したが、このとき複数のインタビュー先から同様の声を聞いている。
彼らは統計解析やデータマイニングを実業としているベテラン達だが、要点を示すと、「統計解析は小さいサンプルサイズから有意な結果を見出すための技法であるため、データ量が増えても精度はさして違いがない」という主張であった。
また、ビッグデータと冠するセミナー類でも、“例えデータ量は少なくても、これまで埋もれていた情報からビジネスにとって有意義な価値を見出すことができれば、それはビッグデータを活用した結果である”というような説明をするベンダーもあった。こうなると何がビッグデータ解析なのか検討もつかなくなる。
確かに、データマイニングや統計解析という視点からみれば、これまで量的にビッグでないデータにも適用してきたわけだから、“ビッグである必要はない”というのは当然の主張だ。
しかし、従来では処理や蓄積が困難な量のデータに対し、統計解析やデータマイニングなどを適用することができるようになったことからビッグデータ解析というような言葉が生まれたのだから、データ量と統計解析の関係を説明することは、ユーザー側の理解を促す上で必要なことではないだろうか。
