このようなビッグデータに対する攻撃を受けて、The EconomistのKenneth Cukier氏は先頃、ビッグデータを擁護する発言をした。
Cukier氏はロンドンで開催されたBig Data Weekカンファレンスで、「もちろん、それはたわごとではないし、たわごとだと考えるのがばかげたことだ」と語った。同氏は、主にデータセットを拡大することで大幅な改善が見られた分析システムのさまざまな例に言及し、音声認識や翻訳、オンラインレコメンデーションエンジンやサジェスト検索エンジンを例に挙げた。
Cukier氏はワードプロセッサの文法チェッカーについて、その調整に使われるデータセットが50万語から10億語に増えたことで飛躍的に良いものになっており、手作業のコーディングによる包括的な文法ルールで可能なレベルよりもはるかに向上していると述べた。
ビッグデータへの批判の波を引き起こした論文である「The Parable of Google Flu: Traps in Big Data Analysis（Google Fluという寓話：ビッグデータ分析の落とし穴）」に話を戻すと、これはGoogle Flu Trends全体に対する批判ではない。この論文の主張は、「スタンドアロン型のインフルエンザモニタとしてのこのアルゴリズムの相対的な価値には疑問の余地がある」ということだった。しかしCukier氏が指摘しているように、この論文では、インフルエンザ大流行の最も正確な予測は、Google Flu Trendsのデータと、CDCの予測のようなほかの「健康に関するリアルタイムに近いデータ」を組み合わせることによって得られたとも書かれている。
ビッグデータは役に立たないのかどうかというところに議論を帰着させるべきではない。Spiegelhalter氏の批判の矛先は、ビッグデータという分野ではなく、その分野に対するもっとおかしな主張に向けられていた。ビッグデータ推進派に対する最も激しい批判はまだ続いているように筆者には思える。そして大規模なデータセットがあれば、少ないデータでは見えない傾向を明らかできるものの、サンプルのエラーや偏りという問題は依然として存在するようだ。
この記事は海外CBS Interactive発の記事を朝日インタラクティブが日本向けに編集したものです。
