「ビッグデータ」という言葉はプロセス、人材、技術からなる1つの産業を生み出した。この新分野は、現在爆発的に成長しつつある。今では、AmazonやWalmartなどの巨大企業から米国政府やNASAといった組織までが、事業目標や戦略目標を達成するためにビッグデータを使用している。ビッグデータは、そのメリットを収益化する可能性（非常に幅広い可能性が考えられる）を理解していれば、中小規模の企業や組織でも役立てることができる。
ビッグデータとは一体何なのか？
ビッグデータという概念は新しいものではなく、2001年には登場していた。一言で言えば、ビッグデータとは皆さんのデータのことだ。最良の手段で価値を生み出すために、新たな技術によって収集、処理され、皆さんの会社が持っている情報がビッグデータだ。
この話題についてビッグデータの専門家に話させると、 おそらく、「3つのV」について語りだすだろう。3つのVとは、「量（volume）、速さ（velocity）、多様性（variety）」のことで、もともとは2001年にDoug Laney氏によって提唱された、データ管理の困難さを示す概念だ。つまり、極めて高速に、多くの異なる形式で生成された大量のデータのことだと思ってほしい。これには、顧客との取引履歴や生産データベース、ウェブのトラフィックログ、オンラインの動画、ソーシャルメディアのやりとりなどが含まれる。
2013年8月、Mark van Rijmenam氏は、「Why The 3V's Are Not Sufficient To Describe Big DataM」（ビッグデータを説明するのに、3つのVでは不十分な理由）と題するブログ記事で、この定義に「正確さ（veracity）、変動性（variability）、可視化（visualization）、価値（value）」を付け加え、この領域をさらに拡大した。Rijmenam氏は「生み出されたすべてのデータの90％は、過去2年間に生み出されている。今後、世界のデータの量は、2年ごとに倍になっていくだろう」と述べている。
ビッグデータの特徴
企業は長年の間、情報を活用して事業の可能性を広げる方法を模索し続けている。しかしビッグデータは、その構造（あるいは構造の欠如）と大きさに特徴がある。ビッグデータが特別なのは、新しい扉を開く可能性のある情報そのものと、その扉を開くのに役立つかもしれない、情報の分析方法の両方を含んでいることだ。分析は情報に合わせて進められるのだが、その意味では「ビッグデータ」という言葉は「データ」という名詞的な意味と、「データを組み合わせて価値を発見する」という動詞的な意味の両方を表している。
会社のデータをMicrosoft Officeの文書に入力し、注意深く整理されたファイル共有に置く時代は、もう過去のものだ。2002年には巨大だと思えた50ギガバイトのファイル共有は、現在の顧客の好みや習慣の情報までを含む50テラバイトの市場データベースに比べれば、かわいいものに見える。一体どうすれば、これだけ大量のデータをすべて洗って、顧客の嗜好の動向や起きつつある状況の変化を示すトレンドを見いだすことができるのだろうか？そこで重要になるのが、解釈のプロセスだ。
ビッグデータを役立てるには？
ビッグデータを解釈することで、一見しただけでは分からない、あるいは従来の手法では発見できない洞察を得られる可能性がある。このプロセスは、普通の見方では見えないかもしれない、隠れたつながり、傾向、パターンを発見することに焦点を絞っている。これは簡単なことではない。これには、情報の流れを分析し、結論を導くための新たな技術とスキルが必要となる。
「Apache Hadoop」はその種のテクノロジの1つで、ビッグデータと関連づけて語られることが多いソフトウェアだ。Apacheはこのソフトウェアを、「シンプルなプログラミングモデルを用いて、コンピュータのクラスタ間に分散している大規模なデータの処理を可能にするフレームワーク」だと説明している。ビッグデータが名詞と動詞の両方になりえるように、Hadoopにも名詞的な要素と動詞的な要素がある。具体的には、データの保存とデータの処理だ。その両方が、効率を向上させ、よりよい結果を得るために、分散的に実行される。MapReduceと呼ばれる一連のタスクには、クラスタの異なるセグメントに収められたデータの処理を連携させ、その結果を分割してより扱いやすい、要約された情報にする処理が含まれる。
