ニューヨークで10月2日、「Hadoop World:NYC 2009」が開催された。
Hadoopとは、GoogleのMapReduceとGoogle File System（GFS）のオープンソース実装。YahooやAmazonなど各種のサービスプロバイダーで利用されており、ペタバイト世界に対応するためのプラットフォームだ。
検索以外での利用に大きな可能性を秘めるHadoop
検索エンジンのためのフレームワークがこれほどまでに注目される理由は、その守備範囲の広がりに大きな可能性が見出されているからだ。
たとえば、ウェブから集めてきたデータを、検索とは別の方向性で分析することが可能。また、各種ログデータの解析、遺伝子工学におけるゲノム研究といった分野にも適用できる。つまり、ウェブ以外をソースとしたデータの解析に応用することも可能なのだ。
これまで、こうした分野にはリレーショナルデータベース（RDB）が利用されてきた。たとえば、クラウドコンピューティングの分野では、SQL Azureのシングルデータベースを10ギガバイトを上限とするような制約が生じる。
しかし、MapReduceフレームワークでは、Googleが20ペタバイト、Yahooが4ペタバイトを日々分析しているという。
Hadoop World 2009は、こうしたリニアなスケールを持つHadoopのコントリビューターとユーザーが一堂に会し、そのテクノロジーと利用形態を発表する場として位置づけられている。
