「ビッグデータ」の処理テクノロジとしては、構造化データ向きのRDBMS、非構造化データ向きのHadoopという使い分けが定石的考え方になりつつある。しかし、企業内には大量の文書という非構造化データもある。このデータを処理する（より正確に言えばユーザーが活用可能にする）テクノロジとしてサーチエンジンを忘れてはならない。そもそも、MapReduce等のGoogleの「ビッグデータ」処理基盤もサーチエンジンがその起源だ。
「ビッグデータ」時代のサーチの重要性
大規模ウェブサービスプロバイダーや通信事業者、そして無線タグを活用する小売業や運送業などを除く一般的企業内の非構造化データは、今のところMicrosoft OfficeファイルやEメールに代表される文書データが大半だろう。社内に多種多様な文書データが散在し、その管理に苦慮している企業は多い。その一方で、その大量の文書データから重要な知識を抽出して利用できれば、短期的にビジネス上の価値を得やすいとも言える。
従来型の文書管理システムのように大量の文書を一カ所に物理的に集約するアプローチは、文書データが「ビッグデータ」化する中で困難になっている。また、文書の分類、バージョン管理なども管理部門の頭を悩ませる問題だ。企業内サーチエンジンは上記問題の有効な解決策になり得る。
たとえば、ホワイトカラーの日常の作業スタイルを見ても、サーチエンジンへの依存度が高まっていることがわかる。ブラウザを使うときでも、過去のようにブックマーク（お気に入り）を一生懸命に分類／管理して使っているユーザーは少なくなっている。たとえば、ある企業の情報を知りたいのであればサーチエンジンに社名を入力すれば企業サイトにすぐアクセスできる。パソコン上の文書ファイルについても、フォルダの階層構造で種類別に分類するのではなく、とりあえず日付順で保管しておいてデスクトップサーチ経由で必要な文書にアクセスする作業スタイルが一般化しているだろう。
企業内サーチエンジンも考え方はこれと同じだ。企業内の多種多様な文書データをサーチエンジンにより横串的に検索することで、無理矢理データを物理的に集約したり、分類したりすることなく、従業員が必要な情報にアクセスできるようになる。「ビッグデータ」化した文書データの有効活用に企業内サーチエンジンは不可欠な要素だ。
インデックス作成、検索アルゴリズム、日本語対応のための形態素解析などのサーチエンジンの基本機能は既に十分に枯れてきている。テクノロジとしての重要な差別化要素はサーチ結果のランキングにある。また、概念検索、自然言語検索などの付加価値機能にもまだ十分なイノベーションの余地がある。
