インターネット技術を活用した電子取引や電子マネー、ICカードの普及、RFIDによる物流管理、センサ技術の発展などにより、実世界の情報が爆発的に増大している。こうしたデータは、データベース管理システム（DBMS）を中核とした従来型のITインフラでは対応することが困難であり、大量のデータを高速に処理するための新しい技術が求められている。
日立製作所 IT基盤ソフトウェア本部 第2基盤ソフト設計部 主任技師の田村和則氏は、「ITインフラを抜本的に改革することが必要。大量データを高速かつリアルタイムに処理できるストリームデータ処理技術など新しい技術が注目されており、既存の技術と組み合わせ、適材適所で利用することで新たな価値を生み出すことが必要だ」と話す。
たとえば、ストリームデータ処理は、時系列データをリアルタイムに分析する場合や、データを蓄積することなく処理する場合に適した技術。従来のDBMSの延長線上にあるインメモリデータベースやデータグリッドは、データベースに蓄積された既存のデータを活用しながら処理を高速化する場合に適した技術となる。
「処理するデータの質と量が変化したことに伴い、処理技術もインメモリDB技術やデータグリッドのようにデータを保存して一括処理するストック型データ処理だけでなく、データを保存することなくリアルタイムに処理するフロー型データ処理の必要性が高まっている」と田村氏は言う。
フロー型データ処理では、リアルタイムの検知や監視はもちろん、複数データの統合監視（CEP：Complex Event Processing）などを容易に実現することが可能。必要なデータの抽出（フィルタリング）や時系列データのマッチング、ランキング集計などの仕組みを容易に実現することができる。
このフロー型データ処理を実現することを目的に日立が開発し、2008年11月より提供を開始しているのがuCosminexus Stream Data Platform（uCosminexus SDP）だ。uCosminexus SDPは、すでに企業システムに導入され効果を上げている。
