大量データのリアルタイム処理に求められるアーキテクチャ
実世界での情報が電子のデータに変換されることで、情報システムがもたらす意義は従来以上に大きくなろうとしている。そうした世界では、従来と同じようなデータ処理アーキテクチャでは対応できなくなっている。発生したデータはリアルタイムで処理されてこそ、意味があるからだ。そうした視点で、現在注目されているのが「ストリームデータ処理」と呼ばれる技術だ。
日立製作所は先月、同社ミドルウェア製品を中心にしたセミナー「HITACHI Open Middleware World 2008 Autumn」を主催。同セミナーの中で、このストリームデータ処理をテーマに、日立製作所の中央研究所の西澤格氏（情報システム研究センタ プラットフォームシステム研究部主任研究員・工学博士）が「大量の実世界データから『今』を分析するストリームデータ処理の可能性」と題した講演を行っている。日立製作所は、SOA基盤ソフトウェア「Cosminexus」シリーズの中で、ストリームデータ処理基盤として「uCosminexus Stream Data Platform」を開発、提供している。
西澤氏はまず、ストリームデータ処理が生まれた背景から説明。情報爆発時代が訪れたことで、ITインフラも変革が必要だと強調している。
「電子マネーやICカード、RFIDを利用した物流管理などによってデータ量が爆発的に増大している。いろいろなデータが情報処理の世界に入ってくることで、より活気のある生活を作り出すことができると期待されているが、しかし今までのデータ処理アーキテクチャでは限界がある」
ストリームデータ処理が注目されるもうひとつの背景は、ビジネススピードの加速だ。実世界と情報システムが融合することで、ビジネスの速度が飛躍的に向上しているからだ。
たとえば株の取り引きでは、数秒から数ミリ秒へと反応速度が変わってきている。アルゴリズム取引という形でコンピュータ同士による戦いの様相を呈してきているからだ。また、企業の在庫管理という分野でも、従来は1週間単位で把握すればよかったものが、現在では数分単位のリアルタイム発注なども求められるようになってきた。
そこでデータ処理の世界でも、従来のデータを一括処理する“ストック型”のアーキテクチャではなく、データの発生時にリアルタイム処理する“フロー型”の新しいデータ処理アーキテクチャが求められる。それがストリームデータ処理である。
西澤氏は「ストリームデータ処理によって大量フローデータを分析し、“今”の状況をリアルタイムに検知・監視できる。また実世界データのリアルタイム処理により、新しいビジネス創造や現行システムの改善も可能」と説明している。
米国で研究がスタート
話題は、ストリームデータ処理をよりよく知るため、その歴史や技術の説明に移行。西澤氏は、「データ処理技術の歴史を見ると、データ格納位置はストレージからメモリに、そしてデータ処理モデルもストック型からフロー型に移行している」とし、2002年から米国の有力大学においてストリームデータ処理の研究プロジェクトがスタートしたと説明している。
