毎秒250万件のデータを処理--NEC、ストリーム処理技術を開発

田中好伸 (編集部)

2011-10-27 12:57

 NECは10月26日、大量のセンサが収集するデータを高速に処理して、ユーザーの状況に応じてリアルタイムに情報を提供するストリーム処理技術を開発したことを発表した。

 今回開発した技術は、センサが収集したデータと、アプリケーションがあらかじめ設定したデータの配信条件を、データを蓄積せずに高速にマッチングするというものであり、アプリケーションが必要な情報のみを処理、配信する複合イベント処理(CEP)を高速化できるという。ユーザーは、道路の渋滞状況や電車の運行情報、電力の使用状況など、刻一刻と変化する情報をリアルタイムで把握できるとしている。

 今回の技術を利用して、携帯電話の現在地に応じて、交通機関の事故情報などを提供する試験的サービスを構築した。このサービスでは、5000万台の携帯電話が1分ごとに位置情報を更新すると想定。32台のサーバを活用して毎秒約250万件のデータを処理できることを確認している。

 開発した技術では、データを高速処理するフロー型のアーキテクチャを採用して、ストリーム処理に利用している。このアーキテクチャでは、あらかじめサーバ上に保持しているデータの配信条件をもとに、必要なデータだけを処理するマッチング処理を実行する。データを蓄積して一括処理する従来のストック型アーキテクチャと比較して高速処理が可能になり、リアルタイムな情報を提供できるとしている。

 データのマッチング処理では、サーバの追加に比例して性能を高められるスケールアウトのアーキテクチャを開発している。これまでは、複数の条件を持ったデータの処理を各サーバが独立して行うことができず、スケールアウトが課題となっていた。今回開発された方式では、構造化PtoP技術を応用し、配信ルールを複数のサーバに分散配置して処理する。こうした仕組みを取ることで、システムのスモールスタートが可能となり、さらにシステムの拡張が可能となったためより大きなデータもリアルタイムに処理できるようになるとしている。

 ネットワークでつながったさまざまなセンサや端末が収集する実世界のデータについて、人間を介さずに最適な情報だけをシステムやユーザーに提供するMachine to Machine(MtoM)型のサービスが普及しつつある。だが現在は、収集したデータを蓄積してから分析する手法が主流であるため、リアルタイムに処理することが困難とされていた。今回開発した技術をNECは、MtoMソリューション「CONNEXIVE(コネクシブ)」の機能として2012年3月末までに組み込む。

ZDNET Japan 記事を毎朝メールでまとめ読み(登録無料)

ZDNET Japan クイックポール

注目している大規模言語モデル(LLM)を教えてください

NEWSLETTERS

エンタープライズ・コンピューティングの最前線を配信

ZDNET Japanは、CIOとITマネージャーを対象に、ビジネス課題の解決とITを活用した新たな価値創造を支援します。
ITビジネス全般については、CNET Japanをご覧ください。

このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]