富士通研究所は8月20日、大規模な蓄積データ処理と複合イベント処理（CEP）を統合的に開発、実行する環境を開発したと発表した。ビッグデータ向けプラットフォームやミドルウェアとして2013年度中の製品化を目指す。
近年センサデータや人間の位置情報などの時系列データを代表とする、多種大量なデータが飛躍的に増加し続けている。こうしたビッグデータからいかに価値ある情報を効率的に引き出し、素早く役立てられるかが求められている。
ビッグデータの処理では、蓄積された大量のデータを処理する分散並列処理フレームワークの「Hadoop」などによるバッチ処理技術、リアルタイムにデータを処理するCEPが利用されている。バッチ処理とCEPに対応する開発実行環境は統一されていなかったために、分析者が分析結果から得た知見を、素早くCEPに反映することは困難とされていた。
また大量のイベントに対するCEPを行うには、クラウド上の複数の計算機を活用した高速処理が欠かすことができない。サーバを必要に応じて増減できるというクラウド特有の条件を考慮して、富士通研究所が開発するCEPエンジンの性能を最大限引き出すには、処理をどのように分散させれば効率よく計算できるかを知った上で、短期間に多数到着するデータを並列に処理するアプリケーションの設計が重要となってくる。
こうした課題から富士通研究所は、ビッグデータの分析処理とCEPを統合した開発実行環境を開発したと説明する。今回の開発環境を活用すれば、例えば、蓄積された販売時点情報管理（POS）データから直近の購買動向を分析し、特定の顧客層に絞ってリアルタイムにクーポンを発行する処理をプログラミングなしに簡単に行うことができるようになるという。
今回開発した技術は（1）開発言語に依存せずに簡単にプログラムを自動生成する開発実行環境の統合、（2）CEPプログラムの処理効率を自動的に向上させる並列性抽出機能――という二つで構成されている。
開発実行環境の統合
※クリックすると拡大画像が見られます
（1）の開発実行環境の統合では、データ流れ図と、処理パラメータに相当するプロパティで処理内容を定義すると、処理種別の判定結果に対応した自動生成パターンを活用して、バッチ処理またはリアルタイム処理向けのプログラムが自動で生成される。処理内容に応じてデータ型変換などの処理が補完され、バッチ処理またはリアルタイム処理の実行環境にプログラムとデータが適切に配備、実行されることになる。
（2）の並列性抽出機能は、（1）の統合で自動生成された、リアルタイム処理向けのプログラムから並列性を抽出し、一般的な通信量が減る基準に従って、どの並列性の組み合わせがいいかを自動的に推奨するという技術だ。リアルタイム処理には、到着するイベントをサーバに振り分けて並列に実行する処理がある。処理ごとに複数の振り分け方が可能で、どの振り分け方を選ぶかで性能が異なってくる。
一般的には、より細かな単位で振り分けた方が負荷を均等にしやすくいい性能が出るといわれている。だが、イベント処理では、通信を減らした方がいい性能が出るともいわれている。そこで、同じサーバで実行するように処理をできるだけまとめる振り分け方を選び、通信が少なく全体としての処理効率のいい組み合わせを推奨する。リアルタイム処理の実行時には、イベントの量に応じてサーバ数を増減させつつ、推奨された並列性にしたがってサーバに処理を割り当てることで高い性能を出すことができると、メリットを強調している。
CEPでの並列性抽出機能
※クリックすると拡大画像が見られます
今回開発した統合的な開発実行環境を利用すると、富士通研究所の事例では、分析プログラムの開発からCEPの開発までの期間を約8週間から1週半と、約5分の1に短縮することに成功できたと説明。各処理のパラメータをプログラミングなしに容易に変更できることから、分析結果から得た知見を素早くイベントの検出条件に反映するなど、開発環境での試行錯誤も容易に行えるとも説明している。
CEPの並列性抽出機能を利用すると、サーバ数の動的な追加と削除でも、再コンパイルなしに動的に負荷分散できる実行可能プログラムが生成される。処理間でイベントの振り分け方が異なるサンプルプログラムで性能を計測すると、一つにまとめる基準で振り分けた場合は、処理後との基準で振り分けた場合に比べ、通信量が60％減となるとともに、処理効率が3.5倍に向上できたという。
