富士通研、バッチ処理とCEPの開発実行環境の統合技術を開発

田中好伸 (編集部) 2012年08月20日 15時39分

  • このエントリーをはてなブックマークに追加

 富士通研究所は8月20日、大規模な蓄積データ処理と複合イベント処理(CEP)を統合的に開発、実行する環境を開発したと発表した。ビッグデータ向けプラットフォームやミドルウェアとして2013年度中の製品化を目指す。

 近年センサデータや人間の位置情報などの時系列データを代表とする、多種大量なデータが飛躍的に増加し続けている。こうしたビッグデータからいかに価値ある情報を効率的に引き出し、素早く役立てられるかが求められている。

 ビッグデータの処理では、蓄積された大量のデータを処理する分散並列処理フレームワークの「Hadoop」などによるバッチ処理技術、リアルタイムにデータを処理するCEPが利用されている。バッチ処理とCEPに対応する開発実行環境は統一されていなかったために、分析者が分析結果から得た知見を、素早くCEPに反映することは困難とされていた。

 また大量のイベントに対するCEPを行うには、クラウド上の複数の計算機を活用した高速処理が欠かすことができない。サーバを必要に応じて増減できるというクラウド特有の条件を考慮して、富士通研究所が開発するCEPエンジンの性能を最大限引き出すには、処理をどのように分散させれば効率よく計算できるかを知った上で、短期間に多数到着するデータを並列に処理するアプリケーションの設計が重要となってくる。

 こうした課題から富士通研究所は、ビッグデータの分析処理とCEPを統合した開発実行環境を開発したと説明する。今回の開発環境を活用すれば、例えば、蓄積された販売時点情報管理(POS)データから直近の購買動向を分析し、特定の顧客層に絞ってリアルタイムにクーポンを発行する処理をプログラミングなしに簡単に行うことができるようになるという。

 今回開発した技術は(1)開発言語に依存せずに簡単にプログラムを自動生成する開発実行環境の統合、(2)CEPプログラムの処理効率を自動的に向上させる並列性抽出機能――という二つで構成されている。

図1 開発実行環境の統合
※クリックすると拡大画像が見られます

 (1)の開発実行環境の統合では、データ流れ図と、処理パラメータに相当するプロパティで処理内容を定義すると、処理種別の判定結果に対応した自動生成パターンを活用して、バッチ処理またはリアルタイム処理向けのプログラムが自動で生成される。処理内容に応じてデータ型変換などの処理が補完され、バッチ処理またはリアルタイム処理の実行環境にプログラムとデータが適切に配備、実行されることになる。

 (2)の並列性抽出機能は、(1)の統合で自動生成された、リアルタイム処理向けのプログラムから並列性を抽出し、一般的な通信量が減る基準に従って、どの並列性の組み合わせがいいかを自動的に推奨するという技術だ。リアルタイム処理には、到着するイベントをサーバに振り分けて並列に実行する処理がある。処理ごとに複数の振り分け方が可能で、どの振り分け方を選ぶかで性能が異なってくる。

 一般的には、より細かな単位で振り分けた方が負荷を均等にしやすくいい性能が出るといわれている。だが、イベント処理では、通信を減らした方がいい性能が出るともいわれている。そこで、同じサーバで実行するように処理をできるだけまとめる振り分け方を選び、通信が少なく全体としての処理効率のいい組み合わせを推奨する。リアルタイム処理の実行時には、イベントの量に応じてサーバ数を増減させつつ、推奨された並列性にしたがってサーバに処理を割り当てることで高い性能を出すことができると、メリットを強調している。

図2 CEPでの並列性抽出機能
※クリックすると拡大画像が見られます

 今回開発した統合的な開発実行環境を利用すると、富士通研究所の事例では、分析プログラムの開発からCEPの開発までの期間を約8週間から1週半と、約5分の1に短縮することに成功できたと説明。各処理のパラメータをプログラミングなしに容易に変更できることから、分析結果から得た知見を素早くイベントの検出条件に反映するなど、開発環境での試行錯誤も容易に行えるとも説明している。

 CEPの並列性抽出機能を利用すると、サーバ数の動的な追加と削除でも、再コンパイルなしに動的に負荷分散できる実行可能プログラムが生成される。処理間でイベントの振り分け方が異なるサンプルプログラムで性能を計測すると、一つにまとめる基準で振り分けた場合は、処理後との基準で振り分けた場合に比べ、通信量が60%減となるとともに、処理効率が3.5倍に向上できたという。

ZDNet Japan 記事を毎朝メールでまとめ読み(登録無料)

  • このエントリーをはてなブックマークに追加

この記事を読んだ方に

連載

CIO
IT部門の苦悩
Rethink Internet:インターネット再考
インシデントをもたらすヒューマンエラー
トランザクションの今昔物語
エリック松永のデジタルIQ道場
研究現場から見たAI
Fintechの正体
米ZDNet編集長Larryの独り言
大木豊成「仕事で使うアップルのトリセツ」
山本雅史「ハードから読み解くITトレンド放談」
田中克己「2020年のIT企業」
松岡功「一言もの申す」
松岡功「今週の明言」
内山悟志「IT部門はどこに向かうのか」
林 雅之「デジタル未来からの手紙」
谷川耕一「エンプラITならこれは知っとけ」
大河原克行「エンプラ徒然」
内製化とユーザー体験の関係
「プロジェクトマネジメント」の解き方
ITは「ひみつ道具」の夢を見る
セキュリティ
「企業セキュリティの歩き方」
「サイバーセキュリティ未来考」
「ネットワークセキュリティの要諦」
「セキュリティの論点」
スペシャル
ざっくりわかるSNSマーケティング入門
課題解決のためのUI/UX
誰もが開発者になる時代 ~業務システム開発の現場を行く~
「Windows 10」法人導入の手引き
ソフトウェア開発パラダイムの進化
エンタープライズトレンド
10の事情
座談会@ZDNet
Dr.津田のクラウドトップガン対談
Gartner Symposium
IBM World of Watson
de:code
Sapphire Now
VMworld
Microsoft WPC
Microsoft Connect()
HPE Discover
Oracle OpenWorld
Dell EMC World
AWS re:Invent
AWS Summit
PTC LiveWorx
より賢く活用するためのOSS最新動向
古賀政純「Dockerがもたらすビジネス変革」
中国ビジネス四方山話
ベトナムでビジネス
米株式動向
日本株展望
企業決算
このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]