実世界を実時間で計算--「ストリームデータ処理」の可能性:HITACHI Open Middleware World - (page 2)

宍戸周夫(テラメディア) 2008年12月08日 21時26分

  • このエントリーをはてなブックマークに追加
  • 印刷

 同氏は「ストリームは交通情報、株価情報、RFID読み取り情報のような、無限に到来する時刻順データ系列のことであり、そしてストリームデータ処理は、リレーショナル・データベース(RDB)の関係代数モデルに基づくストリームの継続的リアルタイム処理」と定義づけた。RDBがクエリ発行時に全データを見て全結果を抽出する一括処理であるのに対し、ストリームデータ処理はデータ到達時にそのデータを見て関係する処理のみを実行する差分処理、という違いがある。

 そこで西澤氏は、ストリームデータ処理の特徴として、(1)ウィンドウにより無限に続くストリームデータの高速処理を実現、(2)集計・分析シナリオは、SQL言語を拡張した「CQL(Continuous Query Language)」言語で定義するため、アプリケーションを必要とせずにシナリオ変更ができる、(3)インメモリ差分計算で高速処理を実現――という3つの特徴を上げた。

 ストリームデータ処理におけるウィンドウは、無限に続くストリームデータの処理対象を切り取るための必須のものだ。データの数(行ウィンドウ)、時間(時間ウィンドウ)、グループ分け(パーティション・ウィンドウ)の3つをサポートしている。CQLはデータ処理定義のためのクエリ言語で、標準的な問い合わせ言語であるSQLにウィンドウの機能を組み合わせ、データ出力のためのストリーム化演算を提供する。

“今”を分析し、迅速な意志決定を実現

 西澤氏の講演は、ストリームデータ処理が誕生した時代的背景、そして基礎的な技術的説明を終えた後、事例紹介に移った。

 まず紹介したのは、位置計測機器などを搭載した交通情報生成車両である“プローブカー”の位置情報をストリームデータ処理することで、交通渋滞や事故を検出するという事例だ。デモでは、Google Earth上で数千台の自動車の速度(色で表示)、向き(矢印で表示)、そしてその密度から渋滞を検出、実際の13倍の速度で再生するというものである。

 数千台のプローブカーの車両位置情報をリアルタイムに収集し、ストリームデータ処理により全車両速度と車両密度のリアルタイム計算を実現している。西澤氏は「すべての計算は1台のPCで処理できるという軽さがあり、またクエリでの計算アルゴリズムを切り替えることで開発・更新コストを大幅に削減できる」とその特徴をアピールした。

 次に紹介したのは、“今”を分析して攻めの内部統制を実現する高速ストリームログ分析である。内部統制の重要性は改めてふれるまでもなく、また刻々と変化する事象を捉え新たなビジネスにつなげるというのも企業に課せられた大きな課題となっている。ここで必要になるのは、大量のログデータを高速に解析する高速ストリームログ分析であるというストーリーだ。

 「今、ログデータは保存から活用の時代になっている。そこでプロキシサーバや業務システム、認証システムなどのログを高速に解析、ユーザーIDが不正に利用された場合は注意を促すメールを送信するなどして不正の抑止に使える」

 たとえば、ある時刻に利用者Aがシステムにサインインした後、30分後に遠く離れたところから同一人物の名で不正者がサインインするようなことがあれば、この高速ストリームログ分析で直ちに不正防止の策を講じることが可能になる。ストレージデータ処理のひとつの活用例である。

 西澤氏は「ストリームデータ処理は大量に発生する実世界データから“今”を分析する新技術。現場の状況や問題点をすぐに把握することで、迅速な意志決定が可能になる」と講演をまとめている。

ZDNet Japan 記事を毎朝メールでまとめ読み(登録無料)

  • このエントリーをはてなブックマークに追加

関連ホワイトペーパー

連載

CIO
月刊 Windows 10移行の心・技・体
ITアナリストが知る日本企業の「ITの盲点」
シェアリングエコノミーの衝撃
デジタル“失敗学”
コンサルティング現場のカラクリ
Rethink Internet:インターネット再考
インシデントをもたらすヒューマンエラー
トランザクションの今昔物語
エリック松永のデジタルIQ道場
研究現場から見たAI
Fintechの正体
米ZDNet編集長Larryの独り言
大木豊成「仕事で使うアップルのトリセツ」
山本雅史「ハードから読み解くITトレンド放談」
田中克己「展望2020年のIT企業」
松岡功「一言もの申す」
松岡功「今週の明言」
内山悟志「IT部門はどこに向かうのか」
林 雅之「デジタル未来からの手紙」
谷川耕一「エンプラITならこれは知っとけ」
大河原克行「エンプラ徒然」
内製化とユーザー体験の関係
「プロジェクトマネジメント」の解き方
ITは「ひみつ道具」の夢を見る
セキュリティ
セキュリティインシデント対応の現場
エンドポイントセキュリティの4つの「基礎」
企業セキュリティの歩き方
サイバーセキュリティ未来考
ネットワークセキュリティの要諦
セキュリティの論点
スペシャル
エンタープライズAIの隆盛
インシュアテックで変わる保険業界
顧客は勝手に育たない--MAツール導入の心得
「ひとり情シス」の本当のところ
ざっくり解決!SNS担当者お悩み相談室
生産性向上に効くビジネスITツール最前線
ざっくりわかるSNSマーケティング入門
課題解決のためのUI/UX
誰もが開発者になる時代 ~業務システム開発の現場を行く~
「Windows 10」法人導入の手引き
ソフトウェア開発パラダイムの進化
エンタープライズトレンド
10の事情
座談会@ZDNet
Dr.津田のクラウドトップガン対談
Gartner Symposium
IBM World of Watson
de:code
Sapphire Now
VMworld
Microsoft WPC
Microsoft Connect()
HPE Discover
Oracle OpenWorld
Dell Technologies World
AWS re:Invent
AWS Summit
PTC LiveWorx
吉田行男「より賢く活用するためのOSS最新動向」
古賀政純「Dockerがもたらすビジネス変革」
中国ビジネス四方山話
ベトナムでビジネス
日本株展望
企業決算
このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]