JP1、Hadoop、QlikViewと連携した“集計・分析”ソリューション
まず、集計・分析については、システム基盤ビジネス本部 サービス・ソリューション拡販センタ センタ長の荒井達郎氏がソリューションの内容を解説した。
「データ分析の適用分野は従来、科学技術、ゲノム解析などが中心だったが、パートナーとの連携などにより、Webログ解析、通信キャリアログ、ネットビジネス、エンタープライズサーチといった新しい分野への適用拡大が始まっている」（荒井氏）という。
解説 集計・分析ソリューション
集計・分析ソリューションは、Hadoopのビジネス分野への適用を進めるため、パートナーとソリューションスタックの各分野ごとで連携が図られている。これにより、ユーザー企業は「実績あるソリューションを短期間で導入でき、Hadoopのビジネス利用を円滑に立ち上げることができる」（荒井氏）という。
具体的には、日立が「HA8000-bd/BD10」やミドルウェアとして運用管理ソフトウェア「JP1」を提供。HA8000-bd/BD10は、高集積・低消費電力で、優れたスケールアウト特性を持つブレードサーバである。パートナーとの連携例では、アプリケーションソフトウェアとして、クリックテック社のインメモリBIツール「QlikView」を採用し、ビッグデータの分析と可視化を高速に行える。そのうえで、Hadoopでの運用管理機能をJP1で補完するかたちである。
3台の管理コンソールで動作を確認
デモは、そうした新しい分野への適用例として実際に利用されたケースをモデルにしている。今回は30GBのWebのアクセスログデータの分析処理を行なった。写真のように、3台の管理コンソール上で、動作を確認することができる。左側から、それぞれHadoop、JP1、QlikViewの管理画面となる。Hadoopの管理画面の下に設置されているのがブレードサーバHA8000-bd/BD10だ。
Hadoop ※クリックで拡大
JP1 ※クリックで拡大
QlikView ※クリックで拡大
このシステムでは大量のデータをHadoop上でMap処理、Reduce処理を行い、その結果に基づいてQlikViewでデータを分析、可視化する仕組みだ。QlikViewはインメモリBIツールであるため、扱うことができるデータ容量はメモリ量の制約を受ける。そのため、データの前処理が必要になるが、伝統的なデータストアでは時間がかかりすぎるうえ、データマートを別に構築する必要もある。そこで、分散処理が可能なHadoopを使えば、大量のデータを一度に扱うことができ、さらにハードウェアとしてHA8000-bd/BD10を利用すれば、ブレードの拡張によってリニアに分散処理性能を向上させることができる。しかも、これらの運用管理はJP1で一元的な管理が可能になっているわけだ。
※クリックで拡大
デモでは30GBのWebのアクセスログデータを約7分でMap、Reduce処理し終え、QlikViewですぐに分析できることが示された。扱うことのできるデータは、アクセスログのみならず、SNSのログ、POSデータなど多種多様なものが可能だ。
Hadoopとの違いは既存資産の活用を支援できること
前述の日立が提供する「uCosminexus Grid Processing Server」についても、Hadoopと同じく分散処理を行うプラットフォームであるが、Hadoopとの大きな違いは、既存のバッチ処理で利用していた資産（COBOLアプリケーション等や入力データなど）を、少ない修正で流用することができる点である。
そのため、既存システムを活用したバッチジョブ分散処理システムの構築をスムーズに行うことが可能となり、ビッグデータに関わらず既存資産における処理の高速化を図りたいときに有効な手段となる。
また、ジョブを分散並列実行して一部のジョブでエラーが発生した場合でも、すべてのジョブをやり直す必要はなく、対象のジョブだけを再実行することもできるなど、分散処理としての可用性を高めている。
実際に、このような仕組みを用いることで、1週間に1回の頻度で行なっていた商品の原価計算を毎日実施できるようになった食品メーカーの事例もある。また、小売業におけるPOSデータの分析なども、一般的にはデイリーバッチ処理し前日の売上を把握しているが、この仕組みを使えば、例えば、15分ごとに売上や販促効果の分析も可能になる。
デモを見た渋谷氏は「業務の現場では、データ分析の結果をほしいタイミングでもらえず、リアルタイムのデータに基づく正確な判断ができないケースが多い。こうした仕組みはその課題解決にバックエンドで貢献してくれる」と評価する。また、赤城氏は、「企業の情報システム部門は、既存のデータベースでは高速処理が難しかったり、データマートが企業内に散在していたりといった課題を抱えている。本来は短いサイクルで分析すべきと思っていてもそれができずにいる。その課題を解決するうえで有効な手段だ」と話す。
