データをクラウド上に自動集約する“蓄積・検索”ソリューション
続いて行われたのは、蓄積・検索についてのソリューションの解説とデモだ。PFビジネス本部 ストレージビジネス推進部で主任技師を務める小笠原裕氏が紹介したソリューションCloud on-Rampは、企業内で増加の一途をたどるデータの蓄積について、まさに「クラウドへの入り口」を提供しようというものだ。
解説 データ集約ソリューション
Cloud on-Rampは、ユーザー側の各拠点に設置された仮想ファイルプラットフォーム「Hitachi Virtual File Platform（以下、VFP）」と、日立が提供するクラウド側（データセンター）に設置されたバックアップ／アーカイブストレージ「Hitachi Content Platform（以下、HCP）」とをシームレスに連携させることで、データの自動集約、自動バックアップ／アーカイブ、センターでの運用管理の一元化を実現するものだ。この仕組みによって、ビッグデータを蓄積することに関しても有効なソリューションとなる。
企業内に巨大なデータが存在するとはいえ、よく利用するデータとほとんど利用しないデータでは、アクセス頻度に大きな偏りがある。ストレージを圧迫しているのはアクセス頻度の低い保存用のデータであることが多い。そうしたデータを自動的に識別し、クラウドに自動的にバックアップしておき、必要になったときに自動でリストアすることができれば、ストレージ容量の監視や管理コストは大幅に削減できる。また、データを取り扱うユーザーにとっても、データ管理の負荷が下がり、業務効率の向上にも貢献する。
実際にデモを見てみよう。下の写真の、中央は通常の方法で管理されているファイルで、右側がVFPで管理されているファイルだ。同じファイルについてプロパティを見ると、ディスク上のサイズは、中央が約36KBであるのに対し、右側は4KBしかないことがわかる。
※クリックで拡大
通常のファイル
VFPで管理されているファイル
右側のファイルの実体は、実際には、クラウド上のストレージ（HCP）に格納されており、ファイルはショートカットのような働きをしている（日立では「スタブ化」と呼ぶ）。ここで注目できるのは、アクセス頻度が少ないファイルは自動的に右側のようにクラウドに配置され、さらにファイルを「開く」動作をすると、クラウド上からローカルへとファイルの実体が自動的にコピーされることだ。ユーザーは、通常のファイル管理と同じようにデータを扱うことができ、また、そのデータがどのくらいストレージを圧迫しているかといったこともまったく意識する必要がない。
ファイル容量の削減効果は、画像データのような大きいファイルになればなるほど効果が高まる。下の写真は画像について比較したものだが、1.23MBのファイルが4KBにまで削減されていることがわかる。
1.23MBの画像ファイル ※クリックで拡大
小笠原氏によると、Cloud on-Rampでは、情報の利用価値やポリシーに応じて、データを配置することが可能だ。また、CIFS(Common Internet File System)、NFS(Network File System)といった企業で利用する多くのプロトコルに対応し、文書や画像、データベース、メール、映像といったファイルを一元的に管理できる。さらに、通信時にデータを圧縮してデータ転送量を減らしたり、クラウド上のストレージ(HCP)でデータの重複を排除したり、仮想的に分割された領域を作ることで、拠点ごとにセキュリティを確保したデータ管理を行えるマルチテナント機能なども備える。
新しい技術で「蓄積・検索」などのビッグデータ活用を支援
冒頭で紹介した分散KVSの「uCosminexus Elastic Application Data store」を利用することでクラウド環境における高速データ処理・ビッグデータ処理を実現する。
インメモリデータグリッド技術を利用してオブジェクト形式のデータを複数サーバに分散して管理することで、一種のキャッシュサーバーのような形で高速なデータアクセスが可能になり、ディスクアクセスの時間から従来のデータベース技術 でカバーできない領域を補完する。
またデータベース技術に関しても、東京大学と共同で 超高速データベースエンジンの研究開発を行っており、このような製品・技術をもとに、ビッグデータの高速検索・効率保管の実現を支援していく。
このソリューションについて、渋谷氏は、「新しい技術を意思決定者に伝えることには難しさを伴うもの。だが、このソリューションは、例えば、拠点間での共有が難しかったデータを共有してデータの再利用の可能性をさらに高めるなど、新しいデータ管理のあり方として提案がしやすいと感じた。また医療データ共有などの社会インフラに利用することは、新しいデータ管理・活用のソリューションにひもづきやすく、期待が持てる」と話す。
また赤城氏は、「これまでのデータ管理では、コストの観点からいらないものは捨てるという発想が多かった。だが、不用意に捨てるのではなく、非構造的なファイルを蓄積していくことで、あらたに活用シーンが広がるというシナリオが想定できる。特に、高価なストレージ製品を購入することなく、NASと同じように利用できることは企業にとってメリットと言える」とする。
実際、欧米の小売業者では、Cloud on-Rampによりプライベートクラウドを構築し販売情報の集計・分析に用いている。具体的には、約2,000店舗ある各店舗での膨大なレシートデータをデータセンタ(クラウド)側に集約して一括保管し、そのデータを集計分析、さらに各店舗での価格やキャンペーンなどのプロモーションデータにフィードバックすることで、膨大な取引データを販売促進に活用しており、新しいデータ蓄積、管理の仕組みの利用が進んでいるという。
なお今回は深く扱うことができなかったが、リアルタイム監視については、下記の解説を一読頂きたい。ここまで、ビッグデータのライフサイクルのうち、集計・分析、蓄積・検索という2つの分野のソリューションを紹介した。ビッグデータは、すでに具体的な活用シーンも描かれており、それに向けた取り組みも進められている。自社においてビッグデータをどう活用すべきか、積極的に検討すべきだろう。
解説 リアルタイム監視
ライフサイクルにおけるリアルタイム監視については、ビッグデータ活用という観点で注目が高まっている領域であり、ここについても日立ではストリームデータ処理を行う「uCosminexus Stream Data Platform」を提供している。「ストリームデータ処理技術」は、大量発生する実世界データを逐次に時系列処理する技術だ。従来のデータベース処理は、分析データをいったんDBに格納した後、バッチ処理などで一括処理を行う。そのため、データの発生から分析までにタイムラグが生じてしまう。これに対して、ストリームデータ処理では、データ発生時に、あらかじめ登録したシナリオにしたがって集計・分析に必要なデータを抽出し、データ処理を行うことでリアルタイムな処理を可能とする。この技術を用いることで、リアルタイムな状況監視や、より鮮度の高いデータに基づいた迅速な意思決定を行うことなど、さまざまな業種におけるビッグデータの活用が期待できる。
詳しくはホワイトペーパーで
日立のビッグデータ活用事例と、日立が考えるビッグデータライフサイクル
後編予告（6月上旬公開予定）
近日公開予定の後編では、今回のデモンストレーションを見たうえで行なわれたディスカッションの模様を全編にわたりお送りする。IDC Japanの赤城知子氏がアナリストの立場から、ゼンリンの渋谷健氏がユーザー企業の立場から、それぞれ積極的な質問や意見を日立にぶつける。今後の企業のビッグデータ導入をめぐる議論の行方は！？こちらも必見の内容だ。
