Hadoopのパフォーマンスを、さらに高める改善ポイント
Hadoopといえば、データ処理を複数のサーバに分散して行うMapReduceだが、この処理の時間を短縮することが最初の改善ポイントとなる。Javaで書かれた処理を C言語で書き直し、アルゴリズムの一部を最適化するだけでも相当に高速化される。BigInsightsもこの点に着目し、単なる書き換え以上の改良を加えた、Adaptive MapReduceを提供している。 それによって、どの程度高速になるのかは環境や処理内容に依存するが、数倍から10倍程度まで高速化される場合もある。
次の改良点としては、Hadoopのために生み出されたファイルシステム、HDFSが挙げられる。HDFS上のファイルは、OSやBIツールから直接参照できないため、移動やコピー、最新版の管理などに手間がかかってしまう。そうした課題を解決するために、HDFS以外のファイルシステムを開発し、置き換えて提供するのだ。
IBMにはもともと、分散共有ファイルシステムとして定評のある、GPFSがある。BigInsightsでは、これをHadoopに代表されるビッグデータ・アプリケーションに最適化した、GPFS-FPO（General Parallel File System - File Placement Optimizer）を提供している。
ホワイトペーパー
IT予算の7割とも言われる保守費 シンプルな運用のHadoopを導入し、ビッグデータ活用しませんか？
IBM PureData System for Hadoop は、Hadoopに特化したアプライアンスで、最新の技術を結集し、ソーシャルデータ、マシンデータ、テキスト分析も可能です。
初期費用は高額ですが、市場に似た製品はありません。今後5年間のビッグデータ活用&運用保守までを考えた製品の概要を是非ご覧ください。
>>ホワイトペーパーダウンロードはこちら
データ活用を、より容易に
こうしたHadoopの土台ともいえる部分だけでなく、BigInsightsはデータ活用を容易にするための機能も追加して提供する。その代表的なものがBigSheetsとBigSQLだ。
BigSheetsは格納されたデータ（HDFS上でも構わない）を表示、編集することのできる、表計算形式のツールである。Hadoop環境で作り出されたデータを、Webブラウザからすぐに確認したり、簡単な加工を行うには大変重宝する。それはまさに表計算アプリケーションの簡易版といった体で、必要な列だけに絞り込んだり並べ替えてみたり、グラフを生成して表示してみたり、といったことを簡単に実現できる。
データ活用を容易にするBigSheetsのスクリーンイメージ。
※クリックすると拡大画像が見られます
もうひとつのBigSQLは、これまでSQL言語に慣れ親しんだ、データベース技術者がHadoopを使う際に重宝する。オープンソースのHadoopでも、Javaをはじめ様々な方法でMapReduce処理を実装するだけでなく、SQLライクな言語でデータを扱うこともできる。しかし、それはあくまで"ライク"であって、ANSI規格に則ったものではない。その点、BigSQLはSQL92に準拠しており、JDBCやODBCを介してデータにアクセスする。HadoopをまるでRDBのように扱える、といっても過言ではないだろう。
※クリックすると拡大画像が見られます