Hadoop活用を成功に導く鍵とは？--本気で取り組む企業ほど「商用製品」を選ぶ理由

アプライアンスなら払拭できる、「自前」Hadoopの限界

　Hadoopの原点は、多数の安価なサーバで分散処理を行うことで、大規模データでも時間をかけずに処理できるところにある。よって、少なくとも10台以上のサーバとネットワーク機器について、滞りなく動作するように管理しなければならない。日頃の死活監視と故障などのトラブルへの対応はもちろん、ソフトウェアのアップデートをどのように行うか、それを行って問題がないと確認するにはどうするか、といったところまで考えると頭が痛い。

　さらに、その機器の選定について考えても、単純にデータ容量だけで決められるものではない。

　CPUやメモリ、ディスク、ネットワークがバランスよく性能を発揮するよう考慮しなければ、負荷が偏って性能を活かせなくなってしまう。検証環境を作って性能や相性を確認したり、構成部品の将来性を考慮したり、はたまた価格交渉を何度も行ったり。多くの時間と労力を費やしても、本番環境が納品されてみなければわからないトラブルは多くある。 いざ構成を決めて発注しても、稼働するまでには機器がすべて納品され、それを設置しなければならない。ソフトウェアをインストールし、パッチをあてて、稼働確認をしなければならない。そこでトラブルが起こったとき、複数のベンダーにサポートを依頼しなければならないとしたら、オープンソースでサポートすらないとしたらどうだろう。

　よくありがちな「たらい回し」で、いつまでも問題が解決しない、最悪の状況に陥るかもしれない。

　そうした悩みを解決するには、アプライアンス製品を導入する、というのもひとつの有効な手段であろう。

　事前に機器構成が決まっているから、自社の好みに合わせてカスタマイズはできないし、データ容量を持て余すかもしれない。後から拡張するのも簡単ではない。しかし、先に挙げたような悩みからは、すっかり解放される。

　バランスよく性能を発揮するように選定された機器は、工場でラックへ組み付けられ、ソフトウェアまで導入済みの状態で納品される。届いたら電源につないで、初期不良がないことを確認するだけだ。機器の選定や導入にかかる手間も時間も大幅に削減される。システム全体（それこそ電源装置まで）を一元管理できるツールが付属し、ソフトウェアのアップデートもメーカー側でテスト済みのものを、指定された手順通りに適用すればいい。

　何かトラブルが発生しても、複数のベンダーに問い合わせる必要などない。

PDHで詳しく知る、アプライアンス製品の強み

　IBM PureData System for Hadoop（以下PDH）は、前出のBigInsightsとIBMのハードウェア機器を組み合わせた、Hadoopアプライアンス製品である。豊富な実績と定評のあるNetezzaのノウハウを使って開発されている、といえば、ただハードとソフトをパッケージしただけでないことをおわかりいただけるだろうか。

※クリックすると拡大画像が見られます

　Netezzaはいま、IBM PureData System for Analytics（以下PDA）と呼ばれているが、この製品と組み合わせができるのもPDHの特徴である。

　Hadoopは安価で大量データの処理に向くが、処理速度の点では専用のDWHに及ばない。そこで、PDHで一次処理した大量データの一部を、高速なDWH環境であるPDAへと移し替えて活用する。その逆に、時間が経って活用頻度の低いデータを、PDAからPDHへと移し替えて保管しておく。ちなみに、PDAに発行するSQLでPDH上のデータも検索できるから、アーカイブしたデータも必要、という場合にも安心である。

※クリックすると拡大画像が見られます

　次世代型のデータウェアハウスともいえるこうした組み合わせが、今後ビッグデータの活用について、成否を決めるのかもしれない。

著者紹介

一志 達也
BigData/DWH/Netezza Technical Sales

日本アイ・ビー・エム ソフトウェア事業　インフォメーション・マネジメント事業部

日本IBM株式会社インフォメーション・マネージメント事業部にて、PureData System for Analytics（Netezza）やPureData System for Hadoopなど、ビッグデータ関連のプリセールスを担当。以前は大手SIerでSEとして経験を積む傍ら、雑誌やWebメディアへの寄稿、講演活動などを行う。その後、日本オラクルでデータベース製品のマーケティング、デルでサーバ製品のマーケティングを経験し、現在に至る。