【EMCジャパン Tech Communityサイト】EMC IsilonスケールアウトNASによるHadoopストレージ環境の構築

■はじめに■


企業は、急増する大量データ「ビッグデータ」の保存や管理に始終、対応を迫られています。データの計算能力の拡大に合わせてディスクドライブの容量も拡大を続けていますが、ビッグデータを分析して貴重な洞察を得るためのツールは、このようなデータの急増に追いついていません。既存の分析アーキテクチャは高価で処理速度が遅すぎることが知られており、維持や管理がきわめて難しいことも明らかになっています。


Hadoop は、企業が保有するデータセットから貴重な洞察を短時間で得られるように設計されているオープンソースの革新的な大規模データ分析エンジンです。MapReduceおよびHDFS（Hadoop Distributed File System）という 2つの主要コンポーネントで構成されています。MapReduceは、複数のノード上でジョブを並列処理し、大規模データセットから結果を高速で取得する分散タスク処理フレームワークです。またHDFSは、Hadoop 計算ファームが分析に必要な入力データすべてと、MapReduceジョブによって生成される出力データのすべてを格納する、分散ファイルシステムです。


Hadoop はスケールアウトという原則に基づいて構築されています。汎用ハードウェアのクラスタ上で動作するインテリジェントなソフトウェアを使用して、貴重な洞察を迅速に、かつ低コストで提供します。Hadoop がビッグデータの分析に最適なのは、この分散並列型のタスク処理エンジンのおかげです。


さまざまなビッグデータのストレージニーズに対し、企業は今まで同様、EMC IsilonスケールアウトNAS（Network Attached Storage）に期待を寄せています。OneFSはIsilonスケールアウトNAS のオペレーティングシステムであり、クラスタを形成する複数ノード上で実行される分散ファイルシステムでもあります。OneFSはハードウェアをスケールアウトするという観点に加えて、管理もスケールアウトできるように設計されており、大規模なシステムであっても従来のストレージシステムの管理に必要な人員と同程度の人員で管理できます。OneFSには自己修復、および自己管理のための機能が組み込まれており、ストレージ管理の複雑さを解消し、管理負荷を劇的に軽減できるようになっています。また、OneFSは並列処理するように設計されているため、複数のハードウェアユニットに分散されて主要なシステムサービスが実行されます。その結果、OneFSはインフラストラクチャの拡張にとともに、すべての次元で仮想的に拡張できるようになっており、今日のようにデータが急増したりワークフローが変化する状況下においても、同じように機能し続けます。


柔軟性に富み、インフラストラクチャやデータ容量の需要の変化だけでなく、進化するワークフローにも適応可能で、シンプルでかつ使いやすいEMC IsilonスケールアウトNASは、ビッグデータ分析ワークフローソリューションにおけるHadoop 向けストレージとしてきわめて魅力的な選択肢となります。


続きはこちらから (»リンク)


EMCジャパンのTech Communityサイト (»リンク) では、ストレージや情報管理に関する最新技術を多数紹介しています。