編集部からのお知らせ
「ZDNet Japan Summit」参加登録受付中! 
新着記事集:「負荷分散」

ヤフー、全社共通のHadoop基盤を構築--ノードは数千以上、国内最大級

NO BUDGET

2014-04-04 13:42

 ヤフーは、全社で共通に使える、分散並列処理プログラミングフレームワーク「Apache Hadoop」基盤を新たに構築、その基盤ネットワークとしてイーサネットファブリック型のネットワークアーキテクチャを採用した。ブロケード コミュニケーションズ システムズが4月3日に発表した。

 ヤフーは運営する「Yahoo! JAPAN」を通じて得られる情報をサービス品質の向上や新サービス創出のためにHadoop基盤で分析している。早い時期からHadoop基盤を活用してきたが、近年では近年レコメンデーション機能やターゲット広告などの多くのサービスでデータ分析に対する社内ニーズが急速に高まってきたため、より大規模で全社で共用可能なHadoop基盤を新たに構築することとなった。

 新たなHadoop環境は複数のクラスタから構成され、その規模はサービス開始直後の時点で国内最大級とみられる数千ノード以上に及ぶ。Hadoop環境では、ノード間の高速通信を支える広帯域のネットワークに加え、ノードの増設に対して柔軟に拡張できるスケーラビリティが求められるが、従来の技術に基づくアーキテクチャでは柔軟に拡張するのが難しく、性能や運用の複雑さの点でも課題があった。

 今回の構築では、ネットワークアーキテクチャを見直し、高性能を実現しながら、同時にシンプルで柔軟なスケールアウト型のネットワークを実現できるというイーサネットファブリック型のネットワークアーキテクチャを採用することを決定した。厳しい条件で検証し、イーサネットファブリックをサポートする「Brocade VCS」ファブリックテクノロジとスイッチ「Brocade VDX」の採用を決定したという。

 新Hadoop基盤では、ラック群を集約するアグリゲーションスイッチにシャーシ型スイッチの「Brocade VDX 8770」を採用、スイッチ間でファブリックを構成している。上位ネットワークでも、コアスイッチとして導入実績があるというコアルータ「Brocade MLXe」とVDXスイッチ間は広帯域の“Multi-chassis Trunking(MCT)”で接続されている。

 MCTは、複数のスイッチを1台の論理スイッチとして見なして標準のリンクアグリゲーショングループ(LAG)を使用する別のスイッチに接続できる技術。標準のLAGトランクを使用するサーバやスイッチをMCTに対応する2台のスイッチに接続でき、トラフィックを動的に負荷分散できるという。

 STP(Spanning Tree Protocol)ベースで構築されていた従来のスタック型ネットワークでは数百ノードから千数百ノードまでしか対応できなかったが、イーサネットファブリック技術のVCSでは数千ノードレベルまで対応可能。スイッチを追加するごとに低下していた性能と安定性の課題も解決されたという。

 制限となっていたHadoop基盤のノード間を広帯域のイーサネットファブリックで接続することで、システム全体の処理能力を最大限に引き出せるという。柔軟なスケーラビリティでシンプルさを維持しながらノード間を接続できるネットワークの拡張性を確保できたとしている。

 ヤフーでは、今回のネットワーク構築で設計や運用の工数を従来の2分の1以下に削減できたと説明している。

ネットワーク構成図イメージ
ネットワーク構成図イメージ(ブロケード提供)

ZDNet Japan 記事を毎朝メールでまとめ読み(登録無料)

特集

CIO

モバイル

セキュリティ

スペシャル

ホワイトペーパー

新着

ランキング

  1. クラウドコンピューティング

    Google Cloudセキュリティ基盤ガイド、設計から運用までのポイントを網羅

  2. セキュリティ

    仮想化・自動化を活用して次世代データセンターを構築したJR東日本情報システム

  3. ビジネスアプリケーション

    スモールスタート思考で業務を改善! 「社内DX」推進のためのキホンを知る

  4. セキュリティ

    Emotetへの感染を導く攻撃メールが多数報告!侵入を前提に対応するEDRの導入が有力な解決策に

  5. セキュリティ

    偽装ウイルスを見抜けず水際対策の重要性を痛感!竹中工務店が実施した2万台のPCを守る方法とは

NEWSLETTERS

エンタープライズ・コンピューティングの最前線を配信

ZDNet Japanは、CIOとITマネージャーを対象に、ビジネス課題の解決とITを活用した新たな価値創造を支援します。
ITビジネス全般については、CNET Japanをご覧ください。

このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]