ヤフーは、全社で共通に使える、分散並列処理プログラミングフレームワーク「Apache Hadoop」基盤を新たに構築、その基盤ネットワークとしてイーサネットファブリック型のネットワークアーキテクチャを採用した。ブロケード コミュニケーションズ システムズが4月3日に発表した。
ヤフーは運営する「Yahoo! JAPAN」を通じて得られる情報をサービス品質の向上や新サービス創出のためにHadoop基盤で分析している。早い時期からHadoop基盤を活用してきたが、近年では近年レコメンデーション機能やターゲット広告などの多くのサービスでデータ分析に対する社内ニーズが急速に高まってきたため、より大規模で全社で共用可能なHadoop基盤を新たに構築することとなった。
新たなHadoop環境は複数のクラスタから構成され、その規模はサービス開始直後の時点で国内最大級とみられる数千ノード以上に及ぶ。Hadoop環境では、ノード間の高速通信を支える広帯域のネットワークに加え、ノードの増設に対して柔軟に拡張できるスケーラビリティが求められるが、従来の技術に基づくアーキテクチャでは柔軟に拡張するのが難しく、性能や運用の複雑さの点でも課題があった。
今回の構築では、ネットワークアーキテクチャを見直し、高性能を実現しながら、同時にシンプルで柔軟なスケールアウト型のネットワークを実現できるというイーサネットファブリック型のネットワークアーキテクチャを採用することを決定した。厳しい条件で検証し、イーサネットファブリックをサポートする「Brocade VCS」ファブリックテクノロジとスイッチ「Brocade VDX」の採用を決定したという。
新Hadoop基盤では、ラック群を集約するアグリゲーションスイッチにシャーシ型スイッチの「Brocade VDX 8770」を採用、スイッチ間でファブリックを構成している。上位ネットワークでも、コアスイッチとして導入実績があるというコアルータ「Brocade MLXe」とVDXスイッチ間は広帯域の“Multi-chassis Trunking（MCT）”で接続されている。
MCTは、複数のスイッチを1台の論理スイッチとして見なして標準のリンクアグリゲーショングループ（LAG）を使用する別のスイッチに接続できる技術。標準のLAGトランクを使用するサーバやスイッチをMCTに対応する2台のスイッチに接続でき、トラフィックを動的に負荷分散できるという。
STP（Spanning Tree Protocol）ベースで構築されていた従来のスタック型ネットワークでは数百ノードから千数百ノードまでしか対応できなかったが、イーサネットファブリック技術のVCSでは数千ノードレベルまで対応可能。スイッチを追加するごとに低下していた性能と安定性の課題も解決されたという。
制限となっていたHadoop基盤のノード間を広帯域のイーサネットファブリックで接続することで、システム全体の処理能力を最大限に引き出せるという。柔軟なスケーラビリティでシンプルさを維持しながらノード間を接続できるネットワークの拡張性を確保できたとしている。
ヤフーでは、今回のネットワーク構築で設計や運用の工数を従来の2分の1以下に削減できたと説明している。
ネットワーク構成図イメージ（ブロケード提供）
