AmazonのJames Hamilton氏が口を開くと、データセンターエンジニアリングに少しでも興味のある人は必ず耳を傾ける。Amazonのバイスプレジデント兼ディスティングイッシュドエンジニアのHamilton氏は2014年のAWS re:Inventカンファレンスで、「Amazon Web Services」(AWS)を稼働させているデータセンターエコシステムを(5年かけて)全面改修した取り組みについて説明した。
提供:Amazon
改善の必要があったネットワーキング
Hamilton氏はまず、ネットワーキングが改善の第1の候補だったことを示唆した。コンピューティングのコストが低下する一方で、ネットワーキング関連のコストは上昇していた。その最大の原因は、Amazonのエンジニアが市販のネットワーキング機器と現行のプロトコルを調整しても負荷の需要に応えられなかったことだ。そこでAmazonは、自社に何が必要なのかを検討し、相手先ブランド設計製造業者(ODM)と契約して、カスタムネットワーキング機器の開発を委託した。さらに、ネットワーク階層の削減と遅延時間の短縮が目的の新しいプロトコルスタックを開発するチームとも契約した。
興味深いことに、Hamilton氏はプレゼンテーションの中で、市販の機器がエンタープライズデータセンターにとってよい選択肢になることはない、と何度も述べている。市販の機器は顧客の幅広いニーズに対応できるように設計されており、ハードウェアとソフトウェアの肥大化を引き継いでいるため、特定の事業向けに合理化することはできない。
Amazonのデータセンターエコシステムの概要
次に、Hamilton氏は現在のAWSデータセンターエコシステムを上の階層から順に図を使って説明した。最初は同社のグローバルインフラストラクチャだった。
図A提供:Amazon and James Hamilton
AWSのリージョン(図A):Amazonは世界を11のリージョンに分割している。それにより、Amazonの顧客は以下の利点を得られる。
- データの保管に関する政府規制の遵守が容易になる。
- 顧客のネットワークとAmazonのトランジットセンターの通信の遅延時間が短縮される。
Hamilton氏によると、Amazonはリージョン間をプライベートファイバで接続することを早い段階で決定したという。それにより、ピアリングをめぐる衝突の排除、信頼性の向上、遅延の短縮、キャパシティプランニングが可能になった。
図B提供:Amazon and James Hamilton
AWSのアベイラビリティーゾーン(図B):AWSの11のリージョンに28のアベイラビリティーゾーン(AZ)が点在している。つまり、Amazonは少なくとも28のデータセンターを保有しているということだ。それぞれのAZにトランジットセンターとリージョン内のほかのAZへの冗長パスがあり、高密度波長分割多重方式(DWDM)リンクが使用されている。AmazonはAZ間の遅延を2ミリ秒以下に抑えることを求めており、AZ間ファイバリンクはトラフィックを25Tbpsで処理しなければならない。
図C提供:Amazon and James Hamilton
AWSのデータセンター(図C):Hamilton氏は、Amazonが決定したデータセンターの規模は25~30メガワット(5万~8万台超のサーバ)だったと述べた。同氏によるとこの規模が最適で、これ以上拡大するとAmazonの投資対効果(ROI)が下がってしまうという。また、データセンターの規模が大きくなれば、重大な障害が発生した場合のリスクも高まる。各データセンターは、102Tbpsでトラフィックを処理できるようにプロビジョニングされている。