AWS東京リージョンの大規模障害--制御システムにバグ、「パージ」移行に失敗

ZDNET Japan Staff

2019-08-26 13:32

 Amazon Web Services(AWS)の東京リージョンで8月23日に「Elastic Compute Cloud(EC2)」サービスの障害が発生した。同社は障害の発生した経緯と現在の対応状況について明らかにしている。

 AWSによると、東京リージョンの一部のEC2サーバーが停止した原因は、データセンター制御システムに障害を発端に、冷却システムの制御がうまく機能せず、サーバーの温度が許容限度を超えてしまったためだという。

 制御システムには、ファン、冷却装置、温度センサーなどのサードパーティー製のコードが含まれており、直接または組み込みプログラマブルロジックコントローラ(PLC)を介して、実際のデバイスと通信する仕組みになっていた。複数ホストで実行する高可用性設計となっており、今回の障害発生の直前には、制御ホストの1つを外す処理を行っていた。

 新しい制御ホストがデータセンターの最新状況を保持するためには、他の制御システムと制御するデータセンター機器と情報を交換する必要がある。この処理において、サードパーティー製の制御システムにおけるロジックにバグがあり、情報交換が制御システムとデータセンターのデバイス間で過度に発生。最終的には制御システムが応答しなくなってしまったという。

 AWSによると、同社のデータセンターでは、制御システムに障害が発生した場合、機能が回復するまで冷却システムが最大出力になるよう設計されているという。だが、データセンターのごく一部でこの冷却構成に正しく移行できず、冷却システムが停止。追加策として、データセンター制御システムを迂回し、冷却システムを「パージ」モードにすることで熱風を素早く排出しようとしたが、これも失敗した。

 この時点で、データセンターの一部のエリアで温度が上昇し始め、サーバーの温度が許容限度を超え、電源が停止し始める。この状況を改善するためには、オペレーターが影響を受ける全ての機器を手動でリセットし、冷却モードを最大にする必要があった。

 その対応時に一部の空調ユニットを制御するPLCも応答しないことが分かり、またこの障害によりデフォルトの冷却モードと「パージ」モードが正常に動作していないことも確認した。これらのコントローラーがリセットされると、影響のあったデータセンターのエリアへ冷却が行われ、室温が低下し始めたという。

 AWSでは、現在もサードパーティーのベンダーと協力し、制御システムとPLCの不応答を引き起こしたバグと、バグによる影響の詳細な調査を進めている。また、再発防止のため、バグを引き起こした制御システムのフェールオーバーモードを無効にするとともに、オペレーターにこの障害の検知方法と復旧方法のトレーニングを実施した。同様の障害が発生しても、顧客システムに影響が生じる前に、システムのリセットが可能になっているとしている。その他にも、「パージ」モードがPLCを完全にバイパスできるよう、空調ユニットを制御する方法を変更するよう作業を進めているという。

ZDNET Japan 記事を毎朝メールでまとめ読み(登録無料)

ホワイトペーパー

新着

ランキング

  1. セキュリティ

    「デジタル・フォレンジック」から始まるセキュリティ災禍論--活用したいIT業界の防災マニュアル

  2. 運用管理

    「無線LANがつながらない」という問い合わせにAIで対応、トラブル解決の切り札とは

  3. 運用管理

    Oracle DatabaseのAzure移行時におけるポイント、移行前に確認しておきたい障害対策

  4. 運用管理

    Google Chrome ブラウザ がセキュリティを強化、ゼロトラスト移行で高まるブラウザの重要性

  5. ビジネスアプリケーション

    技術進化でさらに発展するデータサイエンス/アナリティクス、最新の6大トレンドを解説

ZDNET Japan クイックポール

自社にとって最大のセキュリティ脅威は何ですか

NEWSLETTERS

エンタープライズ・コンピューティングの最前線を配信

ZDNET Japanは、CIOとITマネージャーを対象に、ビジネス課題の解決とITを活用した新たな価値創造を支援します。
ITビジネス全般については、CNET Japanをご覧ください。

このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]