グーグル、大規模クラウド障害に関する詳細な情報を明らかに

　Googleは米国時間6月6日、2日に発生した大規模障害についての詳細な技術情報を公表した。障害は約4時間にわたって続き、米国東部などで「Google Cloud」を利用する大手IT企業が提供するサービスや、「YouTube」「Gmail」などの同社が提供するサービスが影響を受けた。

　すでに4日にGoogleのエンジニアリング担当バイスプレジデントBenjamin Treynor Sloss氏はブログ記事を公開して顧客に謝罪し、設定ミスに端を発するこの問題の修正に、同社が目標としていた数分間よりも「はるかに長時間」を要したことを認めた。「全体としては、YouTubeは1時間で視聴が2.5％減少し、Google Cloud Storageサービスではトラフィック量が30％減少した」「Gmailのアクティブユーザーでアカウントに問題が発生したのは約1％だった。これはユーザーの割合としては小さな数字だが、電子メールの送受信ができなかったユーザーの数は数百万人に及んだことになる」とSloss氏はブログで述べている。

　今回公表された技術文書では、障害が発生したサービスや、影響を与えたユーザーとともに、同社のエンジニアによって数分以内に検出された設定ミスが、数時間にも及ぶサービス停止を引き起こし、主に北米のユーザーに影響を与えた理由が説明されている。

　6日付けのGoogleの説明によると、「us-central1（アイオワ）やus-east1（サウスカロライナ）、us-east4（北バージニア）、us-west2（ロサンゼルス）、northamerica-northeast1（モントリオール）、southamerica-east1（サンパウロ）上のインスタンスを使用する顧客は、レイテンシの増大や、断続的に発生するエラー、接続障害の影響を受けた可能性がある。一方、us-west1（オレゴン）上と、欧州およびアジアの全リージョンにおける『Google Cloud』インスタンスでは、地域的なネットワークの輻輳（ふくそう）は発生しなかった」という。

　これらのリージョンにおいて2日の障害によって影響を受けた「Google Cloud Platform」サービスには、「Google Compute Engine」や「App Engine」「Cloud Endpoints」「Cloud Interconnect」「Cloud VPN」「Cloud Console」「Stackdriver Metrics」「Cloud Pub/Sub」「Bigquery」のほか、「Cloud Spanner」の地域インスタンス、「Cloud Storage」の地域バケットが含まれている。また、これらのリージョンでは「G Suite」サービスも影響を受けた。

　同社は今回の障害に関して再び顧客に謝罪するとともに、パフォーマンスと利用可能性の向上を図るために「即座に対策を講じる」と述べた。

　「Snapchat」「Vimeo」「Shopify」「Discord」「Pokemon GO」などのサービスも影響を受けた。

　Sloss氏のブログで既に明らかになっていたように、障害の根本的な原因は、特定のリージョンの小規模なサーバーグループに適用するはずだった設定の変更が、誤っていくつかの隣接するリージョンの多数のサーバーにも適用されてしまったことだった。この誤りによって、これらのリージョンでは、本来利用できるネットワーク容量の半分以上を使用しない状態になった。

　またGoogleによると、同社の自動化ソフトウェアに潜んでいたバグも影響していたという。

　ネットワーク容量の低下について同社は、今回の障害では、ネットワーク能力を保護するための手段が裏目に出て「われわれのサービスやユーザーから見たネットワーク能力が大幅に低下するとともに、一部のGoogle Cloudリージョンにおいてアクセスできない状況を引き起こす結果になった」と述べた。

　Sloss氏が同社ブログで最初にこの障害について報告した際、「障害発生から数分後」に同社のエンジニアが検知、対応を開始したと述べていた。しかし今回公表された情報によると、「輻輳しているネットワークとツールの競合により、問題に対するデバッグ作業は困難を極めた」という。

　Googleには莫大なリソースと、「最大級の壊滅的障害をくい止めるために、重要施設にエンジニアを派遣する」といったことも含む障害時対応計画があるにもかかわらず、こういった状況が発生した。

　さらに同社のエンジニアが障害に関してコミュニケーションを取るために使用していた社内のコミュニケーションツールにも発生した障害で問題が生じ、顧客への影響の特定や、顧客への正確な状況の説明に影響が出た。

　Googleは現在、メンテナンス作業中に作業の再スケジュールを制御するデータセンター自動化ソフトウェアの使用を停止している。このソフトウェアは、複数の異なる物理ロケーションにおける作業を同時にスケジュール上から除去しないことを保証できるようになるまで使用が控えられる。

　同社は、「この種のネットワーク障害に対して堅牢であることを確実にするために、Googleの緊急対応向けのツールや手続きについて、再評価／更新／テストする予定だ。これには顧客ベースとのコミュニケーションツールも含まれている。さらにわれわれは、今回のような、そして類似の大規模障害を含む、障害からの復旧に向けた継続的なテスト体制を拡張していく」と述べた。