グーグル、大規模クラウド障害に関する詳細な情報を明らかに

Liam Tung (Special to ZDNet.com) 翻訳校正: 編集部 2019年06月10日 11時08分

  • このエントリーをはてなブックマークに追加
  • 印刷

 Googleは米国時間6月6日、2日に発生した大規模障害についての詳細な技術情報を公表した。障害は約4時間にわたって続き、米国東部などで「Google Cloud」を利用する大手IT企業が提供するサービスや、「YouTube」「Gmail」などの同社が提供するサービスが影響を受けた。

 すでに4日にGoogleのエンジニアリング担当バイスプレジデントBenjamin Treynor Sloss氏はブログ記事を公開して顧客に謝罪し、設定ミスに端を発するこの問題の修正に、同社が目標としていた数分間よりも「はるかに長時間」を要したことを認めた。「全体としては、YouTubeは1時間で視聴が2.5%減少し、Google Cloud Storageサービスではトラフィック量が30%減少した」「Gmailのアクティブユーザーでアカウントに問題が発生したのは約1%だった。これはユーザーの割合としては小さな数字だが、電子メールの送受信ができなかったユーザーの数は数百万人に及んだことになる」とSloss氏はブログで述べている。

 今回公表された技術文書では、障害が発生したサービスや、影響を与えたユーザーとともに、同社のエンジニアによって数分以内に検出された設定ミスが、数時間にも及ぶサービス停止を引き起こし、主に北米のユーザーに影響を与えた理由が説明されている。

 6日付けのGoogleの説明によると、「us-central1(アイオワ)やus-east1(サウスカロライナ)、us-east4(北バージニア)、us-west2(ロサンゼルス)、northamerica-northeast1(モントリオール)、southamerica-east1(サンパウロ)上のインスタンスを使用する顧客は、レイテンシの増大や、断続的に発生するエラー、接続障害の影響を受けた可能性がある。一方、us-west1(オレゴン)上と、欧州およびアジアの全リージョンにおける『Google Cloud』インスタンスでは、地域的なネットワークの輻輳(ふくそう)は発生しなかった」という。

 これらのリージョンにおいて2日の障害によって影響を受けた「Google Cloud Platform」サービスには、「Google Compute Engine」や「App Engine」「Cloud Endpoints」「Cloud Interconnect」「Cloud VPN」「Cloud Console」「Stackdriver Metrics」「Cloud Pub/Sub」「Bigquery」のほか、「Cloud Spanner」の地域インスタンス、「Cloud Storage」の地域バケットが含まれている。また、これらのリージョンでは「G Suite」サービスも影響を受けた。

 同社は今回の障害に関して再び顧客に謝罪するとともに、パフォーマンスと利用可能性の向上を図るために「即座に対策を講じる」と述べた。

 「Snapchat」「Vimeo」「Shopify」「Discord」「Pokemon GO」などのサービスも影響を受けた。

 Sloss氏のブログで既に明らかになっていたように、障害の根本的な原因は、特定のリージョンの小規模なサーバーグループに適用するはずだった設定の変更が、誤っていくつかの隣接するリージョンの多数のサーバーにも適用されてしまったことだった。この誤りによって、これらのリージョンでは、本来利用できるネットワーク容量の半分以上を使用しない状態になった。

 またGoogleによると、同社の自動化ソフトウェアに潜んでいたバグも影響していたという。

 ネットワーク容量の低下について同社は、今回の障害では、ネットワーク能力を保護するための手段が裏目に出て「われわれのサービスやユーザーから見たネットワーク能力が大幅に低下するとともに、一部のGoogle Cloudリージョンにおいてアクセスできない状況を引き起こす結果になった」と述べた。

 Sloss氏が同社ブログで最初にこの障害について報告した際、「障害発生から数分後」に同社のエンジニアが検知、対応を開始したと述べていた。しかし今回公表された情報によると、「輻輳しているネットワークとツールの競合により、問題に対するデバッグ作業は困難を極めた」という。

 Googleには莫大なリソースと、「最大級の壊滅的障害をくい止めるために、重要施設にエンジニアを派遣する」といったことも含む障害時対応計画があるにもかかわらず、こういった状況が発生した。

 さらに同社のエンジニアが障害に関してコミュニケーションを取るために使用していた社内のコミュニケーションツールにも発生した障害で問題が生じ、顧客への影響の特定や、顧客への正確な状況の説明に影響が出た。

 Googleは現在、メンテナンス作業中に作業の再スケジュールを制御するデータセンター自動化ソフトウェアの使用を停止している。このソフトウェアは、複数の異なる物理ロケーションにおける作業を同時にスケジュール上から除去しないことを保証できるようになるまで使用が控えられる。

 同社は、「この種のネットワーク障害に対して堅牢であることを確実にするために、Googleの緊急対応向けのツールや手続きについて、再評価/更新/テストする予定だ。これには顧客ベースとのコミュニケーションツールも含まれている。さらにわれわれは、今回のような、そして類似の大規模障害を含む、障害からの復旧に向けた継続的なテスト体制を拡張していく」と述べた。

この記事は海外CBS Interactive発の記事を朝日インタラクティブが日本向けに編集したものです。

ZDNet Japan 記事を毎朝メールでまとめ読み(登録無料)

  • このエントリーをはてなブックマークに追加

関連ホワイトペーパー

SpecialPR

連載

CIO
月刊 Windows 10移行の心・技・体
ITアナリストが知る日本企業の「ITの盲点」
シェアリングエコノミーの衝撃
デジタル“失敗学”
コンサルティング現場のカラクリ
Rethink Internet:インターネット再考
インシデントをもたらすヒューマンエラー
トランザクションの今昔物語
エリック松永のデジタルIQ道場
研究現場から見たAI
Fintechの正体
米ZDNet編集長Larryの独り言
大木豊成「仕事で使うアップルのトリセツ」
山本雅史「ハードから読み解くITトレンド放談」
田中克己「展望2020年のIT企業」
松岡功「一言もの申す」
松岡功「今週の明言」
内山悟志「IT部門はどこに向かうのか」
林 雅之「デジタル未来からの手紙」
谷川耕一「エンプラITならこれは知っとけ」
大河原克行「エンプラ徒然」
内製化とユーザー体験の関係
「プロジェクトマネジメント」の解き方
ITは「ひみつ道具」の夢を見る
セキュリティ
セキュリティインシデント対応の現場
エンドポイントセキュリティの4つの「基礎」
企業セキュリティの歩き方
サイバーセキュリティ未来考
ネットワークセキュリティの要諦
セキュリティの論点
スペシャル
エンタープライズAIの隆盛
インシュアテックで変わる保険業界
顧客は勝手に育たない--MAツール導入の心得
「ひとり情シス」の本当のところ
ざっくり解決!SNS担当者お悩み相談室
生産性向上に効くビジネスITツール最前線
ざっくりわかるSNSマーケティング入門
課題解決のためのUI/UX
誰もが開発者になる時代 ~業務システム開発の現場を行く~
「Windows 10」法人導入の手引き
ソフトウェア開発パラダイムの進化
エンタープライズトレンド
10の事情
座談会@ZDNet
Dr.津田のクラウドトップガン対談
Gartner Symposium
IBM World of Watson
de:code
Sapphire Now
VMworld
Microsoft Inspire
Microsoft Connect()
HPE Discover
Oracle OpenWorld
Dell Technologies World
AWS re:Invent
AWS Summit
PTC LiveWorx
吉田行男「より賢く活用するためのOSS最新動向」
古賀政純「Dockerがもたらすビジネス変革」
中国ビジネス四方山話
ベトナムでビジネス
日本株展望
企業決算
このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]