2021/9/1に発生したSTUDIOサービス全体における障害の経緯について

この度、弊社インフラに起因する障害により、2021年9月1日 13:33〜17:30頃においてSTUDIOサービス全体の接続が不安定な状態となっておりました。この度はユーザーの皆様にアクセス障害で多大なご迷惑をおかけし、改めて深くお詫び申し上げます。

【影響が発生した機能】
独自ドメインによる公開サイトを含むSTUDIOの全機能

原因と実施した措置

【障害の原因】

1. 一部サイト向けの Internet Explorer (以下 IE と呼称)用サーバーの割り当てが少なく、オートスケールの設定がされていないという状況で、急激なアクセス発生によりIE用サーバーがクラッシュ

2. ロードバランサーの負荷が増大しSTUDIO全サービスに影響が波及

3. 通常の公開サイト向けのサーバーについてもオートスケールの上限が存在していたため、通常のサイト向けのサーバーも負荷が増大

【実施した措置】

• IE用サーバーの割り当て量を増やし、オートスケールを設定

• 通常の公開サーバーについても、オートスケールの上限を大幅に緩和

今回の障害の経緯 (2021/9/1)

今回の障害について詳しく時系列で共有いたします。

10:50 ~ 14:00

• 10:50 : リダイレクト対応（RSSの仕様変更を含む）

• 13:30 : STUDIOの公開サイトに繋がりにくい状況を確認（502 Bad Gatewayエラーが表示）

• 13:33 : 監視系およびコミュニティからの連絡により認知、STUDIO社で調査開始

• その後も繋がりにくい状況が継続

• 13:50ごろ : ロードバランサー、公開サイト用のサーバーを強化したことで、公開サイトへのアクセスが安定し始めたことを観測

14:00 ~ 16:00

• 14:10 : 不安定な状況が再び発生したことを確認し、更に状況調査

• 当日10:50の対応による原因を疑う。リダイレクト対応について調査・切り戻し。RSS の仕様変更について調査・切り戻し。→ リダイレクト対応による影響は無いと断定

• 15:10 : ロードバランサー、公開サイト用のサーバー数を倍増するも状況改善せず

16:00 ~ 17:00

• 一部公開サイトで使用しているIE用のサーバーを疑う

• IE でのアクセスが失敗する事を確認

• IE 用のサーバーの負荷が高くダウンと復活を繰り返している状態を確認、手動スケールを開始、段階的にサーバー数を増加させ始める

• 17:00ごろ : IE用サーバー数 50倍 → IEのアクセスが可能なことを確認

17:00 ~ 17:30

• いまだ全サイトへのアクセスが不安定なことを観測

• 17:12 : 公開サイト用のサーバー数をさらに3倍に調整。徐々に落ち着き始める

• 17:30 : すべてのサービスにおいて復旧完了を確認。

再発防止の対策

• 適切な監視体制の強化

• 公開サーバーの最適化

• インフラキャパシティの強化

• システム全体に障害を与える突発的なアクセスの遮断

• 不正アクセス遮断の仕組みを強化

この度はユーザーの皆様にアクセス障害で多大なご迷惑をおかけし、改めて深くお詫び申し上げます。なお、今回の障害に関するご質問・ご意見は、引き続き Twitter、Facebook、Slackコミュニティ、お問い合わせチャットにて受け付けております。