メインコンテンツへ移動

夜間・休日の障害対応体制を構築する法|属人的なオンコールから脱却する6ステップ

夜間・休日の障害対応体制を構築する方法|属人的なオンコールから脱却する6ステップ

深夜2時に重大なアラートが発生したとき、最初に誰が内容を確認し、担当者が応答しなければ次に誰に連絡するのか。ここまで決まっていなければ、オンコール担当の個人的な判断に頼ることになります。

少人数のうちは対応できても、サービスの成長とともにアラートや関係システムが増えると、特定メンバーへの負荷や連絡の遅れが表面化します。休暇中や移動中、別の障害に対応している場合も想定しなければなりません。

夜間・休日対応を安定させるために、優先度、役割、手順、権限、連絡方法を仕組みとして整えます。

設計の中心となる問いは、「最初の15分に誰が何を判断できるか」です。この時間帯に必要な六つの準備を順に整理します。

最初に「すべてのアラートに即時対応しない」と決める

24時間体制という言葉から、すべてのアラートに直ちに対応する状態を想像しがちです。しかし、緊急度の低い通知まで夜間に担当者を起こせば、負荷が増える一方で、本当に重要な障害への集中力が下がります。

まず、システムとイベントを事業影響で分類します。

  • 顧客がサービスを利用できない
  • 決済、注文、出荷など重要業務が停止している
  • データ消失またはセキュリティ事故の可能性がある
  • 一部機能のみ影響し、代替手段がある
  • 利用者への影響がなく、翌営業日に対応できる

技術的なエラーの大きさだけでなく、顧客と業務への影響を基準に優先度を決めることが重要です。

ステップ1:対象システムと時間帯を決める

システム一覧を作り、次の情報を整理します。

  • 利用者と利用時間
  • 停止した場合の事業影響
  • 復旧を求める時間
  • 依存する外部サービス
  • 社内の技術責任者

24時間対応が必要なシステムと、翌営業日対応でよいシステムを分けることで、必要な体制とコストを現実的に設計できます。

ステップ2:重大度と対応目標を定義する

重大度は、例えばCritical、High、Medium、Lowのように区分できます。名称よりも、各区分の判断条件を具体的に書くことが重要です。

確認項目 定義例
影響範囲 全利用者、一部利用者、社内のみ
業務影響 停止、性能低下、影響なし
代替手段 なし、限定的、あり
データ・安全性 消失や漏えいの可能性があるか
対応開始 即時、一定時間内、翌営業日

重大度区分と応答目標は、契約書、Runbook、監視設定で同じ定義を使います。呼び方や基準が異なると、夜間担当者が判断に迷い、エスカレーションが遅れるためです。

ステップ3:インシデント時の役割を分ける

夜間障害対応を受付記録、一次対応、指揮判断、連絡報告の4役に分けた図
兼務する場合でも、どの役割として動くかを明記して判断の抜けを防ぎます。

重大な障害では、一人が調査、復旧、社内説明、顧客連絡を同時に行うと、情報が混乱しやすくなります。規模に応じて、次の役割を分けます。

  • 指揮:優先順位と対応方針を決める
  • 技術対応:調査、暫定復旧、恒久対応を行う
  • コミュニケーション:関係者に定期的に状況を共有する
  • 記録:時系列、判断、作業、結果を残す

小規模な体制では一人が複数役を担当できますが、誰がどの役を持つかは事前に決めておきます。

ステップ4:アラートごとの手順とエスカレーションを作る

アラートには、少なくとも次の情報をひも付けます。

  • 何が起きた可能性があるか
  • どのダッシュボードとログを見るか
  • 一次対応として実行できる作業
  • 作業前に承認が必要か
  • 解決しない場合の連絡先
  • どの時点で重大度を上げるか

「担当者に連絡する」だけではなく、担当者が応答しない場合の第二、第三連絡先も必要です。

ステップ5:安全なアクセスと連絡手段を準備する

夜間対応者が本番環境にアクセスできなければ、復旧は進みません。一方、広い権限を常時付与することもリスクです。

最小権限、多要素認証、操作ログ、緊急時の一時権限付与などを組み合わせます。また、障害対象のシステムに依存しない連絡手段や手順書の保管場所も用意します。

ステップ6:訓練と振り返りを行う

夜間休日の障害対応体制を対象、重大度、役割、手順、アクセス、訓練の6段階で構築する流れ
机上演習で止まった箇所をRunbookと連絡網へ戻すことで、体制を更新し続けます。

手順書は、実際に使って初めて不足が分かります。定期的に連絡訓練、復旧訓練、ロールバック確認を行い、次を検証します。

  • アラートは適切な担当者に届くか
  • 手順書だけで一次対応できるか
  • 必要な権限と情報にアクセスできるか
  • 関係者に一定間隔で報告できるか
  • 交代時に状況を引き継げるか

障害後は、個人のミス探しではなく、検知、手順、設計、連携のどこを改善できるかを振り返ります。

内製だけで難しい場合の選択肢

社内にシステム知識を残しながら、夜間の監視と一次対応を外部へ委託する方法があります。

例えば、外部チームがアラート確認、一次切り分け、承認済み手順、記録を担当し、社内チームが事業判断と高度な技術対応を担う形です。責任を丸投げするのではなく、時間帯と対応段階で役割を分けることで、担当者の負荷を減らしながら統制を維持できます。

夜間担当者が必要な情報を見られない、承認済みの手順を実行できない、次の連絡先が応答しない。このいずれかが残れば、最初の15分は再び個人判断に戻ります。AMELAのIT運用支援 24/7では、既存の監視環境を生かしながら、夜間・休日の一次対応、エスカレーション、日本語報告を組み立てます。

参考資料