---
type: knowledge
domain: infra
status: active
last-reviewed: 2026-07-07
---

# 장애 대응 실전

> 한 줄 정의
> 장애 중의 목표는 원인 규명이 아니라 **영향 축소**다. 근본 원인 추적은 복구 후 [[디버깅 원리]]로 — 여기는 프로덕션에 불이 났을 때의 행동 순서다.

## 대응 순서 — 완화 먼저, 진단 나중

1. **영향 파악** (몇 분 안에): 누가·얼마나 — 전체 다운인가, 일부 기능인가, 특정 사용자군인가. 이게 심각도와 대응 규모를 정한다.
2. **완화**: 아래 완화 수단 중 가장 빠른 것. 원인을 몰라도 완화는 가능하다.
3. **진단**: 서비스가 숨을 쉬기 시작한 후에 [[디버깅 원리]]의 가설-검증으로.

> [!WARNING] 엔지니어의 본능은 "왜지?"부터 판다
> 그 30분 동안 사용자는 계속 장애를 겪는다. "왜"는 복구 후에도 로그에 남아 있다 — 사용자 영향은 지금만 줄일 수 있다.

## 완화 수단 목록 — 빠른 순

| 수단 | 조건 |
|------|------|
| 직전 배포 롤백 | 배포 직후 장애의 기본값 → [[배포 전략 실전]] |
| 피처 플래그 OFF | 신기능 관련이면 재배포 없이 즉시 |
| 문제 기능만 격리·비활성화 | 전체를 살리기 위해 일부를 끈다 |
| 스케일 아웃 / rate limit | 부하성 장애 (단, DB 병목엔 인스턴스 증설이 안 통한다 → [[인프라 원리]]) |
| 의존 서비스 우회·폴백 | 외부 벤더 장애 → [[외부 연동과 웹훅]] degrade 경로 |

## 첫 질문 — "방금 뭐가 바뀌었나"

장애의 최다 원인은 직전 변경이다: 배포, 설정·플래그 변경, 인프라 작업, 시크릿 만료, **의존 벤더의 변경** (우리는 안 바꿨어도 그쪽이 바꿨다). 변경 이력 조회가 로그 분석보다 먼저다. → [[디버깅 원리]] "최근 변경 용의자 1순위"와 같은 원리.

## 역할 분리 — 지휘와 조사를 한 사람이 하지 않는다

- **지휘(IC)**: 상황 종합, 우선순위 결정, 커뮤니케이션 — 키보드를 잡지 않는다.
- **조사·조치**: 손을 움직이는 사람.
- 혼자라면: 타이머를 걸고 역할을 번갈아 한다 — 조사에 빠져 30분간 아무에게도 알리지 않는 것이 1인 대응의 대표 실패다.

## 커뮤니케이션 리듬

- 주기적 상태 공유(예: 30분마다) — **"아직 조사 중"도 업데이트다.** 침묵은 "대응 안 하고 있음"으로 읽힌다.
- 기록은 타임라인으로 남긴다 (몇 시에 무엇을 알았고 무엇을 했나) — 포스트모템의 원재료이자, 교대 시 인수인계 문서.
- 대외 공지는 확인된 사실만: 영향 범위·상태·다음 업데이트 시각. 원인 추측과 복구 시각 약속은 하지 않는다.

## 심각도 분류 — 대응 규모를 정하는 언어

| 등급 | 기준 | 대응 |
|------|------|------|
| SEV1 | 핵심 기능 전면 불가, 데이터 유실 진행 중 | 즉시 전원 소집, 모든 작업 중단 |
| SEV2 | 주요 기능 저하, 우회로 존재 | 담당자 즉시 대응, 주기 보고 |
| SEV3 | 일부 사용자·부가 기능 문제 | 업무 시간 내 처리 |

등급을 미리 합의해두는 이유: 장애 중에 "이거 심각한 거야?"를 토론하지 않기 위해서다.

## 포스트모템 — blameless

- 대상은 **사람이 아니라 시스템**: "누가 실수했나"가 아니라 "왜 시스템이 그 실수를 허용했나". 사람을 탓하면 다음 장애부터 정보가 숨는다.
- 구성: 타임라인 → 영향(숫자) → 원인 사슬 → 액션 아이템.
- 액션 아이템 규율: 담당자와 기한 없는 항목은 쓰지 않은 것과 같다. **"재발 방지: 앞으로 조심"은 액션이 아니다** — 시스템 변경(가드·알림·자동화)만 액션이다.
- 결과는 [[실패사례-기록법]] 규약으로 `30_경험/실패사례/`에 남긴다 — 같은 장애를 두 번 겪는 것이 진짜 실패다.

## 관련 문서

- [[배포 전략 실전]] — 롤백·플래그 (완화 수단의 준비)
- [[디버깅 원리]] — 복구 후 근본 원인 추적
- [[인프라 원리]] — 관측 3종 (탐지가 없으면 대응도 없다)
- [[실패사례-기록법]] — 포스트모템 기록 규약