---
type: knowledge
domain: product
status: active
last-reviewed: 2026-07-27
---

# 지표와 실험

> 한 줄 정의
> 무엇을 측정할지 정하고(지표 설계), 관측된 변화가 진짜인지 판별하는(실험 설계) 원리. "문구만 바꿔 CTR 10배" 같은 주장을 올바로 읽고 만들어내는 해석력. 기획 가설 수립은 [[기획 원리]], 실험 우선순위는 [[우선순위와 스코프]].

## 지표 3층 구조

| 층 | 역할 | 예 |
|----|------|----|
| 북극성 지표 (1개) | 제품이 주는 가치의 총량 | 주간 활성 거래 수 |
| 입력 지표 | 팀이 직접 움직일 수 있는 선행 변수 | 온보딩 완료율, 첫 거래까지 시간 |
| 가드레일 지표 | 성장이 망가뜨리면 안 되는 것 | 해지율, 오류율, 응답 속도, CS 인입 |

북극성은 후행이라 직접 못 움직인다 — 실행은 입력 지표에, 감시는 가드레일에.

## 허무 지표를 경계한다

**누적** 수치(총 가입자·총 다운로드)는 절대 감소하지 않으므로 아무것도 알려주지 않는다. 판단은 비율·추세·코호트로: 활성률, 리텐션 커브, 코호트별 잔존. 특히 **리텐션 코호트**가 프로덕트 건강의 진짜 신호다 — 신규 유입이 가리는 이탈을 드러낸다.

## 굿하트의 법칙

> 지표가 목표가 되는 순간, 좋은 지표이기를 멈춘다.

CTR을 목표로 걸면 낚시 제목이 늘고(CTR↑, 전환↓), 처리 건수를 걸면 쉬운 건만 처리된다. 대응: 목표 지표에는 **반드시 가드레일 지표를 쌍으로** 건다 (CTR ↑ + 이탈률·전환율 유지).

## A/B 테스트 실전 함정

| 함정 | 증상 | 대응 |
|------|------|------|
| 피킹(peeking) | 유의해지는 순간 조기 종료 | 샘플 크기·기간을 사전 고정 (최소 1~2주, 주중·주말 포함) |
| 신기함 효과 | 초반만 반짝 상승 | 첫 며칠 제외하고 후반 안정 구간 확인 |
| 다중 비교 | 지표 20개 보면 1개는 우연히 유의 | 주 지표 1개 사전 선언, 나머지는 참고 |
| 표본 오염 | 한 유저가 A/B 둘 다 경험 | 유저 단위 고정 배정 |
| 저트래픽 | 몇 주 돌려도 판정 불가 | 효과 큰 변경 위주로, 또는 정성 검증으로 전환 |

## 한 실험 = 한 변수

잘 설계된 실험 보고는 "동일 타겟·동일 예산에서 **문구만** 바꿨다"를 강조한다 — 문구와 이미지를 같이 바꾸면 무엇이 효과를 냈는지 영영 모른다. 여러 개를 바꾸고 싶으면 실험을 쪼개거나, "방향 전체"를 하나의 가설로 선언한다.

## 상대 배수의 함정

"CTR 10배"는 0.1%→1%일 수도 있다. 항상 **절대값과 분모**를 함께 본다. 그리고 상단 지표(CTR) 개선이 하단(전환·매출)까지 이어지는지 퍼널 끝까지 확인한다 — 클릭만 늘고 전환이 그대로면 낚시였다는 뜻.

## 해석의 기본 방어 3종

- **통계적 유의 ≠ 실질적 의미**: n이 크면 0.01%p 차이도 유의하다. 효과 크기가 의사결정 기준.
- **상관 ≠ 인과**: "기능 A 사용자는 리텐션이 높다"는 A의 효과가 아니라 열성 유저의 특성일 수 있다. 인과의 가장 강한 근거는 무작위 배정 실험이고, 실험이 불가능하면 전후 비교·DiD 같은 준실험이 차선이다.
- **심슨의 역설**: 전체 합계와 세그먼트별 결과가 뒤집힐 수 있다 — 주요 세그먼트(신규/기존, 채널별) 분해를 습관화.

## 실험 문서 최소 형식

```markdown
가설: {변경}하면 {주 지표}가 오를 것이다. 왜냐하면 {근거}.
주 지표: (1개) / 가드레일: (1~3개)
기간·샘플: 사전 고정
결과: 채택 / 기각 / 판정불가 — 다음 액션
```

기각도 자산이다 — 기록 없는 실험은 같은 실패를 반복하게 한다. → [[실패사례-기록법]]

## 에이전트 적용

- 에이전트 품질 평가도 같은 구조다: 북극성(태스크 성공률) + 가드레일(비용·지연·안전 위반) → [[Agent Evaluation]].
- 프롬프트/하네스 변경도 실험이다 — 한 번에 하나만 바꾸고 회귀로 검증 (Self-Harness 게이트와 동일 원리).
- 대시보드 요청을 받으면 지표 3층부터 정의 — 지표 없이 차트만 늘리는 것이 허무 지표 양산의 시작.

## 관련 문서

- [[기획 원리]] — 가설 수립과 반증 조건
- [[우선순위와 스코프]] — 실험 순서 결정
- [[마케팅 콘텐츠 원리]] · [[UX 라이팅 원리]] — 소재 실험의 재료
- [[Agent Evaluation]] — 에이전트 버전의 동일 구조