---
tags: [AI-Agent, RAG, 청킹]
---

# 청킹 전략 카탈로그

> 청킹은 "하나의 정답"이 아니라 **문서 구조·질의 유형·예산에 따라 고르는 메뉴**다. 크기 트레이드오프 원리는 [[Chunking]] — 여기는 선택지 전체를 펼친 카탈로그다. 채택은 항상 골든셋 회귀([[RAG 실패 진단과 개선]])로.

## 1. 규칙 기반 — 싸고 예측 가능

| 전략 | 원리 | 언제 쓰나 |
|------|------|----------|
| 고정 크기 | N토큰마다 절단 | 기준선·프로토타입 — 문장 중간 절단이 약점 |
| 재귀 분할 | 구분자 우선순위(문단→문장→단어)로 크기에 맞춰 내려감 | **실무 기본값** — 구조를 약하게 존중하면서 크기 보장 |
| 문장 기반 | 문장 경계로만 분할 | 문장 단위 사실 검색(FAQ·규정) |
| 오버랩(슬라이딩 윈도우) | 인접 청크를 10~20% 겹치게 | 단독 전략이 아니라 위 전략들의 보조 — 경계 정보 손실 완화 |

## 2. 구조 인지 — 문서가 구조를 가졌다면 우선 고려

| 전략 | 원리 | 언제 쓰나 |
|------|------|----------|
| 마크다운/HTML 헤더 분할 | 헤더 계층으로 자르고 헤더 경로를 메타데이터로 | 위키·기술문서 — 섹션이 곧 의미 단위 |
| 코드 구문(AST) 분할 | 함수·클래스 단위로 절단 | 코드베이스 RAG |
| 레이아웃 기반 | PDF의 섹션·페이지·표 경계(파서의 bbox 활용) | 계약서·보고서 등 조판 문서 → [[문서 수집과 파싱]] |
| 표 전용 청크 | 표를 산문과 분리 — 통째 보존 or 행 단위+헤더 반복 | 표가 핵심 정보인 문서 |

## 3. 의미 기반 — 비용을 내고 경계 품질을 산다

| 전략 | 원리 | 언제 쓰나 |
|------|------|----------|
| 시맨틱 청킹 | 인접 문장 임베딩 유사도가 급락하는 지점에서 절단 | 구조 없는 긴 산문(회의록·아티클) |
| [[Adaptive Chunking]] | 콘텐츠 밀도에 따라 크기 자체를 가변 | 밀도 편차가 큰 코퍼스 |
| 명제 기반(proposition) | LLM으로 원자 사실 단위를 추출해 색인 | 정밀 사실 QA — 인덱싱 비용 최고 수준 |
| 에이전틱 청킹 | LLM이 경계·그룹핑을 직접 판단 | 소규모 고가치 문서만 (비용 최고) |

## 4. 색인-검색 분리형 — "검색용 단위 ≠ 생성용 단위"

| 전략 | 원리 | 언제 쓰나 |
|------|------|----------|
| 부모-자식(small-to-big) | 작은 청크로 검색하고 부모 문서/큰 청크를 생성에 전달 | 정밀 검색과 풍부한 생성 맥락이 둘 다 필요할 때 |
| 문장 윈도우 | 문장 단위로 임베딩, 검색 후 앞뒤 문장으로 확장 | 위와 같은 동기의 더 세밀한 버전 |
| [[Contextual Retrieval]] | 청크 앞에 "문서 내 맥락" 설명을 LLM으로 프리펜드 | 청크가 단독으론 무의미해지는 코퍼스 |
| Late chunking | 장문 임베딩 모델로 문서 전체를 인코딩한 뒤 토큰 임베딩을 청크별로 풀링 | 장문 컨텍스트 임베딩 모델을 쓸 수 있을 때 — 맥락 보존을 모델 쪽에서 해결 |

## 선택 가이드

1. **시작점**: 재귀 분할 400~800토큰 + 10~20% 오버랩(실무 관례). 구조 있는 문서면 헤더 분할부터.
2. **증상별 승급**: 청크가 맥락 잃음 → [[Contextual Retrieval]]·부모-자식 / 경계에서 정답 잘림 → 시맨틱·구조 기반 / 표 질문 실패 → 표 전용.
3. **혼합은 정상**: 코퍼스가 이질적이면 문서 유형별로 다른 청커를 라우팅한다.
4. 어떤 전략이든 청크에 **출처 메타데이터**(문서·섹션·페이지)는 필수 → [[문서 수집과 파싱]].

## 관련 문서

- [[Chunking]] — 크기 트레이드오프 원리
- [[RAG 실패 진단과 개선]] — 청킹이 용의자인 증상들
- [[임베딩·인덱싱 전략 카탈로그]] — 다음 단계의 선택지