---
tags: [AI-Agent, 도구, Monitoring]
---

# LangSmith

> LangChain 팀이 만든 LLM 애플리케이션 관측성·평가 플랫폼. 트레이싱, 디버깅, 평가, 프롬프트 관리를 하나로 묶은 상용(매니지드) 서비스다.

## 특징
- **트레이싱**: 체인·에이전트·도구 호출의 전체 실행 흐름을 단계별로 기록해 입력/출력, 토큰, 지연시간, 비용을 시각화한다.
- **평가(Evaluation)**: 데이터셋 기반 오프라인 평가와 LLM-as-judge, 휴먼 피드백을 지원한다.
- **프롬프트 허브**: 프롬프트 버전 관리·비교·협업을 제공한다.
- **모니터링**: 운영 환경의 호출량, 오류율, 지연·비용 추세를 대시보드로 추적한다.

## 에이전트에서의 활용
- 에이전트의 다단계 추론·도구 호출 루프에서 어디서 실패하거나 토큰을 낭비하는지 추적해 디버깅한다.
- 회귀 평가셋을 운영해 프롬프트·모델 변경이 품질을 떨어뜨리지 않는지 검증한다.
- LangChain/LangGraph와 통합이 가장 매끄럽지만, SDK로 임의 LLM 앱도 계측할 수 있다.

## 장단점
- **장점**: LangChain 생태계와 깊은 통합, 트레이싱·평가·프롬프트 관리를 하나로 제공, 빠른 도입.
- **단점**: 기본은 매니지드 SaaS(셀프호스트는 별도 플랜), 벤더 종속 우려가 있다.

## 언제 쓰나
- LangChain/LangGraph 기반 에이전트를 운영하며 트레이싱+평가를 통합 도구로 빠르게 갖추고 싶을 때.

https://www.langchain.com/langsmith

## 관련 노트
- [[Tracing]]
- [[Agent Evaluation]]
- [[Cost Monitoring]]
- [[LangFuse]]
- [[LangChain]]
- [[LangGraph]]