product features
LLM 토큰 모니터링 및 요청량 추적
실시간 대시보드에서 누적 Total Token 소비량을 Prompt Token과 Completion Token으로 구분하여 확인할 수 있으며, 모델 및 애플리케이션별로 평균 Input/Output 토큰 수를 분석합니다. 프로덕션에서 예상치 못한 비용이 발생하기 전, 개발 단계에서 모든 LLM 호출의 비용과 복잡도를 평가하세요. 사용량 임계값을 설정해 단일 요청이 한도를 초과하면 즉시 알림을 받을 수 있습니다.
LLM 비용 최적화 및 지출 추이 분석
LLM API 호출 횟수, 호출당 평균 비용, 누적 지출을 하나의 차트에서 확인하세요. 추세선을 통해 제품팀과 재무팀은 비용이 어디로 향하고 있는지 명확히 파악할 수 있어, 예산 계획이 추측이 아닌 데이터 기반으로 이루어집니다. 트래픽 급증이 예산 초과로 이어지기 전, 특정 차원의 비용이나 요청량이 임계값에 도달하면 즉시 알림을 받으세요.
호출 이력 전반의 LLM 트레이싱 및 프롬프트 모니터링
Trace ID를 사용해 모든 추론 요청의 전체 메타데이터 — 시작 및 종료 시간, 모델 버전, temperature, 프롬프트 길이, 출력 요약 — 를 조회하세요. 클릭 한 번으로 실패하거나 타임아웃된 요청을 필터링한 후, 입력/출력 로그로 문제를 재현할 수 있습니다. 이력을 CSV 또는 JSON으로 내보내 팀 간 공유 및 후속 분석에 활용하세요.
LLM 지연 시간 및 성능에 대한 플레임 그래프 근본 원인 분석
트레이스 상세 화면은 각 하위 Span의 지연 시간 분포를 플레임 그래프로 자동 시각화하여, 어느 호출 단계에서 시간이 가장 많이 소요되는지 한눈에 파악할 수 있습니다. P75, P90, P99 응답 시간 곡선을 통해 산발적인 느린 요청과 구조적인 LLM 성능 병목을 구분하세요. 문제를 파악한 후에는 관련 코드나 설정으로 바로 이동해 플랫폼을 벗어나지 않고 진단 및 수정할 수 있습니다.
