product banner background

LLM 可觀測

Token 超支、調用變慢、鏈路異常,你需要的不只是告警,而是看清每一筆請求背後的真實成本與行為。TrueWatch 大語言模型(LLM) Observability 整合 Token 用量、成本走勢、調用鏈路與根因分析,讓每個決策都有數據支撐。

product features

Token 用量與請求量監控

即時大盤展示 Total Token 累計消耗,以及 Prompt Token 和 Completion Token 的佔比分佈,可按模型和應用維度拆分平均 Input/Output Token。開發階段就能評估每次調用的成本與複雜度,不用等上線後才發現帳單異常。支援設定用量閾值,單次請求超標時立即觸發告警,隨時掌握費用動向。

Token 用量與請求量監控

成本走勢分析

大語言模型(LLM)API 調用次數、平均單次費用和累計消耗彙整在同一張圖表。趨勢折線讓產品和財務團隊直接看出費用走向,制定預算有數據依據而非靠感覺。特定維度的成本或請求量觸及閾值時即時通知,在流量爆增之前攔截預算風險。

成本走勢分析

調用鏈路歷史查詢

透過 Trace ID 回溯每筆推理請求的完整元資料,涵蓋起訖時間、模型版本、temperature 參數、Prompt 長度和輸出摘要。支援一鍵篩選失敗或逾時記錄,結合輸入輸出日誌快速重現問題。歷史資料可匯出為 CSV 或 JSON,方便跨部門共用與後續分析。

調用鏈路歷史查詢

火焰圖與根因定位

鏈路詳情頁自動渲染各子 Span 的耗時分佈,直接看出哪個調用階段最消耗時間。搭配 P75、P90、P99 回應時間曲線,能區分偶發慢請求與系統性瓶頸。定位問題後可一鍵跳轉至對應程式碼或設定介面,在同一平台內完成診斷與優化。

火焰圖與根因定位
Get in touch background

立即體驗前所未有的監控服務