LLM Observability
Token เกินขีดจำกัด API ตอบสนองช้า call chain ขาดตอน — การแจ้งเตือนเพียงอย่างเดียวไม่เพียงพอ คุณต้องมองเห็นต้นทุนและพฤติกรรมที่แท้จริงเบื้องหลังทุกคำขอ LLM Observability ของ TrueWatch รวมการใช้งาน Token แนวโน้มต้นทุน การติดตามการเรียกใช้งาน และการวิเคราะห์สาเหตุหลักไว้ในที่เดียว ทุกการตัดสินใจจึงอยู่บนพื้นฐานของข้อมูล
product features
การตรวจสอบ Token ของ LLM และการติดตามปริมาณคำขอ
แดชบอร์ดแบบเรียลไทม์แสดงปริมาณการใช้ Total Token สะสม พร้อมการแยกระหว่าง Prompt Token และ Completion Token โดยแบ่งตามโมเดลและแอปพลิเคชัน เพื่อดูค่าเฉลี่ยจำนวน Token ขาเข้า/ขาออก ประเมินต้นทุนและความซับซ้อนของทุกการเรียกใช้ LLM ได้ตั้งแต่ขั้นตอนการพัฒนา ก่อนที่บิลที่ไม่คาดคิดจะปรากฏบนระบบ Production ตั้งค่าเกณฑ์การใช้งานเพื่อรับการแจ้งเตือนทันทีเมื่อคำขอเดียวใช้เกินขีดจำกัด
การเพิ่มประสิทธิภาพต้นทุน LLM และการวิเคราะห์แนวโน้มค่าใช้จ่าย
จำนวนการเรียกใช้ LLM API ต้นทุนเฉลี่ยต่อการเรียก และค่าใช้จ่ายสะสม แสดงครบในแผนภูมิเดียว เส้นแนวโน้มช่วยให้ทีมผลิตภัณฑ์และทีมการเงินมองเห็นทิศทางของต้นทุนได้อย่างชัดเจน การวางแผนงบประมาณจึงอิงตามข้อมูลแทนการคาดเดา รับการแจ้งเตือนทันทีเมื่อต้นทุนหรือปริมาณคำขอในมิติใดก็ตามถึงเกณฑ์ที่กำหนด ก่อนที่ทราฟฟิกที่พุ่งสูงจะกลายเป็นการใช้งบประมาณเกิน
การติดตามเส้นทาง LLM และการตรวจสอบ Prompt จากประวัติการเรียกใช้
ใช้ Trace ID เพื่อค้นหาเมทาดาทาฉบับสมบูรณ์ของทุกคำขอ Inference ไม่ว่าจะเป็นเวลาเริ่มต้นและสิ้นสุด เวอร์ชันโมเดล ค่า Temperature ความยาว Prompt และสรุปผลลัพธ์ กรองคำขอที่ล้มเหลวหรือหมดเวลาได้ในคลิกเดียว จากนั้นจำลองปัญหาซ้ำด้วยบันทึกอินพุต/เอาต์พุต ส่งออกประวัติเป็น CSV หรือ JSON เพื่อแชร์ข้ามทีมและนำไปวิเคราะห์ต่อ
การวิเคราะห์สาเหตุหลักด้วย Flame Graph สำหรับความหน่วงและประสิทธิภาพของ LLM
มุมมองรายละเอียด Trace แสดงการกระจายความหน่วงของแต่ละ Span ย่อยเป็น Flame Graph โดยอัตโนมัติ ช่วยให้เห็นได้ในพริบตาว่าขั้นตอนการเรียกใช้ใดใช้เวลามากที่สุด เส้นโค้งเวลาตอบสนอง P75 P90 และ P99 ช่วยแยกแยะคำขอที่ช้าเป็นครั้งคราวออกจากปัญหาคอขวดด้านประสิทธิภาพของ LLM ที่เกิดขึ้นเป็นระบบ เมื่อระบุปัญหาได้แล้ว สามารถข้ามไปยังโค้ดหรือคอนฟิกที่เกี่ยวข้องได้โดยตรง วินิจฉัยและแก้ไขได้โดยไม่ต้องออกจากแพลตฟอร์ม
