Skip to content
JS
JScriptiser
System Online
Patches
Platform
Quiz
FAQ
🇷🇺
ru
Sign In
To The Lab
Sign In
Knowledge Base
AI & LLM
LLM Observability
LLM Observability
Tracing, token spend, latency, in-production quality evaluation and incident response
All
Easy
Medium
Hard
Default
Most popular
Easy first
Hard first
Expand
Collapse
1
Hard
8
Как делать end-to-end tracing LLM-запросов в production: model calls + tool calls + retrieval calls в одной trace?
2
Medium
7
Как считать и отслеживать cost / tokens в production: per-user, per-feature attribution, budgets, alerts?
3
Hard
8
Как мерить и алертить latency в production LLM-системе: P50/P95/P99, TTFB для streaming, SLA / SLO?
4
Medium
9
Как мониторить cache hit rate и retry rate для LLM в production: prompt cache stats, retry observability?
5
Hard
9
Как linkать trace → prompt id → version в observability: prompt registry + production traces для root-cause analysis?
6
Hard
9
Как делать online eval в production LLM-системе: LLM-as-judge на sampled traces + alerting?
7
Hard
4
Как делать regression eval и shadow traffic для LLM в production: replay traces, A/B model rollout, статистическое сравнение?
8
Hard
10
Как организовать feedback loops + human review queues для LLM в production: thumbs up/down, analyst queue, label-to-eval pipeline?
9
Hard
11
Как обрабатывать incidents в production LLM: model / provider degradation, hallucination spike, fallback, runbook?
10
Hard
8
Что такое OpenTelemetry GenAI conventions и OpenInference: vendor-neutral tracing для LLM?
LLM Observability | JScriptiser