Как делать online eval в production LLM-системе: LLM-as-judge на sampled traces + alerting?

Online eval — это continuous quality measurement на живом production трафике через LLM-as-judge. В отличие от offline eval (golden dataset перед релизом — см. Q20 ml-ai-python ragas), online eval работает на реальных user inputs, где ground truth отсутствует. Pipeline: sample 1–5% production traces (100% для критичных flows: payments, legal, medical) → judge LLM (gpt-4o-mini / claude-3-5-haiku как cheap judge, claude-3-7-sonnet для high-stakes) → structured score (Pydantic / Zod: faithfulness 0–1, helpfulness 0–1, safety bool) → push в Langfuse Score API / LangSmith feedback → time-series alert (faithfulness P50 drop > 10% WoW → page on-call). Bias warning: judge ≠ ground truth — обязательный spot-check human review на 100–200 traces/неделю + rotate judge model для anti-drift.