Как организовать feedback loops + human review queues для LLM в production: thumbs up/down, analyst queue, label-to-eval pipeline?

Feedback loop — post-hoc quality механизм (не путать с HITL approval, который гейтит action перед выполнением). Слои: (1) end-user feedback — thumbs up/down UI widget + optional comment; (2) analyst review queue — low-score traces (score < threshold или thumbs-down) routed в Slack / admin UI, analyst labels root cause, SLA 24–48h; (3) label-to-eval pipeline — labelled cases пополняют golden dataset для regression eval (Q21). Tools: Langfuse Score API, LangSmith feedback, Helicone widget. Анти-pattern: feedback собирается, но не feeds back в eval.