Как собирать обратную связь и вести очередь ручной проверки: оценки «палец вверх / вниз», очередь аналитика и превращение разметки в проверочный набор?

Feedback loop — post-hoc quality механизм (не путать с HITL approval, который гейтит action перед выполнением). Слои: (1) end-user feedback — thumbs up/down UI widget + optional comment; (2) analyst review queue — low-score traces (score < threshold или thumbs-down) routed в Slack / admin UI, analyst labels root cause, SLA 24–48h; (3) label-to-eval pipeline — labelled cases пополняют golden dataset для regression eval (Q21). Tools: Langfuse Score API, LangSmith feedback, Helicone widget. Анти-pattern: feedback собирается, но не feeds back в eval.