Перейти к содержимому
JS
JScriptiser
Система Онлайн
Патчи
Платформа
Квиз
FAQ
🇺🇸
en
Войти
В Лабораторию
Войти
База знаний
ИИ и LLM
Наблюдаемость LLM
Наблюдаемость LLM
Трассировка, расход токенов, задержки, оценка качества в проде и разбор инцидентов
Все
Легкие
Средние
Сложные
По умолчанию
По популярности
Сначала легкие
Сначала сложные
Развернуть
Свернуть
1
Сложный
8
Как проследить путь запроса в LLM-системе целиком: вызовы модели, инструментов и поиска в одной трассировке?
2
Средний
7
Как считать расход токенов и денег в проде: разбивка по пользователям и функциям, бюджеты и оповещения?
3
Сложный
8
Как измерять задержку LLM-системы и настраивать оповещения: перцентили P50/P95/P99, время до первого токена при потоковой выдаче, SLA и SLO?
4
Средний
9
Как следить за попаданиями в кэш и повторными запросами: статистика кэша промптов и наблюдаемость ретраев?
5
Сложный
9
Как связать трассировку с конкретным промптом и его версией, чтобы доходить до причины сбоя: реестр промптов плюс трассировки из прода?
6
Сложный
9
Как оценивать качество прямо в проде: модель-судья на выборке реальных запросов плюс оповещения?
7
Сложный
4
Как ловить ухудшение качества и обкатывать модель на теневом трафике: проигрывание записанных запросов, постепенная раскатка и статистическое сравнение?
8
Сложный
10
Как собирать обратную связь и вести очередь ручной проверки: оценки «палец вверх / вниз», очередь аналитика и превращение разметки в проверочный набор?
9
Сложный
11
Как действовать при инциденте в LLM-системе: деградация модели или провайдера, всплеск выдумок, запасной вариант и готовый план действий?
10
Сложный
8
Что такое соглашения OpenTelemetry GenAI и OpenInference: трассировка LLM без привязки к конкретному вендору?
Наблюдаемость LLM | JScriptiser