Перейти к содержимому
14 / 15

Аннотации, exemplars и переход из графика в трейсы и логи

Связать метрику с причиной помогают три механизма. Аннотации — вертикальные отметки на графике: деплой, инцидент, окончание работ. Они бывают ручными, приходящими из базы Grafana, или построенными по запросу к источнику — например, из серии deployment_timestamp. Exemplars — точки внутри метрики, каждая из которых несёт идентификатор трейса: Prometheus сохраняет их при включённом exemplar-storage, приложение отдаёт вместе с гистограммой, а Grafana рисует ромбиками на графике, и клик по ромбику открывает трейс в Tempo. Это самый прямой путь от «p99 вырос» к конкретному медленному запросу. Data links и correlations — переходы, настроенные вручную: ссылка из панели в другой дашборд или в логи Loki с подставленными значениями меток. Практический минимум для любой инсталляции — аннотации деплоев: половина расследований заканчивается на вопросе «что менялось в этот момент».