Логи, метрики и трассировки: что для чего и что выносить в алерты?

Метрики отвечают на вопрос «что происходит»: они дешёвые, агрегированные и годятся для графиков и алертов. Логи отвечают «что случилось с конкретным запросом»: они дорогие и подробные. Трассировки отвечают «где именно ушло время в цепочке сервисов». Для сервисов считают частоту запросов, долю ошибок и распределение задержки, для ресурсов — утилизацию, насыщение и ошибки. Метки метрик должны иметь ограниченный набор значений: идентификатор пользователя в метке взрывает кардинальность и стоимость хранения. Алертить нужно по симптому, который чувствует пользователь — рост доли ошибок, рост задержки в хвосте, растущая очередь, — а не по причине вроде загрузки процессора: причин много, а страдает пользователь одинаково.