Чем задержка отличается от пропускной способности и зачем смотреть на p95 и p99?

Задержка — сколько ждёт один запрос. Пропускная способность — сколько запросов система переваривает в секунду. Это разные величины: добавив инстансов, вы поднимете пропускную способность, но один запрос быстрее не станет. Больше того, у них обратная связь через загрузку — чем ближе система к насыщению, тем сильнее растёт задержка. Среднее по задержке почти бесполезно: оно прячет хвост. Если из ста запросов девяносто девять по 50 мс, а один — 5 секунд, среднее покажет 100 мс, а один пользователь из ста ждал пять секунд. Поэтому смотрят на перцентили: p50 — типичный опыт, p95 и p99 — то, что видят самые невезучие, и именно по ним ставят цели.