Что такое stateless-сервис и почему без него не получится масштабироваться горизонтально?

Stateless — сервис, который не хранит между запросами ничего, что нельзя безболезненно потерять вместе с процессом. Всё нужное он берёт из самого запроса (токен, идентификатор сессии) и из общих хранилищ: базы, Redis, объектного хранилища. Тогда любой инстанс обслуживает любой запрос, балансировщик волен раздавать трафик как угодно, а поды можно убивать и поднимать в любой момент. Как только состояние переезжает в память процесса — сессии, счётчики лимитов, загруженные файлы на локальном диске, — приходится привязывать пользователя к машине, и при выкате или отказе узла это состояние теряется. В памяти можно держать только то, что не жалко: кэши, пулы соединений, прогретые конфиги.