Перейти к содержимому
15 / 15

Сколько партиций заводить в топике и что происходит при их увеличении?

Число партиций задаёт потолок параллелизма группы: больше потребителей, чем партиций, не работает. Считают его от пропускной способности: нужный поток делят на реальную скорость одного обработчика и добавляют запас на рост и на пики. Например, при 20 000 сообщений в секунду и обработчике на 1 500 сообщений в секунду нужно не меньше 14 обработчиков, значит партиций берут 16–24 с запасом. Аргумент против «взять сразу 200» — накладные расходы: каждая партиция это файлы и метаданные на брокере, память на продюсере и потребителе, время на ребалансировку и на выборы лидеров при отказе брокера. Увеличивать число партиций можно, уменьшать — нет, и увеличение меняет соответствие ключей партициям: сообщения одного ключа окажутся в разных партициях, поэтому порядок в момент изменения нарушается. Для потоков, где порядок критичен, безопаснее создать новый топик с нужным числом партиций и переехать.

Сколько партиций заводить в топике и что происходит при их увеличении? | JScriptiser