Массовая офлайн-обработка миллионов документов через LLM: как устроить очередь, повторы и контроль стоимости?

Пакетный режим здесь дешевле онлайнового в разы: пакетные API провайдеров дают скидку около половины, а свой инференс работает на полной загрузке. Ключевые элементы: очередь задач с идемпотентным ключом (документ обрабатывается один раз, повтор не создаёт дубль), сохранение промежуточных результатов, ограничение параллелизма под лимиты провайдера, повторы с ростом паузы и жёсткий потолок расходов с остановкой при его достижении.