LLM System Design
Проектирование LLM-систем: методика, разбор кейсов, инфраструктура инференса
Открыть «Основы и методика»
Основы и методика
Задержка и стоимость, роутинг, кэш, ограничители, evals и наблюдаемость LLM-систем
20 вопросов
Открыть «Кейсы»
Кейсы
Разбор LLM-задач целиком: поддержка, документы, агенты, извлечение данных, голос, поиск
20 вопросов
Открыть «Инфраструктура инференса»
Инфраструктура инференса
Движки инференса, KV-кэш, LoRA, MoE, квантизация, эмбеддинги, выбор GPU и стоимость токена
20 вопросов