Чем проектирование LLM-системы отличается от классического ML System Design?

Главное отличие в том, что модель не своя: её не обучают, а вызывают — и вместе с ней приходят чужая задержка, чужие лимиты, чужие сбои и оплата за токен. Обучение и переобучение уходят из картины, а на их место встают промпт как артефакт (его версионируют и тестируют), контекст как ограниченный ресурс, недетерминированность вывода и стоимость, которая растёт с длиной ответа. Общее остаётся: метрики, наблюдаемость, безопасная выкатка, деградация.