Чем LLM System Design отличается от классического ML System Design?

Главное отличие: модель не своя — её не обучают, а вызывают, и вместе с ней приходят чужая latency, чужие rate limits, чужие сбои и оплата за токен. Training/retraining уходят из картины, вместо них: prompt как версионируемый артефакт, context как ограниченный ресурс, недетерминированность output и cost, растущий с длиной ответа. Общее остаётся: метрики, observability, безопасный rollout, degradation.