Слой ограничителей (guardrails): что проверять на входе и выходе LLM и чем платить за каждую проверку?

Ограничители ставят по обе стороны модели. На входе — запрещённые темы, персональные данные, попытки перехвата инструкции, слишком длинный или подозрительный контекст. На выходе — вредный контент, утечка персональных данных и служебных инструкций, ссылки и вызовы на непроверенные адреса, отсутствие обязательной оговорки. Каждая проверка стоит задержки и денег, поэтому дешёвые правила идут первыми, а модель-классификатор — только там, где правила не справляются.