Перейти к содержимому
19 / 31

Что такое контракты на данные и расползание схемы, и чем их проверять (Great Expectations, Pandera, реестр схем)?

Контракт на данные (data contract) = формальное соглашение между поставщиком данных и потребителем (конвейер ниже по потоку, ML-модель). Описывает схему, смысл полей, гарантии (свежесть, полнота) и допустимые изменения (обратная совместимость). Расползание схемы (schema drift) = изменение схемы без согласования: конвейер падает с KeyError, обучение рушится, предсказания внезапно меняются. Не путать с дрейфом данных — там меняется распределение значений, а не схема. Инструменты: Pandera (dataframe schema validation as code), Great Expectations (declarative expectations + suites + checkpoints), Avro + Confluent Schema Registry (streaming, BACKWARD/FORWARD/FULL compatibility режимы), JSON Schema (универсальный).

Что такое контракты на данные и расползание схемы, и чем их проверять (Great Expectations, Pandera, реестр схем)? | JScriptiser