Skip to content
19 / 31

Что такое data contracts и schema drift, и как их валидировать (Great Expectations, Pandera, schema registry)?

Data contract = формальное соглашение между producer (тот кто эмитит data) и consumer (downstream pipeline, ML model). Описывает schema, semantics, SLA (freshness, completeness), allowed changes (backward compat). Schema drift = изменение schema без согласования: pipeline падает с KeyError, training crashes, prediction результаты неожиданно меняются. Не путать с data drift (меняется распределение values, не schema). Инструменты: Pandera (dataframe schema validation as code), Great Expectations (declarative expectations + suites + checkpoints), Avro + Confluent Schema Registry (streaming, BACKWARD/FORWARD/FULL compatibility режимы), JSON Schema (универсальный).

Что такое data contracts и schema drift, и как их валидировать (Great Expectations, Pandera, schema registry)? | JScriptiser