Перейти к содержимому
18 / 31

Что такое происхождение данных и их путь по системе (lineage и provenance), чем это отслеживать (OpenLineage, Marquez, dbt) и зачем это ML-команде?

Data lineage — карта откуда что пришло: какие raw inputs → какие transformations → какая итоговая фича / dataset / model. Provenance — детальный audit trail: кто, когда, как создал/изменил конкретный datum (важно для регуляторики). Зачем ML-команде: debugging (откуда колонка customer_score), impact analysis, compliance (GDPR Article 15/17), reproducibility, trust. Инструменты: OpenLineage (open spec для emission events), Marquez (reference backend + UI), dbt (автоматический column-level lineage в dbt docs), DataHub, Apache Atlas. Уровни: table-level → column-level → event-level.

Что такое происхождение данных и их путь по системе (lineage и provenance), чем это отслеживать (OpenLineage, Marquez, dbt) и зачем это ML-команде? | JScriptiser