Skip to content
9 / 31

Как Π΄Π΅Π»Π°Ρ‚ΡŒ reproducible pipelines с DVC, Kedro, Metaflow ΠΈΠ»ΠΈ Airflow?

Воспроизводимый ΠΏΠ°ΠΉΠΏΠ»Π°ΠΉΠ½ фиксируСт Π³Ρ€Π°Ρ„ шагов, вСрсии Π΄Π°Π½Π½Ρ‹Ρ… ΠΈ ΠΊΠΎΠ΄Π°, ΠΎΠΊΡ€ΡƒΠΆΠ΅Π½ΠΈΠ΅ ΠΈ значСния ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ², поэтому ΠΏΠΎΠ²Ρ‚ΠΎΡ€Π½Ρ‹ΠΉ ΠΏΡ€ΠΎΠ³ΠΎΠ½ Π΄Π°Ρ‘Ρ‚ ΠΏΠΎΠ±ΠΈΡ‚ΠΎΠ²ΠΎ (ΠΈΠ»ΠΈ статистичСски) Ρ‚ΠΎΡ‚ ΠΆΠ΅ Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚. DVC pipelines = Π΄Π΅ΠΊΠ»Π°Ρ€Π°Ρ‚ΠΈΠ²Π½Ρ‹ΠΉ YAML + кэш ΠΏΠΎ Ρ…Π΅ΡˆΠ°ΠΌ, Kedro = python-слои с datasets ΠΈ hooks, Metaflow = python-flow с автоматичСской ΡƒΠΏΠ°ΠΊΠΎΠ²ΠΊΠΎΠΉ шагов Π² ΠΎΠ±Π»Π°ΠΊΠΎ, Airflow = scheduler-ΠΏΠ΅Ρ€Π²Ρ‹ΠΉ, для production-ΡˆΠ΅Π΄ΡƒΠ»ΠΈΠ½Π³Π°. НС пытайся ΠΎΠ΄Π½ΠΈΠΌ инструмСнтом Π·Π°ΠΊΡ€Ρ‹Ρ‚ΡŒ всё β€” ΠΊΠΎΠΌΠ±ΠΈΠ½ΠΈΡ€ΡƒΠΉ: DVC для Ρ‚Ρ€Π΅ΠΊΠΈΠ½Π³Π° Π΄Π°Π½Π½Ρ‹Ρ… + Airflow для ΠΏΡ€ΠΎΠ΄Π°.

Как Π΄Π΅Π»Π°Ρ‚ΡŒ reproducible pipelines с DVC, Kedro, Metaflow ΠΈΠ»ΠΈ Airflow? | JScriptiser