Pandas vs Polars vs DuckDB: когда какой инструмент брать в data-пайплайне

Pandas — стандарт de facto, eager evaluation, single-thread, удобный API, работает до ~5 GB. Polars — Rust-движок, lazy + eager, multi-thread из коробки, в 5–30 раз быстрее на джойнах и groupby; идеально для 1–100 GB на одной машине. DuckDB — embedded OLAP-БД с SQL; читает Parquet/CSV/Arrow напрямую, делает сложные джойны и оконные функции лучше всех; идеально когда задача декларативная и мыслится в SQL. Все три без проблем интероперируют через Arrow.