Форматы хранения данных: Parquet, ORC, Avro, JSON — что и когда?

Форматы делятся по двум признакам: колоночные или строковые и есть ли встроенная схема. Parquet — колоночный, со схемой, статистикой по блокам и словарным сжатием: стандарт для аналитического хранения в объектных хранилищах; запрос читает только нужные колонки и пропускает блоки по min/max. ORC — близкий аналог с сильными позициями в экосистеме Hive. Avro — строковый со схемой, оптимален для потоковой передачи и записи событие за событием, поэтому им обычно сериализуют сообщения в брокерах и держат схему в реестре. JSON/CSV — читаемые человеком и совместимые со всем, но без типов, без сжатия по колонкам и без статистики: годятся для обмена и отладки, а не для хранения терабайтов. Практическая связка: события идут в брокер в Avro или Protobuf со схемой в реестре, оседают в объектном хранилище в Parquet, а витрины считаются уже поверх Parquet.