Что такое XGBoost простыми словами и почему он выигрывает Kaggle?

XGBoost — это градиентный бустинг на решающих деревьях: алгоритм строит сотни маленьких деревьев по очереди, и каждое следующее исправляет ошибки предыдущих. На табличных данных он годами доминирует на Kaggle и в проде, потому что выжимает из CPU максимум качества при разумной настройке.