В чём разница между Gini и Entropy в decision trees, и что такое pre-/post-pruning?

Gini impurity = 1 - Σ pᵢ², entropy = -Σ pᵢ log₂ pᵢ. Оба меряют «нечистоту» узла — насколько перемешаны классы. Gini считается быстрее (нет логарифма), результаты на практике почти идентичны. Pre-pruning ограничивает рост дерева во время fit (max_depth, min_samples_leaf). Post-pruning обрезает уже выращенное дерево по cost-complexity (ccp_alpha).