Какие функции активации существуют и когда какую выбирать (ReLU, sigmoid, tanh, softmax, GELU, Leaky ReLU)?

ReLU — дефолт для скрытых слоёв (быстро, не насыщается). Leaky ReLU/GELU — если ReLU «умирает» (большая часть нейронов выдаёт 0). Sigmoid — на выходе для бинарной классификации. Softmax — на выходе для multi-class. Tanh — устаревший вариант для скрытых слоёв (используется в RNN). Sigmoid и tanh страдают от vanishing gradients в глубоких сетях.