Что такое «функция активации» на бытовом примере (ReLU, sigmoid)?

Функция активации — это фильтр на выходе нейрона, который пропускает только нужный сигнал. ReLU говорит «отрицательное обнули, положительное пропусти», sigmoid сжимает любое число в диапазон 0–1 («вероятность»). Без активации сеть умеет только прямые линии.