13 / 22
ΠΠ°ΡΠ΅ΠΌ Π½ΡΠΆΠ½Π° ΠΏΡΠ°Π²ΠΈΠ»ΡΠ½Π°Ρ ΠΈΠ½ΠΈΡΠΈΠ°Π»ΠΈΠ·Π°ΡΠΈΡ Π²Π΅ΡΠΎΠ² (Xavier/Glorot, He) ΠΈ ΠΏΠΎΡΠ΅ΠΌΡ Π½Π΅Π»ΡΠ·Ρ ΠΈΠ½ΠΈΡΠΈΠ°Π»ΠΈΠ·ΠΈΡΠΎΠ²Π°ΡΡ Π½ΡΠ»ΡΠΌΠΈ?
ΠΡΠ»Π΅Π²Π°Ρ ΠΈΠ½ΠΈΡΠΈΠ°Π»ΠΈΠ·Π°ΡΠΈΡ ΡΠ±ΠΈΠ²Π°Π΅Ρ ΡΠ΅ΡΡ: Π²ΡΠ΅ Π½Π΅ΠΉΡΠΎΠ½Ρ ΡΠ»ΠΎΡ ΡΡΠΈΡΠ°ΡΡ ΠΎΠ΄Π½ΠΎ ΠΈ ΡΠΎ ΠΆΠ΅, Π³ΡΠ°Π΄ΠΈΠ΅Π½ΡΡ ΠΈΠ΄Π΅Π½ΡΠΈΡΠ½Ρ, ΠΎΠ±ΡΡΠ΅Π½ΠΈΠ΅ Π½Π΅ ΠΈΠ΄ΡΡ. Xavier (Glorot) ΠΌΠ°ΡΡΡΠ°Π±ΠΈΡΡΠ΅Ρ Π²Π΅ΡΠ° ΠΏΠΎ 1/sqrt(fan_in) β Π΄Π»Ρ tanh/sigmoid. He (Kaiming) ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΠ΅Ρ 2/sqrt(fan_in) β Π΄Π»Ρ ReLU. Π¦Π΅Π»Ρ β ΡΠΎΡ
ΡΠ°Π½ΠΈΡΡ Π΄ΠΈΡΠΏΠ΅ΡΡΠΈΡ Π°ΠΊΡΠΈΠ²Π°ΡΠΈΠΉ ΠΈ Π³ΡΠ°Π΄ΠΈΠ΅Π½ΡΠΎΠ² ΠΎΠ΄ΠΈΠ½Π°ΠΊΠΎΠ²ΠΎΠΉ ΠΏΠΎ ΡΠ»ΠΎΡΠΌ, ΠΈΠ½Π°ΡΠ΅ vanishing/exploding Ρ ΡΠ°ΠΌΠΎΠ³ΠΎ ΡΡΠ°ΡΡΠ°.