Skip to content
13 / 22

Π—Π°Ρ‡Π΅ΠΌ Π½ΡƒΠΆΠ½Π° ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½Π°Ρ инициализация вСсов (Xavier/Glorot, He) ΠΈ ΠΏΠΎΡ‡Π΅ΠΌΡƒ нСльзя ΠΈΠ½ΠΈΡ†ΠΈΠ°Π»ΠΈΠ·ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ нулями?

НулСвая инициализация ΡƒΠ±ΠΈΠ²Π°Π΅Ρ‚ ΡΠ΅Ρ‚ΡŒ: всС Π½Π΅ΠΉΡ€ΠΎΠ½Ρ‹ слоя ΡΡ‡ΠΈΡ‚Π°ΡŽΡ‚ ΠΎΠ΄Π½ΠΎ ΠΈ Ρ‚ΠΎ ΠΆΠ΅, Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Ρ‹ ΠΈΠ΄Π΅Π½Ρ‚ΠΈΡ‡Π½Ρ‹, ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ Π½Π΅ ΠΈΠ΄Ρ‘Ρ‚. Xavier (Glorot) ΠΌΠ°ΡΡˆΡ‚Π°Π±ΠΈΡ€ΡƒΠ΅Ρ‚ вСса ΠΏΠΎ 1/sqrt(fan_in) β€” для tanh/sigmoid. He (Kaiming) ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ 2/sqrt(fan_in) β€” для ReLU. ЦСль β€” ΡΠΎΡ…Ρ€Π°Π½ΠΈΡ‚ΡŒ Π΄ΠΈΡΠΏΠ΅Ρ€ΡΠΈΡŽ Π°ΠΊΡ‚ΠΈΠ²Π°Ρ†ΠΈΠΉ ΠΈ Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚ΠΎΠ² ΠΎΠ΄ΠΈΠ½Π°ΠΊΠΎΠ²ΠΎΠΉ ΠΏΠΎ слоям, ΠΈΠ½Π°Ρ‡Π΅ vanishing/exploding с самого старта.

Π—Π°Ρ‡Π΅ΠΌ Π½ΡƒΠΆΠ½Π° ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½Π°Ρ инициализация вСсов (Xavier/Glorot, He) ΠΈ ΠΏΠΎΡ‡Π΅ΠΌΡƒ нСльзя ΠΈΠ½ΠΈΡ†ΠΈΠ°Π»ΠΈΠ·ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ нулями? | JScriptiser