1 / 15
Π§ΡΠΎ ΡΠ°ΠΊΠΎΠ΅ ΡΠΎΠΊΠ΅Π½ΠΈΠ·Π°ΡΠΈΡ ΠΈ ΠΊΠ°ΠΊΠΈΠ΅ ΡΡΠΎΠ²Π½ΠΈ ΡΠ°Π·Π±ΠΈΠ΅Π½ΠΈΡ ΡΠ΅ΠΊΡΡΠ° ΡΡΡΠ΅ΡΡΠ²ΡΡΡ?
Π’ΠΎΠΊΠ΅Π½ΠΈΠ·Π°ΡΠΈΡ β ΡΠ°Π·Π±ΠΈΠ΅Π½ΠΈΠ΅ ΡΠ΅ΠΊΡΡΠ° Π½Π° Π΅Π΄ΠΈΠ½ΠΈΡΡ (ΡΠΎΠΊΠ΅Π½Ρ), Ρ ΠΊΠΎΡΠΎΡΡΠΌΠΈ ΡΠ°Π±ΠΎΡΠ°Π΅Ρ ΠΌΠΎΠ΄Π΅Π»Ρ. ΠΡΠ²Π°Π΅Ρ Π½Π° ΡΡΠΎΠ²Π½Π΅ ΡΠ»ΠΎΠ² (split ΠΏΠΎ ΠΏΡΠΎΠ±Π΅Π»Π°ΠΌ/ΠΏΡΠ½ΠΊΡΡΠ°ΡΠΈΠΈ), ΡΠΈΠΌΠ²ΠΎΠ»ΠΎΠ² (ΠΊΠ°ΠΆΠ΄ΡΠΉ ΡΠΈΠΌΠ²ΠΎΠ» β ΡΠΎΠΊΠ΅Π½) ΠΈ subword (BPE, WordPiece, SentencePiece). Subword ΠΏΠΎΠ±Π΅Π΄ΠΈΠ» Π² ΡΡΠ°Π½ΡΡΠΎΡΠΌΠ΅ΡΠ°Ρ : ΠΌΠ°Π»ΡΠΉ ΡΠ»ΠΎΠ²Π°ΡΡ, Π½Π΅Ρ OOV-ΠΏΡΠΎΠ±Π»Π΅ΠΌΡ, ΠΌΠΎΡΡΠΎΠ»ΠΎΠ³ΠΈΡΠ΅ΡΠΊΠΈ ΠΎΡΠΌΡΡΠ»Π΅Π½Π½ΡΠ΅ ΠΊΡΡΠΊΠΈ.