Π‘ΠΏΡΠΎΠ΅ΠΊΡΠΈΡΡΠΉΡΠ΅ Π»Π΅Π½ΡΡ ΡΠ΅ΠΊΠΎΠΌΠ΅Π½Π΄Π°ΡΠΈΠΉ: ΡΡΠΎ Π³ΠΎΠ²ΠΎΡΠΈΡΡ ΠΏΠΎ ΡΠ°Π³Π°ΠΌ ΠΎΡ ΠΏΠΎΡΡΠ°Π½ΠΎΠ²ΠΊΠΈ Π·Π°Π΄Π°ΡΠΈ Π΄ΠΎ ΡΠ΅ΡΠ²ΠΈΠ½Π³Π°?
ΠΠ΅Π½ΡΠ° β ΡΡΠΎ ΡΠ°Π½ΠΆΠΈΡΠΎΠ²Π°Π½ΠΈΠ΅, Π° Π½Π΅ ΠΏΡΠ΅Π΄ΡΠΊΠ°Π·Π°Π½ΠΈΠ΅ ΠΎΠ΄Π½ΠΎΠ³ΠΎ ΡΠΈΡΠ»Π°: Π½Π° Π²Ρ ΠΎΠ΄Π΅ ΠΏΠ°ΡΠ° Β«ΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΠ΅Π»Ρ ΠΈ ΠΊΠΎΠ½ΡΠ΅ΠΊΡΡΒ», Π½Π° Π²ΡΡ ΠΎΠ΄Π΅ ΡΠΏΠΎΡΡΠ΄ΠΎΡΠ΅Π½Π½ΡΠ΅ K ΠΎΠ±ΡΠ΅ΠΊΡΠΎΠ². Π Π°Π·Π±ΠΎΡ ΠΈΠ΄ΡΡ ΠΏΠΎ ΠΊΠ°ΡΠΊΠ°Π΄Ρ: ΠΎΡΠ±ΠΎΡ ΠΊΠ°Π½Π΄ΠΈΠ΄Π°ΡΠΎΠ² ΠΈΠ· ΠΌΠΈΠ»Π»ΠΈΠΎΠ½ΠΎΠ² ΠΎΠ±ΡΠ΅ΠΊΡΠΎΠ² β ΡΠ°Π½ΠΆΠΈΡΠΎΠ²Π°Π½ΠΈΠ΅ ΡΠΎΡΠ΅Π½ β ΠΏΠ΅ΡΠ΅ΡΠΏΠΎΡΡΠ΄ΠΎΡΠΈΠ²Π°Π½ΠΈΠ΅ Π΄Π΅ΡΡΡΠΊΠΎΠ². ΠΠ΅ΡΡΠΈΠΊΠ° ΠΎΡΠ±ΠΎΡΠ° β ΠΏΠΎΠ»Π½ΠΎΡΠ° (recall@1000), ΠΌΠ΅ΡΡΠΈΠΊΠ° ΡΠ°Π½ΠΆΠΈΡΠΎΠ²Π°Π½ΠΈΡ β nDCG@10, ΠΌΠ΅ΡΡΠΈΠΊΠ° ΡΠ΅ΡΠ΅Π½ΠΈΡ ΠΎ Π²ΡΠΊΠ°ΡΠΊΠ΅ β ΠΏΠΎΠ²Π΅Π΄Π΅Π½ΠΈΠ΅ ΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΠ΅Π»Π΅ΠΉ Π² A/B. ΠΠ»Π°Π²Π½ΡΠ΅ Π»ΠΎΠ²ΡΡΠΊΠΈ: ΠΎΠ±ΡΡΠ΅Π½ΠΈΠ΅ Π½Π° ΡΠΎΠ±ΡΡΠ²Π΅Π½Π½ΡΡ ΠΏΠΎΠΊΠ°Π·Π°Ρ Π±Π΅Π· ΠΏΠΎΠΏΡΠ°Π²ΠΊΠΈ Π½Π° ΡΠΌΠ΅ΡΠ΅Π½ΠΈΠ΅ ΠΏΠΎΠ·ΠΈΡΠΈΠΈ, ΠΎΡΡΡΡΡΡΠ²ΠΈΠ΅ Π±ΡΠ΄ΠΆΠ΅ΡΠ° Π·Π°Π΄Π΅ΡΠΆΠΊΠΈ ΠΈ ΠΌΠΎΠ»ΡΠ°Π»ΠΈΠ²ΠΎΠ΅ ΡΡ Π»ΠΎΠΏΡΠ²Π°Π½ΠΈΠ΅ ΠΊΠ°ΡΠ°Π»ΠΎΠ³Π° Π² ΡΠ·ΠΊΠΈΠΉ ΠΏΠΎΠΏΡΠ»ΡΡΠ½ΡΠΉ Ρ Π²ΠΎΡΡ.