14 / 21
ΠΠ°ΠΊ ΡΡΠΈΡΠ°ΡΡ ΡΠΎΠΊΠ΅Π½Ρ ΠΈ ΡΡΠΎΠΈΠΌΠΎΡΡΡ Π·Π°ΠΏΡΠΎΡΠ° Π΄ΠΎ ΠΎΡΠΏΡΠ°Π²ΠΊΠΈ Π² LLM?
ΠΠ»Ρ OpenAI ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΠΉ tiktoken ΠΈΠ»ΠΈ js-tiktoken Ρ ΠΊΠΎΠ΄ΠΈΡΠΎΠ²ΠΊΠΎΠΉ cl100k_base (GPT-4) ΠΈΠ»ΠΈ o200k_base (GPT-4o/4.1/5). ΠΠ»Ρ Anthropic β client.messages.countTokens(...), ΠΊΠΎΡΠΎΡΡΠΉ Π²ΡΠ·ΡΠ²Π°Π΅Ρ ΠΎΡΠΈΡΠΈΠ°Π»ΡΠ½ΡΠΉ endpoint Ρ ΡΠ΅ΠΌΠΈ ΠΆΠ΅ ΠΏΡΠ°Π²ΠΈΠ»Π°ΠΌΠΈ, ΡΡΠΎ ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΠ΅Ρ Π±ΠΈΠ»Π»ΠΈΠ½Π³. Π‘ΡΠΎΠΈΠΌΠΎΡΡΡ = input_tokens * input_price + output_tokens * output_price, ΡΠ΅Π½Ρ Π±Π΅ΡΡΡΡ ΠΈΠ· docs ΠΏΡΠΎΠ²Π°ΠΉΠ΄Π΅ΡΠ° ΠΈ Π΄Π΅ΡΠΆΠΈΡΡ Π² ΠΊΠΎΠ½ΡΠΈΠ³Π΅.