Перейти к содержимому
6 / 26

Что такое self-attention с Q/K/V и почему «attention is all you need»?

Self-attention — механизм, где каждый токен формирует Query (Q), Key (K) и Value (V) векторы. Сходство Q одного токена с K всех остальных даёт веса (softmax-нормализованные), которыми взвешиваются V. Результат — обогащённый контекстом вектор. До трансформеров RNN/CNN моделировали зависимости последовательно или локально; attention позволил каждому токену напрямую «обращаться» к любому другому за O(n²).

Что такое self-attention с Q/K/V и почему «attention is all you need»? | JScriptiser