11 / 28
Cosine similarity vs dot product vs L2 — какую метрику выбрать для embeddings?
Cosine — мера угла, не зависит от длины вектора, дефолт для текстовых embeddings. Dot product — учитывает и угол, и норму; подходит, когда длина вектора несёт информацию (рекомендации, BERT-style). L2 (Euclidean) — расстояние в пространстве, реже даёт лучшее качество для текста. Если векторы нормализованы, cosine и dot эквивалентны, а L2 монотонно связан с ними.