7 / 15
Чем отличаются word2vec, GloVe и FastText как методы word embeddings?
word2vec учится локально — по окнам контекста через предсказание (skip-gram/CBOW). GloVe работает с глобальной матрицей со-встречаемости и факторизует логарифм вероятности co-occurrence. FastText добавляет character n-grams: вектор слова = сумма векторов его n-грамм, поэтому есть эмбеддинги для незнакомых и опечатанных слов.