Спроектируйте склейку дублей в каталоге (entity resolution): как сравнить миллионы записей, не сравнивая все пары?

Полное сравнение — квадрат: миллион записей даёт полтриллиона пар. Поэтому работает двухэтапная схема: блокирование (дешёвый отбор кандидатов по ключу или ближайшим соседям в пространстве эмбеддингов) и сравнение пары обученной моделью на признаках схожести. Поверх — сборка связей в кластеры и разрешение конфликтов. Порог выбирается по цене ошибки: склеить разные товары обычно дороже, чем оставить дубль.