Поиск по смыслу плохо различает «открыто» и «не открыто»: векторы почти совпадают, потому что тема одна и та же. В словах это знают все, а вот насколько это системно и можно ли починить без...

Поиск по смыслу плохо различает «открыто» и «не открыто»: векторы почти совпадают, потому что тема одна и та же. В словах это знают все, а вот насколько это системно и можно ли починить без дообучения, мне хотелось проверить на данных.

Идея простая. В word2vec есть знаменитое king − man + woman ≈ queen: «пол» оказывается почти линейным направлением. Есть ли такое «направление негации» в финальных эмбеддингах моделей, то есть в тех векторах, по которым реально ищут? И если есть, можно ли одной такой осью лечить слепоту к отрицанию?

Метод DiffMean: для каждой пары «утверждение / то же с отрицанием» считаю разность эмбеддингов, усредняю по 240 парам на язык. Получается ось v_neg.

Контрольные направления, чтобы не обмануться: вставка нейтрального наречия, замена на антоним, разность случайных фраз, тема.

8 моделей, 11 пар «модель × язык» (6 английских, 5 русских): all-mpnet-base-v2, bge-base-en-v1.5, e5-base-v2, multilingual-e5-base, paraphrase-multilingual-MiniLM-L12-v2, bge-m3, rubert-tiny2, USER-base. Смотрел все слои энкодера, а не только выход.

Критерии подтверждения гипотез записал до расчётов, вердикты выставляет скрипт. Журнал решений лежит в репозитории.

Направление есть и оно устойчивое. Если считать ось по двум непересекающимся половинам данных, векторы совпадают с косинусом 0,87–0,95 (шум даёт около нуля). Это выполняется для всех 11 пар «модель × язык».

Это не «любая правка» и не тема. От вставки нейтрального наречия ось отличается (косинус около нуля), и в подпространство тем попадает лишь 0,6–4,8% квадрата её нормы.

Но на выходе это не чистая негация. Если посчитать ось отдельно на позитивных («совещание было продуктивным») и на негативных утверждениях («гости были грубыми»), в английских моделях они смотрят в противоположные стороны (косинус от −0,29 до −0,55). «Не хороший» сдвигается к «плохой», а «не грубый» к «вежливый»: ось сильно перекрывается с направлением «замена на антоним» (0,48–0,84 после поправки на шум). На ранних и средних слоях этого нет, переворот происходит в последней трети сети. В русском эффект слабее и есть не во всех моделях.

Если уравнять позитивные и негативные утверждения по весу, остаётся устойчивая компонента (0,86–0,95), почти не связанная с тональностью. Она находит отрицание в живых фразах из STS-B с AUC 0,89–0,99 и совпадает для английского «not» и русского «не» внутри мультиязычных моделей (косинус 0,90–0,95).