Я всегда общалась с ИИ на английском, разве что мне надо было составить какое-то очень специфическое сообщение, или вообще перевести мой текст на испанский. Для меня это языковая практика, да и в...

Я всегда общалась с ИИ на английском, разве что мне надо было составить какое-то очень специфическое сообщение, или вообще перевести мой текст на испанский. Для меня это языковая практика, да и в целом на темы программирования проще общаться на английском, чтобы не переводить на русский термины. Сейчас я работаю над тем, как эффективнее ставить задачи агенту и предоставлять ему нужные инструкции. И меня заинтересовал вопрос, влияет ли используемый язык на то, как агент решает задачу. Я проводила исследование, чтобы понять, стоит ли переводить истории worklore (это мой проект: библиотека историй разработчиков, которые агент может воспроизвести), чтобы большему количеству людей было комфортно их читать и при этом качество работы агентов, которые следуют историям, не менялось.

Я выбрала шесть задач, сформулировала их на английском и на русском, с заметкой об аналогичном решении и без нее, семь конфигураций агентов, по пять прогонов на ячейку, 1050 прогонов. Потом я добавила две модели Kimi, ещё 300 прогонов: многим в России Claude недоступен, и им важно знать, что взять вместо него. Метод описан в конце статьи.

По-русски агент решает примерно так же. Без заметки прошли 62,6% прогонов с английской задачей и 54,4% с русской. На таком числе прогонов разница в 8 пунктов на грани случайной. Заметно теряют только агенты, которые по-русски перестают искать (об этом дальше).

Заметка помогает одинаково на обоих языках. При работе с англоязычными задачами она подняла долю успешных решений на 33 пункта, с русскоязычными на 39.

Перевод заметки почти ничего не дал. Нет разницы, на каком языке будут те инструкции, которые найдет агент, для решения задачи.

Два агента перестали искать подсказки в интернете. Codex искал в трети прогонов с англоязычной задачей и ни в одном с русской. На задаче, возможное решение которой есть только на форуме, это стоило ему падения оценки с 5 из 5 до 0 из 5, а добавление заметки вернуло 5 из 5. Kimi K3.1 по-русски тоже перестала искать, и на второй форумной задаче её оценка упала так же, с 5 из 5 до 0 из 5.

Если вы работаете не на английском, запомнить стоит четвёртый пункт: агент может молча пропускать шаг поиска решения в интернете, который для англоязычного промпта делает. При этом, если дать ему в промпте заметку с нужным для решения фактом, результаты на обоих языках одинаковы.

Девять конфигураций × пять повторов. На картинке процент успешного решения задачи

Заметками служили шесть историй из worklore: четыре, в которых есть то, чего у агента нет, и две контрольные, где факт лежит в документации или в логе. В каждой строке 45 прогонов: девять конфигураций по пять повторов.

Пульсовой коридор для часов Garmin (факт с форума, в документации нет)