В этой статье рассмотрим все способы повышения качества работы одной ноды. Затем разберём, что происходит в цепочках последовательных вызовов. Главная мысль автора заключается в том, что на проде вам...

В этой статье рассмотрим все способы повышения качества работы одной ноды. Затем разберём, что происходит в цепочках последовательных вызовов.

Главная мысль автора заключается в том, что на проде вам вряд ли удастся добиться качества ответов всей системы выше 90%. Лучше изначально ориентироваться на этот показатель, поскольку некоторые проекты из-за высокой стоимости ошибки никогда не сойдутся.

Будем разбираться на примере определения кода услуги для 402-й формы. На первый взгляд задача простая: по названию услуги нужно выбрать соответствующий класс.

Условие задачи: плоская класификация, 50 классов. Класс это код и формально обозначение услуги - "842 - Разработка и установка программного обеспечения". Каждое название соответствует только одному классу. (Это реальная задача, которой я занимался. Я поправил вводные оставив общий смысл)

У LLM есть одно потрясающее свойство, слово из заголовка. Благодаря ему модель умеет решать задачи по аналогии: мы показываем ей несколько решений, и она улавливает общий принцип "как это решать".

И хотя это потрясающе, в каждом процессе есть исключения/эдж кейсы. Такие кейсы на которых общее правило не работает. Логику работы с ними приходится прописывать отдельно, и промпт начинает раздуваться.

Допустим, мы написали промпт для 402 формы. Его базовую версию - описали, какие бывают категории и как их определять. На внутреннем бенчмарке получили высокое качество, 98% правильных ответов. Вывели решение в прод, а на бою оказалось 73%.

Дальше есть несколько вариантов: продолжать набивать промпт всевозможными исключениями, разделить задачу на несколько вызовов LLM или динамически подставлять подходящие примеры.

Первое ограничение - размер контекстного окна. У большинства моделей большое контекстное окно, у некоторых огромное: туда помещаются целые романы, хоть «Братья Карамазовы». Это практически не ограничение, но все равно надо посмотреть укладывается ли кол-во токенов промпта в контектсное окно.

Дальше возникает вопрос, насколько хорошо модель использует все, что мы туда положили. В длинном контексте она может упускать отдельные фрагменты. Как будто модель “забыла” кусок промпта: информация есть во входе, но в ответе она ее не учитывает.