9 ноября 2026 года Национальный институт стандартов и технологий США (NIST) опубликовал первый публичный проект SP 2400-102 E2026 . Авторы развивают таксономию атак на системы машинного обучения 2025...

9 ноября 2026 года Национальный институт стандартов и технологий США (NIST) опубликовал первый публичный проект SP 2400-102 E2026. Авторы развивают таксономию атак на системы машинного обучения 2025 года и посвящают отдельную главу агентам ИИ. Замечания принимаются до 18 декабря 2026 года.

NIST систематизирует известные способы атак и меры противодействия, чтобы разработчики, исследователи и специалисты по безопасности пользовались общей терминологией при описании угроз и защиты. На эту классификацию предполагается опираться при разработке последующих стандартов и практических руководств. Документ охватывает предиктивные, генеративные и агентные системы. В этом обзоре остановимся на новой главе об агентах, где рассматриваются целенаправленные атаки на ИИ-агентов.

В главе 4 об агентных системах авторы разбирают атаки по этапам работы агента, целям и возможностям нарушителя. Нарушитель может вмешаться в постановку задачи, планирование, выполнение действий или получение результатов работы инструментов и уточнение дальнейшего плана.

Среди целей нарушителя NIST выделяет нарушение доступности, нарушение целостности, раскрытие чувствительных данных и использование агента во вредоносных целях. Нарушить доступность можно, например, заставив агента бесконечно вызывать инструменты. Он будет расходовать вычислительные ресурсы и не сможет завершить задачу. При нарушении целостности агент может изменить ход работы, выдать искажённый результат или выполнить действие, которого пользователь не поручал.

Способ атаки зависит от того, к каким компонентам системы или данным получил доступ нарушитель. Авторы рассматривают несколько вариантов.

Через запрос пользователя нарушитель пытается обойти ограничения модели и побудить агента выполнить вредоносное действие. Опасную задачу, к примеру, можно разбить на внешне безобидные шаги, которые при совместном выполнении приведут к негативному для системы и потребному для нарушителя результату.

В цепочке поставки модели нарушитель может подменить или изменить модель до её включения в агентную систему или в ходе интеграции. Для этого он может отравить обучающие данные, вмешаться в саму модель или в компоненты, которые используют при дообучении.

Через недоверенные данные и память нарушитель влияет на поведение агента, помещая подложные инструкции в документы, веб-страницы и базы знаний. Агент читает эти материалы при выполнении задачи и может принять найденные в них инструкции за поручение. Так работает косвенная инъекция в промпт (indirect prompt injection). При отравлении долговременной памяти нарушитель добивается того, чтобы агент сохранил подложные сведения и использовал их в следующих задачах. Это один из способов закрепить воздействие между сеансами работы агента (persistence).

Через инструменты и подключаемые навыки (skills) вредоносные инструкции попадают в описание инструмента, возвращаемые им данные или подключаемый набор рабочих инструкций и скриптов. Агент может изменить план под влиянием описания инструмента ещё до его вызова. Если вредоносный код находится в самом инструменте, при его выполнении возможны хищение данных или блокировка работы.

При взаимодействии нескольких агентов нарушитель может скомпрометировать одного из них и передавать через него подложные сообщения остальным. Если другие агенты примут эти сообщения за рабочие инструкции, атака повлияет и на их действия.