'Cato открыла конкурс для ИИ-агентов: что именно проверяет AgentSense'

Компания, основанная в Израиле, предлагает три приза по 10 000 долларов за результаты, соответствующие условиям испытания. Конкурс проверяет конкретный сценарий в изолированной среде, а не защиту любого агента в рабочей системе.
Cato Networks открыла конкурс AgentSense 17 ноября в 15:30 по израильскому времени. Участникам предлагают проверить, можно ли перенаправить ИИ-агента через материалы, которые он читает. Запуск сопровождает объявление компании о технологии, предназначенной для остановки вредоносных действий агентов до их выполнения.
Здесь важно разделять заявление и эксперимент. Cato описывает систему, отслеживающую влияние недоверенного содержимого на поведение агента. Конкурс предоставляет допущенным участникам ограниченную среду для проверки этого подхода. Он не устанавливает независимо измеренный показатель успешности защиты в системах клиентов.
Проверка в строго определенной среде
На >официальной странице конкурса (открывается в новой вкладке) требуется пройти оба уровня: чат-помощника и агента для программирования. Зачетная попытка должна завершиться успехом при включенном AgentSense. Правила предусматривают вымышленные данные и разрешают испытания только в выделенной песочнице. Они не дают права проверять рабочую инфраструктуру Cato или системы третьих лиц.
Первые три участника, выполнившие требования и условия допуска, могут получить по 10 000 долларов после проверки результата компанией. Прием заканчивается 8 декабря в 07:00 по израильскому времени. Действуют ограничения по возрасту, стране и другим условиям. Кажущийся технический успех сам по себе еще не означает присуждения приза.
Право выполнить действие не делает инструкцию правильной
В анонсе продукта Cato объясняет, что агент может обладать действительными полномочиями, но совершить действие за пределами задачи пользователя. Письмо или документ способны одновременно содержать нужную информацию и указания, которые не должны управлять агентом. По утверждению компании, AgentSense различает эти роли и блокирует небезопасные действия, связанные с недоверенным влиянием.
Это описание подхода самой компанией. Из него нельзя делать вывод, что обнаруживается любая скрытая инструкция или что законная работа никогда не будет прервана. Такие вопросы требуют проверки в соответствующем процессе, в том числе на обычных документах и разрешенных действиях.
Что еще предстоит оценить
Cato также описывает функцию обнаружения отклонений от задачи в будущем времени. Она должна выявлять действия, расходящиеся с первоначальным поручением. Это различие важно при сопоставлении заявленных возможностей нынешней защиты с дополнительной функцией, которую компания намерена предоставить. Анонс не позволяет считать весь план развития уже внедренным продуктом.
Для организаций, рассматривающих использование агентов, запуск формулирует практический вопрос: можно ли связать разрешенное действие с задачей, которая его оправдывает? Конкурс может дать полезные примеры, но результаты будут зависеть от конкретной среды и правил оценки. Прежде чем делать более широкие выводы, покупателям все равно потребуется изучить границы развертывания, рабочее поведение и результаты собственных разрешенных испытаний.


