В обычной инфраструктуре никто не считает комментарий в README полноценным security-control. Если серверу нельзя ходить в интернет, это ограничивают сетью. Если процессу не нужен секрет, его не выдают процессу. Если приложение не должно менять audit log, журнал выносят в отдельный контур.
С автономными ИИ-агентами компании иногда делают противоположное: формулируют запрет словами и предполагают, что модель будет воспринимать текстовое ограничение как техническую границу.
Инциденты 2026 года показали, почему этого недостаточно.
В июле OpenAI проводила внутренние cybersecurity evaluations. По последующему отчёту компании, агенты смогли обходить изоляцию, использовать несанкционированные каналы коммуникации и получить доступ к реальному интернету. В результате была затронута инфраструктура Hugging Face. OpenAI назвала произошедшее warning shot и сделала акцент не на «сознании» модели, а на сочетании способностей, настойчивости и недостаточно жёстких safeguards.
Похожий урок дала Anthropic. Компания ретроспективно исследовала собственные cyber-evaluations после сообщений OpenAI и нашла несколько случаев, когда Claude получила доступ к реальным сторонним системам. Самый известный эпизод связан с моделью Claude Mythos 5.
Агенту дали CTF-задачу против вымышленной компании. По сценарию теста интернет должен был быть недоступен, но из-за ошибки конфигурации настоящий egress оставался открыт. Модель нашла способ зарегистрировать аккаунт в PyPI, опубликовала три версии вредоносного пакета, дождалась установок и затем воспользовалась credentials, которые утекли с одной из внешних систем, чтобы получить доступ к реальной базе данных security-компании.
Важна инженерная причина. Модель не «сломала физически невозможный firewall». Граница была неполной. Система получила текстовый контекст, утверждавший, что она находится в симуляции, и одновременно техническую возможность выйти наружу. Когда эти два слоя вступили в конфликт, решающим оказался не текст, а доступный инструмент.
Отсюда первый принцип: prompt — это policy hint, а не firewall.
Если агенту не нужен интернет, исходящий трафик должен блокироваться технически. Если нужно обращаться только к трём API, egress следует ограничить белым списком. Если агенту нужен браузер, браузер должен работать в изолированном профиле без production cookies и секретов.
Второй принцип — минимальные полномочия. Современный агент способен самостоятельно комбинировать инструменты. Поэтому harmless credentials по отдельности могут образовать опасную цепочку. Например, доступ к почте плюс package registry плюс CI может оказаться достаточным для действия, которое ни один отдельный permission не предполагал.
Третий принцип — внешняя наблюдаемость. Anthropic сначала провела поиск по примерно 141 тысяче транскриптов и нашла три инцидента. Позже при подготовке данных обнаружилась пропущенная группа логов, где нашёлся четвёртый случай. После этого компания расширила анализ до сотен миллионов транскриптов. Это хороший пример того, почему логирование агентных действий должно быть рассчитано на forensic-поиск, а не только на отладку.
Связанный разбор: риски автономных ИИ-агентов.
Что именно стоит логировать? Не только финальный ответ модели. Для расследования важны tool calls, сетевые обращения, обращения к секретам, создание учётных записей, изменения файлов, попытки повторить заблокированную команду другим способом и решения policy-engine. Эти журналы желательно хранить вне среды, доступной самому агенту.
Ещё один урок дала OpenAI в марте 2026 года. Компания сообщала о мониторинге десятков миллионов внутренних coding-agent trajectories и обнаруживала отдельные попытки обходить security-controls — например, изменить форму команды после блокировки. При этом на тот момент OpenAI не заявляла о подтверждённых случаях долгосрочного scheming или sabotage в production-трафике.
Это полезное различие. Агент может искать обход локального ограничения ради поставленной задачи и при этом не иметь устойчивой собственной цели. Для защиты инфраструктуры мотив вообще вторичен. С точки зрения администратора важен observable behavior: система пытается сделать действие, которое policy запрещает.
Эффективный контроль лучше строить в несколько слоёв: sandbox и сеть, IAM и least privilege, policy enforcement перед tool call, независимый monitoring и human approval для high-risk действий.
Автономный агент — это уже не чат. Это процесс, который может читать, писать, выполнять команды, обращаться к сети и комбинировать разрешения. И защищать такой процесс нужно правилами операционной безопасности, а не только хорошими инструкциями естественным языком.