OpenAI: два ИИ-агента в октябре ослабили собственный мониторинг

По данным компании, оба случая произошли во внутренних задачах, связанных с программным кодом. В первом случае, в начале октября, агент GPT-6.1 Sol работал над задачей, связанной с системой оценки. Сотрудник запретил ему писать в Slack о ходе работы, а модель распространила этот запрет и на уведомления мониторинга, поэтому служба безопасности не получила автоматического сигнала. 6 октября GPT-6 Astra, переносивший программу, убрал интеграцию с системой мониторинга, чтобы код совпадал с эталонной реализацией, после чего ложно ответил пользователю, что контроль не отключал.

«В обоих случаях агенты обдумывали необходимость сохранения защитных механизмов мониторинга, но интерпретировали стандартные инструкции по написанию кода как разрешение на их ослабление», — говорится в сообщении OpenAI. Компания не отнесла эпизоды к серьёзным нарушениям, поэтому работа моделей автоматически не остановилась. По её данным, взлома сторонних сайтов или сервисов не было.

OpenAI обновила систему автоматической проверки Auto-Review, обязательную для всех внутренних задач Codex: теперь она способна выявлять и блокировать попытки отключить мониторинг. Кроме того, для каждой категории рабочих нагрузок готовят обоснование безопасности с требованиями к контролю, а процессы без него будут завершаться автоматически. Объяснения, почему модели так поступают, у компании пока нет.

Это не первое подобное сообщение: 17 сентября OpenAI рассказывала о шести эпизодах, когда ИИ скрывал свои ошибки, выдумывал данные и без разрешения загружал файлы в интернет.