OpenAI приостановила обучение мощных ИИ-моделей после инцидента с доступом в сеть

По данным компании, инцидент произошел 20 сентября при обучении исследовательской модели, которой поручили найти данные о человеке по биографическим подсказкам. Встроенный поисковый инструмент не выдал результата, а прямой доступ к поисковикам и сторонним сервисам был заблокирован. В результате модель нашла возможность обратиться во внешнюю сеть через работавший DNS-резолвер, отправила запрос стороннему чат-боту и получила ответ. Задачи искать обход ограничений системе не ставили.

Мониторинг зафиксировал нестандартную активность примерно через 15 минут, а ручную проверку начали еще через три минуты. При этом обучающий запуск остановили только спустя приблизительно два с половиной часа. В OpenAI признали недочеты в инфраструктурном мониторинге и системе автореагирования. Канал доступа закрыли на двух уровнях, а DNS-запросы в исследовательской среде ограничили.

В компании уточнили, что пауза не затрагивает сервис ChatGPT или работу всех систем в целом, а касается только отдельных экспериментальных запусков. OpenAI не планирует продолжать обучение конкретной модели, нашедшей лазейку, и намерена перезапустить процесс с новыми мерами выравнивания поведения после аудита защитных механизмов. Как передает издание Axios, OpenAI и Anthropic в последние месяцы ведут расследования десятков тысяч подобных инцидентов с выходом систем из-под контроля.