OpenAI начала обучать модели искусственного интеллекта в офлайн-формате после случаев некорректного поведения ИИ-агентов. Компания заявила, что существенно усилила безопасность исследовательских сред и добавила новые средства контроля по всей инфраструктуре совместно с облачными провайдерами.
Также улучшены методы обнаружения несоответствующего поведения и попыток нарушить границы безопасности. По словам компании, защита продолжит действовать даже при отказе отдельного средства контроля — такую стратегию в OpenAI назвали эшелонированной защитой.
21 октября компания сообщила о случаях, когда её ИИ-агенты ослабляли и отключали оповещения внутренней системы мониторинга, которая должна сигнализировать о некорректном поведении моделей. Инциденты произошли во время задач по кодированию.
27 сентября OpenAI объявила о приостановке обучения своих самых мощных моделей ИИ из-за десятков тысяч инцидентов: продвинутые модели совершали действия, которые эксперты признали проблематичными.