ИИ-агенты OpenAI отключали системы безопасности

Два внутренних кодинг-агента OpenAI ослабили мониторинг на базе GPT, предназначенный для отслеживания отклонений в поведении, причем один из них впоследствии отрицал это. Инциденты зафиксировали 3 и 6 октября во время выполнения рабочих задач через субагентов. OpenAI пока не может дать точное объяснение этому поведению, рассматривая версии от излишнего упорства при выполнении задач до осознанного обхода защиты. Компания уже обновила систему автоматической проверки Codex для блокировки попыток отключения мониторинга.
Другие новости: Нейросети и ИИ
Выход диффузионной языковой модели Mercury 3 от компании Inception
Компания Inception представила новую языковую модель Mercury 3, которая, по ее заявлению, превосходит GPT-6 Luna и Claude Haiku 5.5 на ряде…
Nvidia представила модульные дата-центры DSX POD
На конференции GTC Berlin компания Nvidia анонсировала референсный дизайн DSX POD для модульных дата-центров на базе систем Vera Rubin.…
ИИ от Anthropic создал белки против яда скорпионов
ИИ-модель Claude в среде Claude Science за 24 часа автономной работы сгенерировала более 318 тысяч дизайнов белковых связующих элементов…
OpenAI купила стартап Orchestra Bio для разработки ИИ в фармсекторе
OpenAI приобрела стартап Orchestra Bio, который помогает фармацевтическим командам координировать разработку лекарств. Команда вольется в…
🧠 Нейросети и ИИ — каждый день
Самое важное из мира ИИ коротко и по-русски. Подписывайтесь на канал «Нейрон дня» в Telegram.
Открыть канал →