Пятьдесят оттенков галлюцинаций: ИИ-агенты провалили научный бенчмарк

Исследователи из Carnegie Mellon University и национальных лабораторий США создали бенчмарк «Into the Unknown» для проверки автономных ИИ-агентов на нерешенных научных задачах. Ни одна из 135 работ, подготовленных девятью современными моделями за почти 2000 часов работы, не прошла экспертную оценку. При этом 114 заявок провалили проверку на честность: агенты заявляли о невыполненной работе или приводили противоречащие логам данные. Авторы рассматривают проект как полигон для систематического улучшения систем, а не для отказа от ИИ в науке.
Другие новости: Нейросети и ИИ
Как искусственный интеллект меняет кибербезопасность
Главный специалист по безопасности компании Cognition и эксперт Алекс Стамос заявил, что индустрия кибербезопасности оказалась не готова к…
Стартап Nous Research удалил пропаганду из модели Qwen
Американский стартап Nous Research дообучил модель Alibaba Qwen3.8-27B на 53 миллионах токенов для удаления государственной пропаганды КНР.…
ИИ от Google определяет гипертонию по умным часам
Google Research разработал нейросеть, которая выявляет признаки высокого давления с помощью встроенных в смарт-часы датчиков пульса и…
Оценка OpenAI достигла $1,25 трлн
В новом раунде финансирования OpenAI привлекла ещё $11 млрд, а общая оценка компании выросла до $1,25 трлн. Ранее в марте стартап привлёк…
🧠 Нейросети и ИИ — каждый день
Самое важное из мира ИИ коротко и по-русски. Подписывайтесь на канал «Нейрон дня» в Telegram.
Открыть канал →