Новый бенчмарк CloudOpsBench оценивает ИИ в облачном DevOps

Исследователи из Университета Мичигана представили открытый бенчмарк CloudOpsBench 1.0 для тестирования ИИ-агентов на 45 типовых задачах в AWS. Лучшие результаты показали Claude Fable 5.1 и GPT-6 Astra, решившие 60% и 53% задач соответственно. Главным узким местом ИИ оказался недостаток навыков рассуждения: около 80% сбоев связаны с неверной оценкой масштаба задач и пропуском связанных сервисов, а 20% — с ошибочными действиями.
Другие новости: Нейросети и ИИ
Nothing анонсировала первое ИИ-устройство без экрана
Глава Nothing Карл Пей сообщил, что компания выпустит свой первый ИИ-гаджет в декабре этого года. Устройство не получит экран и не будет…
OpenAI научила ChatGPT создавать GIF-анимации
В ChatGPT появилась встроенная функция генерации GIF-анимаций по текстовому запросу или загруженному фото в рамках обновления модели Images…
ИИ-агенты заказали всего 4 поездки в Uber за квартал
Руководство Uber сообщило, что в третьем квартале 2026 года сторонние ИИ-агенты организовали только четыре поездки на платформе. Заказов…
Anthropic представила прототип FlashProve для проверки ИИ-ответов
Anthropic выпустила исследовательский прототип FlashProve, использующий криптографию zkSNARK для подтверждения того, что ответ сгенерирован…
🧠 Нейросети и ИИ — каждый день
Самое важное из мира ИИ коротко и по-русски. Подписывайтесь на канал «Нейрон дня» в Telegram.
Открыть канал →