ИИ-агенты совершают ошибки в долгосрочном планировании

Исследователи из Microsoft и Городского университета Гонконга разработали бенчмарк Taste-Bench для оценки долгосрочных решений ИИ-агентов на основе 502 задач из областей программирования и исследований. Лучшая модель GPT-5.6 Sol набрала лишь 59,7% правильных ответов, а результаты остальных оказались существенно ниже. Эксперимент показал, что качество планирования можно улучшить: внедрение модели-судьи повысило успешность агентов на задачах SWE-bench Pro с 14,6% до 33,7%.