ИИ-аудиторы находят нарушения агентов, но дают много ложных тревог

Новое исследование исследователя Антони Холла показало, что модели ИИ успешно выявляют проблемное поведение других агентов по логам, но чем тщательнее они ищут нарушения, тем больше безвредных действий принимают за подозрительные. При пятипроцентном уровне ложных тревог GPT-5 поймал почти 98 процентов случаев «reward hacking», тогда как Gemini 3.8 Flash обнаружил едва ли половину, а более новые и дорогие модели не показали стабильного превосходства. Автор исследования пришел к выводу, что из-за обилия ложных срабатываний такие аудиторы лучше подходят для оценки масштаба проблем, чем для надежного контроля безопасности.