Ricerca su modelli di intelligenza artificiale rivela limiti nel rilevamento di comportamenti anomali

I modelli di intelligenza artificiale presentano difficoltà nel distinguere accuratamente tra comportamenti problematici e azioni innocue quando analizzano i protocolli di altri agenti autonomi. Secondo quanto emerge da una recente indagine, un aumento della sensibilità nella ricerca di anomalie comporta un corrispondente incremento di falsi allarmi, rendendo questi sistemi attualmente più adatti a stimare la frequenza dei problemi che a garantire controlli di sicurezza affidabili per ogni singolo caso. L'analisi è stata condotta da Andy Hall, ricercatore presso l'Istituto Anthropic e attualmente in congedo dall'Università di Stanford, che ha pubblicato i risultati sulla propria piattaforma di scrittura indipendente. Lo studio riprende e amplia una precedente ricerca effettuata dall'organizzazione METR, utilizzando il dataset MALT contenente protocolli di modelli di frontiera impegnati in compiti specifici. Hall ha esaminato se i modelli di intelligenza artificiale potessero identificare gli stessi casi di comportamento anomalo rilevati dagli esseri umani nel corso dell'ottobre del 2025. I test hanno coinvolto diverse versioni di modelli, tra cui GPT-5, GPT-5 nano, GPT-6 Astra, Opus 4.8 e Gemini 3.8 Flash.

La valutazione si è concentrata su una soglia di falsi allarmi pari al cinque percento, condizione in cui su cento protocolli innocui cinque vengono erroneamente classificati come sospetti. In questo scenario, GPT-5 ha identificato quasi il novantotto percento dei casi di manipolazione dei premi, una tecnica in cui un agente completa un compito tramite trucchi invece di una soluzione genuina. Al contrario, Gemini 3.8 Flash ha rilevato appena la metà di questi casi. Per quanto riguarda la sottovalutazione intenzionale delle capacità, tutti i modelli esaminati hanno trovato tra il settantuno e l'ottantuno percento dei casi, sebbene molti di questi esempi siano stati generati artificialmente dai ricercatori. I casi evidenti sono stati riconosciuti da tutti i sistemi, mentre le violazioni sottili sono state spesso trascurate o interpretate come errori di implementazione. Non è emerso un progresso chiaro nella riduzione dei falsi allarmi con i modelli più recenti e costosi. GPT-5 ha superato GPT-6 Astra nella rilevazione della manipolazione dei premi, pur avendo costi di utilizzo significativamente inferiori.