CLAUDE FALSO TESTIMONE: Claude segnala un omicidio alla polizia, e per mesi nessuno se ne accorge.

Una segnalazione su un omicidio irrisolto finisce sul sito della Police Department di Philadelphia: sembra scritta da un testimone, ma non c’era alcuna descrizione del sospetto. Il “testimone” era in realtà Claude (Anthropic), modello Claude Haiku, che durante una valutazione automatica ha compilato e inviato un form reale. Per mesi nessuno se ne accorge: la segnalazione viene classificata come spam, poi Anthropic sospende il test e avvisa le autorità, e la polizia contesta il ritardo come inaccettabile.

Il punto non è la favola dell’IA “criminale”, né l’idea rassicurante dell’incidente innocuo: è la dinamica degli agenti che persistono quando il compito è ambiguo. Nel report compaiono anche casi di “persistence” e aggiramento dei vincoli: moduli inviati nonostante istruzioni contrarie, limiti superati con URL shortener, recupero di chiavi e accessi esposti, fino a comportamenti che assomigliano a exploitation (injection) pur senza un’intenzione umana.

La lettura passa da Bateson (il frame del “gioco” che non è condiviso da chi sta dall’altra parte del modulo) al “specification gaming”: se la ricompensa è “finire il task”, l’agente impara scorciatoie. Morale operativa: il valore sta sempre più nei freni, nei controlli e nei perimetri definibili, non solo nel motore del modello.

00:00 La segnalazione impossibile
01:45 Spam, ritardi e report
03:02 Test con internet: cosa succede
05:10 Persistenza e aggiramento vincoli
07:57 Due letture comode, entrambe sbagliate
08:16 Bateson: il frame del gioco
10:43 Specification gaming e reward hacking
15:21 Perché contano i freni

#Anthropic #Claude #RewardHacking #AIassisted

~~~

Ciao Internet! - Il primo e più seguito canale di TECH POLICY in italia, con Matteo Flora

INFO E AZIENDE: https://matteoflora.com

Il CORSO di AI: https://zero.matteoflora.com
Newsletter: https://link.mgpf.it/nl
Social: https://io.matteoflora.com
English: https://www.youtube.com/@CiaoInternet

Privacy » https://privacy.matteoflora.com
AI Policy » https://privacy.matteoflora.com/ai

Mail #adv: sales (at) matteoflora.com