GIUDICE, ASSOLVIMI! In Brasile un avvocato ha provato a corrompere un giudice AI... #1562

Un avvocato prova a “ipnotizzare” l’LLM del tribunale infilando istruzioni invisibili (bianco su bianco) dentro un atto: quando il giudice chiede un riassunto, il modello esegue anche i comandi nascosti e produce un’analisi distorta. Qui non c’è magia: è prompt injection applicata a un contesto ad altissimo impatto, dove un riassunto sbagliato può influenzare decisioni, tempi e responsabilità.

Il punto chiave è strutturale: per molti modelli linguistici tutto ciò che entra nel contesto è testo “allo stesso livello”, quindi contenuto e istruzioni diventano indistinguibili. È la versione operativa del problema descritto dall’esperimento della “stanza cinese” di John Searle: manipolazione di simboli senza comprensione semantica e senza un confine affidabile tra “documento” e “comando”. Per questo la prompt injection non è solo un bug: è un pattern che riappare in PDF, email, browser, strumenti di sviluppo e workflow aziendali.

La conseguenza pratica è una nuova superficie d’attacco: non vieni colpito tu, viene colpito l’assistente che legge al posto tuo. Se l’abitudine diventa “non leggo l’originale, leggo il riassunto”, allora ogni catena documentale si porta dietro un terzo attore non autorizzato: ciò che il file sussurra al modello mentre tu guardi altrove.

00:00 Il trucco bianco su bianco
01:20 Cos’è la prompt injection
02:08 Il caso in tribunale
04:10 Dalla scuola ai paper
06:10 Email, IDE, browser, Slack
09:12 Perché non si risolve
09:45 Searle e stanza cinese
14:43 Regola: AI come stagista

#PromptInjection #StanzaCinese #LLMSecurity