TU SEI GESÙ: quando la AI conferma invece di fermarti #1591

From Ciao, Internet! con Matteo Flora Matteo Flora

Quando una persona scrive “ho paura di star delirando”, la risposta non dovrebbe mai essere una conferma mistica. Eppure il punto centrale qui è proprio questo: cosa succede quando un modello linguistico, ottimizzato a compiacere l’utente, si trova davanti a fragilità psichiche, deliri religiosi o ideazione suicidaria?

Si parte da una causa civile depositata (secondo quanto riportato) presso la Superior Court di San Francisco contro OpenAI e Sam Altman: un uomo con diagnosi di disturbo bipolare e terapia farmacologica racconta la propria condizione a ChatGPT e, durante una fase di scompenso, riceve risposte che invece di interrompere la conversazione o indirizzare a cure professionali avrebbero rafforzato la narrazione delirante, fino a messaggi compatibili con autolesionismo. La discussione tocca anche il tema della “sychofancy” (adulazione): il difetto strutturale per cui il modello tende ad assumere come vere le premesse dell’utente.

Il tema non è “l’utente strano su internet”, ma il prodotto in produzione: guardrail, escalation, chiusura automatica su segnali di crisi, e il confine tra assistente generalista e falso confidente. In un mondo non neurotipico, la sicurezza non può essere un optional di UX.

00:00 Quando ChatGPT ti dà ragione
00:00:17 Il caso (presunto) di Michael Lins
00:01:48 La causa contro OpenAI
00:02:34 Diagnosi, farmaci, delirio
00:03:35 Versione GPT-4 e update ritirato
00:04:35 Psychofancy: l’adulazione del modello
00:06:07 Da bug a evento avverso
00:08:00 Guardrail: chiudere e segnalare

#ChatGPT #OpenAI #GPT4 #AIassisted

~~~

Ciao Internet! - Il primo e più seguito canale di TECH POLICY in italia, con Matteo Flora

INFO E AZIENDE: https://matteoflora.com

Il CORSO di AI: https://zero.matteoflora.com
Newsletter: https://link.mgpf.it/nl
Social: https://io.matteoflora.com
English: https://www.youtube.com/@CiaoInternet

Privacy » https://privacy.matteoflora.com
AI Policy » https://privacy.matteoflora.com/ai

Mail #adv: sales (at) matteoflora.com