Quando l’AI inventa: perché le allucinazioni non sono un incidente

Un modello linguistico può inventare una fonte, attribuire una frase alla persona sbagliata o costruire una spiegazione perfettamente plausibile che non corrisponde ai fatti. Il problema è che spesso lo fa con lo stesso tono con cui dà una risposta corretta.

Questi errori vengono chiamati allucinazioni dell’AI. Il NIST preferisce anche il termine confabulation: contenuti falsi o incoerenti generati e presentati come se fossero affidabili. Non sono un comportamento misterioso. Sono legati al modo in cui funzionano i modelli linguistici.

Che cosa significa “allucinazione” nell’AI

Un’allucinazione è un output plausibile ma falso. Può essere una data, un nome, una citazione, un riferimento bibliografico, una spiegazione causale o un dettaglio tecnico che il modello non possiede realmente.

La caratteristica più insidiosa è che la forma linguistica non segnala necessariamente l’errore. Una frase falsa può essere fluida, coerente e formulata con grande sicurezza.

Perché i modelli inventano informazioni

Durante il pre-addestramento un modello impara soprattutto a prevedere quale elemento linguistico dovrebbe seguire a quelli precedenti. Non riceve per ogni frase del web un’etichetta universale “vero” o “falso”. Impara regolarità statistiche del linguaggio e dei dati.

Questo permette di produrre testo utile, ma crea una distinzione fondamentale: plausibilità linguistica e verità fattuale non coincidono. OpenAI ha inoltre evidenziato un secondo problema: molti sistemi di valutazione premiano la risposta corretta, ma non premiano abbastanza l’ammissione di incertezza. In alcuni contesti, quindi, “provare a indovinare” può risultare statisticamente conveniente.

Quando il rischio aumenta

Le allucinazioni diventano più probabili quando la domanda riguarda fatti rari, informazioni molto recenti, dettagli non presenti nel contesto o richieste che presuppongono qualcosa di falso. Anche i prompt lunghi possono contenere contraddizioni che spingono il modello a scegliere una narrazione coerente invece di fermarsi.

Il rischio cresce soprattutto quando chiediamo al modello di ricordare una fonte precisa senza fornirgliela. Per questo un’AI può essere ottima nel riassumere un documento disponibile e molto meno affidabile nel ricostruire a memoria una bibliografia.

Ricerca e strumenti riducono il problema, non lo eliminano

Collegare un modello a un motore di ricerca, a un database o a documenti aziendali può ridurre il margine di invenzione. Lo stesso vale per tecniche di retrieval e verifica. Ma anche in questi casi restano possibili errori: il sistema può interpretare male la fonte, scegliere quella sbagliata o citare correttamente un documento traendone una conclusione errata.

Un modello più grande non risolve automaticamente il problema. La qualità dipende anche da dati, addestramento, strumenti, valutazioni e dal modo in cui il sistema comunica l’incertezza.

Come usare l’AI quando i fatti contano

La regola pratica è semplice: separare generazione e verifica. Per brainstorming, riscrittura o organizzazione delle idee, un errore fattuale può essere poco costoso. Per salute, diritto, finanza, ricerca o giornalismo, invece, una risposta deve essere verificata su fonti primarie.

Chiedere link, distinguere ciò che il modello sa da ciò che deduce e controllare le affermazioni chiave è più utile che domandargli genericamente di “non inventare”.

Il problema non è che l’AI mente

Dire che un modello “mente” attribuisce un’intenzione che il sistema non ha. Il problema più concreto è diverso: un generatore di linguaggio può produrre una risposta convincente anche quando non possiede basi sufficienti per sostenerla. È questa distanza tra sicurezza espressiva e affidabilità che bisogna imparare a riconoscere.

Fonti

• NIST, AI Risk Management Framework
• OpenAI, Perché i modelli linguistici hanno allucinazioni