Now Reading: Il pregiudizio entra prima del modello
-
01
Il pregiudizio entra prima del modello
Il bias nell’AI non è soltanto un dataset sbilanciato. Può nascere dalle categorie scelte, dagli obiettivi del sistema, dalle metriche e dal contesto in cui il modello viene usato.
Quando un sistema di intelligenza artificiale produce risultati ingiusti, la spiegazione più comune è: “i dati erano distorti”. È vero solo in parte. Il bias nell’AI può entrare molto prima del dataset e continuare molto dopo l’addestramento.
Il NIST distingue infatti tra bias sistemici, computazionali e umani. È un modo utile per capire che il problema non riguarda soltanto il codice: riguarda l’intero sistema socio-tecnico in cui l’AI viene progettata e usata.
Che cos’è un bias nell’intelligenza artificiale
In senso generale, un bias è una distorsione sistematica. Può portare un modello a funzionare meglio per alcuni gruppi, contesti o casi d’uso e peggio per altri. Non serve che qualcuno abbia programmato deliberatamente una discriminazione.
Un sistema può produrre risultati sbilanciati perché il campione non rappresenta bene la realtà, perché alcune categorie sono state definite male o perché l’obiettivo scelto dall’azienda premia un comportamento che crea effetti indesiderati.
Il bias può nascere già dalla domanda
Prima dei dati c’è una decisione: quale problema vogliamo automatizzare? Se un’azienda decide di prevedere chi sarà un “buon dipendente”, deve trasformare un concetto ambiguo in una metrica. Produttività? Permanenza? Valutazioni dei manager? Promozioni?
Ogni definizione introduce una visione del problema. L’AI non elimina quella scelta: la rende operativa su scala.
I dati non fotografano semplicemente il mondo
I dataset sono selezioni. Alcune informazioni vengono raccolte, altre no; alcune persone sono sovrarappresentate, altre quasi invisibili. Inoltre i dati storici contengono le conseguenze di decisioni umane precedenti.
È uno dei motivi per cui capire come funzionano i dataset AI è essenziale. Un modello può imparare correlazioni reali e, allo stesso tempo, trasformare disuguaglianze storiche in previsioni apparentemente neutrali.
Anche le metriche possono creare distorsioni
Un modello viene ottimizzato rispetto a obiettivi misurabili. Ma scegliere una metrica significa decidere che cosa conta. Massimizzare l’accuratezza media può nascondere errori molto diversi tra sottogruppi. Ridurre i falsi positivi può aumentare i falsi negativi.
Non esiste quindi una sola definizione universale di “equità” che funzioni in ogni contesto. La scelta dipende dal tipo di decisione e dalle conseguenze di un errore.
Il bias può comparire anche dopo il training
Un sistema può essere valutato bene in laboratorio e comportarsi male nel mondo reale. Cambiano gli utenti, il linguaggio, le condizioni operative e gli incentivi. Anche il modo in cui una persona interpreta l’output può introdurre un nuovo livello di distorsione.
Per questo la gestione del bias non è un controllo da eseguire una volta. Richiede monitoraggio, test su gruppi differenti, documentazione e possibilità di contestare le decisioni.
Ridurre il bias non significa rendere l’AI neutrale
La neutralità assoluta è una promessa poco realistica. Un sistema viene sempre costruito per uno scopo e incorpora scelte su dati, categorie, soglie e costi dell’errore. L’obiettivo più serio è rendere queste scelte visibili, misurabili e correggibili.
È una differenza importante: invece di chiedere se l’AI sia “senza pregiudizi”, conviene chiedere quali bias sono stati cercati, come sono stati misurati e chi paga il prezzo quando il sistema sbaglia.
