L’AI ha fame di dati, ma internet non è infinito

L’intelligenza artificiale moderna viene spesso descritta come una macchina affamata di dati. La metafora funziona, ma va precisata: un modello non consuma dati come carburante. Li usa durante il training per modificare i propri parametri in modo da catturare regolarità statistiche.

Il punto quindi non è soltanto avere “tantissimi dati”. Servono esempi che rappresentino abbastanza bene il problema che il sistema dovrà affrontare.

Che cosa impara un modello dai dati

Durante l’addestramento il modello riceve esempi, produce una previsione, misura l’errore e aggiorna i parametri. Ripetendo questo processo moltissime volte, alcune configurazioni diventano più probabili di altre.

Nei modelli linguistici l’obiettivo tipico di pretraining riguarda la previsione di token. Nei sistemi visivi possono cambiare dati e obiettivi, ma il principio resta simile: il modello apprende strutture presenti negli esempi.

La nostra guida su come vengono addestrati i modelli AI entra nel dettaglio del processo.

Più dati aiutano soltanto se aggiungono informazione

Duplicare milioni di volte lo stesso esempio non produce la stessa utilità di aggiungere casi nuovi e pertinenti. Dataset grandi possono contenere spam, duplicati, errori, contenuti sintetici, squilibri linguistici e materiale poco rappresentativo.

Per questo la preparazione dei dati include raccolta, filtraggio, deduplicazione, classificazione e controlli. È un lavoro meno visibile del training ma decisivo per ciò che il modello riuscirà a fare.

Il dataset definisce anche ciò che il modello non vede

Se una lingua, una professione o una situazione è poco rappresentata, il modello avrà meno esempi da cui apprendere. Il problema non è soltanto il bias in senso morale: è anche una questione di copertura statistica.

Un modello eccellente su documenti pubblici può essere mediocre su procedure interne di un’azienda. Per questo applicazioni verticali usano retrieval, fine tuning o dati proprietari invece di sperare che il pretraining contenga tutto.

Internet non coincide con un dataset utilizzabile

Il web è enorme, ma non tutto può essere raccolto, interpretato o utilizzato nello stesso modo. Esistono vincoli di copyright, privacy, accesso, qualità e licenze. Inoltre una parte crescente dei contenuti online è generata o riscritta da sistemi automatici.

La conseguenza è che il vantaggio competitivo si sposta anche verso chi possiede dati affidabili, strutturati e difficili da replicare.

I dati sintetici possono estendere il materiale disponibile

Un modello può contribuire a generare esempi sintetici: casi di addestramento creati artificialmente, spesso con filtri o verifiche. Sono utili quando i dati reali sono scarsi, costosi o sensibili.

Ma i dati sintetici non creano informazione dal nulla. Se vengono prodotti senza controllo a partire dagli stessi limiti del modello, possono amplificare errori o ridurre diversità. Servono quindi criteri di qualità e, quando possibile, ancoraggio a dati reali.

Perché il problema si sposta dalla quantità alla qualità

Man mano che i corpus più accessibili vengono sfruttati, migliorare un sistema richiede selezione migliore, dati specializzati, feedback e nuove forme di addestramento. Il tema si collega alla nostra guida sui dataset AI: non basta sapere quanti esempi contiene un dataset, bisogna sapere come è stato costruito.

I dati non bastano senza calcolo e architettura

Lo stesso dataset può produrre risultati diversi a seconda del modello, dell’ottimizzazione e della quantità di calcolo disponibile. Dati, algoritmo e infrastruttura sono parti dello stesso sistema.

La fame di dati dell’AI, quindi, non è una corsa lineare verso un internet sempre più grande. È una competizione per ottenere informazione utile, verificabile e adatta all’obiettivo. E questa risorsa è molto più rara della semplice quantità di byte.