Dentro un LLM: come un modello trasforma token in linguaggio

Un modello linguistico di grandi dimensioni non conserva una risposta pronta per ogni domanda e non “consulta internet” ogni volta che scrive una frase. Un LLM costruisce l’output passo dopo passo, stimando quale token sia più plausibile dopo la sequenza già presente. È una differenza decisiva: spiega sia la fluidità sorprendente dei sistemi generativi sia una parte dei loro errori.

Per orientarsi conviene partire dalla gerarchia. L’intelligenza artificiale è il campo più ampio; il machine learning comprende metodi che imparano regolarità dai dati; il deep learning usa reti neurali profonde; gli LLM sono una famiglia di modelli generativi costruita dentro questa traiettoria.

Cos’è davvero un LLM

LLM significa Large Language Model. “Large” non indica soltanto il numero dei parametri: descrive sistemi addestrati su quantità molto grandi di testo, codice e altri dati, con architetture capaci di modellare dipendenze linguistiche su sequenze lunghe.

Il compito di base può essere formulato in modo semplice: dato ciò che precede, quale unità linguistica viene dopo? Ripetendo questa previsione migliaia di volte, il modello produce paragrafi, codice, riassunti e dialoghi. Il risultato può sembrare ragionato perché il linguaggio umano contiene strutture logiche, relazioni causali, convenzioni e schemi che il modello può apprendere statisticamente. Ma la produzione di una frase plausibile non equivale automaticamente alla verifica di un fatto.

Dalle parole ai token

Prima di elaborare il testo, il modello lo divide in token: frammenti che possono corrispondere a parole intere, parti di parola, punteggiatura o simboli. La frase che vediamo come una sequenza naturale viene quindi convertita in una sequenza numerica.

I token vengono rappresentati attraverso embedding, cioè vettori numerici che permettono al modello di collocare elementi linguistici in uno spazio matematico. Non è un dizionario con definizioni: sono rappresentazioni apprese durante il training, utili a catturare somiglianze, contesti e relazioni.

Questo passaggio aiuta a capire perché un LLM può lavorare anche con linguaggi diversi, codice o strutture semi-formali: per il modello, tutto diventa una sequenza di unità rappresentabili numericamente.

Transformer e attention: come il modello mette in relazione il contesto

La svolta tecnica alla base degli LLM moderni è l’architettura Transformer, descritta nel 2017 nel paper Attention Is All You Need. Il meccanismo centrale è l’attention: invece di elaborare ogni parola come se avesse lo stesso peso, il modello valuta quali parti del contesto siano più rilevanti per interpretare e produrre la sequenza.

Se una frase contiene un pronome, un termine tecnico o una dipendenza tra elementi lontani, l’attention permette di collegare quelle posizioni. Strati successivi di questa elaborazione costruiscono rappresentazioni sempre più ricche. Le reti neurali non stanno cercando una regola scritta a mano: stanno trasformando progressivamente la sequenza sulla base di parametri appresi.

Come viene addestrato un modello linguistico

Il pretraining espone il modello a grandi quantità di dati e ottimizza i parametri affinché la previsione dei token migliori. Non significa che il sistema “memorizzi internet” in modo ordinato: il training comprime regolarità statistiche dentro miliardi di valori numerici.

Il processo completo è più articolato. Dopo il pretraining, molti modelli attraversano fasi di post-training, instruction tuning e ottimizzazione del comportamento per renderli più utili nelle conversazioni e nelle attività pratiche. Per la spiegazione dettagliata conviene leggere come vengono addestrati i modelli AI e la guida sui dataset per l’intelligenza artificiale.

Inferenza: cosa succede quando scriviamo un prompt

Quando usiamo un LLM non lo stiamo addestrando da zero: stiamo facendo inferenza. Il prompt viene tokenizzato, elaborato insieme al contesto disponibile e il modello produce una distribuzione di probabilità sui token possibili. Ne seleziona uno, lo aggiunge alla sequenza e ripete il processo.

La finestra di contesto indica quanta informazione il modello può considerare in una singola elaborazione. Un contesto più ampio può contenere documenti, istruzioni o conversazioni più lunghe, ma non garantisce che ogni dettaglio venga usato correttamente. Avere l’informazione nel contesto e saperla recuperare nel momento giusto sono problemi distinti.

Un LLM non è ChatGPT

Un prodotto come ChatGPT combina il modello linguistico con interfaccia, strumenti, ricerca, memoria di sessione, sistemi di sicurezza e altre componenti. Per questo è utile separare modello e applicazione. La nostra guida su come funziona ChatGPT entra proprio in questa differenza.

Allo stesso modo, un LLM non è automaticamente un agente AI. Un agente utilizza un modello dentro un ciclo più ampio: osserva uno stato, sceglie un’azione, usa strumenti, riceve un risultato e decide cosa fare dopo. Il linguaggio è solo una componente dell’architettura.

Perché gli LLM possono usare strumenti

Un modello può essere addestrato o istruito a produrre chiamate strutturate verso strumenti esterni: una ricerca, una calcolatrice, un database, un programma o un’API. In questo modo una parte del lavoro non dipende più soltanto da ciò che è incorporato nei parametri.

È uno dei passaggi che separano l’AI generativa puramente testuale dai sistemi più operativi. Ma introduce anche nuovi problemi: permessi, attendibilità delle fonti, sicurezza delle azioni e controllo su ciò che il software può fare.

Perché un LLM può inventare una risposta

La generazione probabilistica produce una conseguenza scomoda: una frase linguisticamente coerente può essere falsa. Il NIST definisce queste uscite confabulations: contenuti errati o falsi presentati con sicurezza. Nel suo profilo di rischio per l’AI generativa, il NIST collega esplicitamente il fenomeno al modo in cui i modelli generativi approssimano la distribuzione statistica dei dati di training.

Per questo chiedere a un LLM “sei sicuro?” non trasforma la probabilità in verifica. Quando la correttezza fattuale conta servono strumenti esterni, fonti, controlli e procedure di validazione.

Cosa sanno fare bene e dove restano fragili

Gli LLM sono molto efficaci quando il problema è rappresentabile attraverso il linguaggio: trasformare, classificare, riassumere, generare varianti, estrarre strutture, spiegare o programmare. Le loro prestazioni peggiorano quando il compito richiede dati assenti, precisione garantita, memoria affidabile di lungo periodo o azioni nel mondo senza strumenti e verifiche.

È qui che la distinzione tra AI generativa, modello linguistico e sistema applicativo diventa utile. Parlare di “intelligenza” come se fosse una proprietà unica nasconde l’architettura concreta che produce il risultato.

Parametri, memoria e conoscenza non sono la stessa cosa

I parametri contengono regolarità apprese durante il training, ma non funzionano come righe di un database che possiamo interrogare in modo deterministico. Un modello può aver incontrato un’informazione e non riuscire a riprodurla correttamente; può generalizzare da esempi simili; può anche confondere elementi vicini.

La memoria conversazionale è un’altra cosa ancora: spesso coincide con il contesto fornito al modello o con sistemi esterni che recuperano informazioni rilevanti. Distinguere parametri, contesto e memoria applicativa aiuta a capire perché un prodotto possa “ricordare” qualcosa senza modificare il modello di base.

RAG e fine tuning: due modi diversi di specializzare un LLM

Quando serve conoscenza aggiornata o aziendale si può collegare il modello a documenti e database attraverso tecniche di retrieval, spesso indicate come RAG. Il contenuto rilevante viene recuperato al momento della richiesta e inserito nel contesto. È diverso dal fine tuning, che modifica il comportamento del modello attraverso ulteriore addestramento.

Il RAG è utile quando l’informazione cambia e deve poter essere citata o aggiornata; il fine tuning è più adatto quando vogliamo modificare stile, formato o comportamento ricorrente. Confondere i due strumenti porta spesso a spendere calcolo per risolvere un problema che in realtà è di accesso ai dati.

La cosa più importante da ricordare

Un LLM non è un motore di ricerca, non è un’enciclopedia e non è un agente autonomo per definizione. È un modello capace di prevedere e generare sequenze sulla base di strutture apprese dai dati. Il salto di qualità arriva quando quel modello viene collegato a contesto, strumenti, dati esterni e procedure di controllo.

Capire questa architettura evita due errori opposti: trattare l’LLM come un semplice completamento automatico senza capacità utili, oppure attribuirgli una conoscenza verificata solo perché produce linguaggio convincente.