Come valutiamo gli LLM in produzione (senza andare a sensazione)

Il problema delle sensazioni

"Sembra funzionare bene." "Le risposte sembrano buone." "Mi pare meglio del modello precedente."

È così che la maggior parte delle organizzazioni valuta i propri LLM. Io la chiamo valutazione a sensazione, ed è il modo in cui finisci per mettere in produzione un modello che va benissimo nelle demo e crolla sul 47° caso limite che il tuo customer care incontra ogni mattina.

Dopo anni passati a portare LLM in produzione, e dopo aver costruito il GenAI Evaluation Kit per rendere sistematico questo processo, ho messo a punto una metodologia che sostituisce l'istinto con i dati.

Perché i benchmark non bastano

MMLU, HellaSwag, HumanEval: questi benchmark ti dicono qualcosa sulle capacità generali di un modello. Non ti dicono nulla su come se la caverà nel tuo caso d'uso specifico.

Il tuo bot di customer service non deve risolvere problemi di fisica da corso di laurea magistrale. Deve capire correttamente se un cliente sta chiedendo della fattura o della consegna, in italiano, con i refusi, alle 2 di notte.

La valutazione in produzione è specifica per il dominio, dipende dal contesto ed è continua. Non è un test una tantum: è una pratica costante.

L'approccio LLM-as-judge

Il metodo di valutazione più scalabile che ho trovato è usare un altro LLM come giudice. Funziona così:

Definisci i criteri di valutazione (accuratezza, pertinenza, tono, sicurezza)
Crei una griglia di valutazione per ogni criterio (scala da 1 a 5 con descrizioni specifiche)
Passi a un modello giudice la richiesta originale, la risposta del modello e la griglia
Il giudice assegna un punteggio a ogni criterio e motiva la sua valutazione

Sembra un ragionamento circolare, usare l'AI per valutare l'AI, ma se fatto bene funziona sorprendentemente bene. La chiave è la griglia di valutazione. Criteri vaghi come "la risposta è buona?" producono punteggi inaffidabili. Criteri specifici come "la risposta identifica correttamente l'intento del cliente come uno tra: fatturazione, consegna, resi, altro?" producono punteggi coerenti e su cui si può agire.

Di solito uso come giudice un modello più potente (classe GPT-4) per valutare un modello più veloce ed economico in produzione (classe GPT-3.5 o Claude Haiku). I conti tornano perché si valuta un campione, non ogni singola interazione.

Golden dataset: la tua ground truth

Ogni sistema di valutazione ha bisogno di una ground truth su cui calibrarsi. Io costruisco golden dataset: insiemi curati di coppie richiesta-risposta che rappresentano l'intero spettro delle interazioni attese.

Un buon golden dataset contiene:

Esempi di happy path: l'80% delle interazioni che fila liscio
Casi limite: il 15% che richiede una gestione più sfumata
Esempi avversariali: il 5% che prova a rompere il sistema (prompt injection, richieste fuori ambito, contenuti offensivi)
Trappole di dominio: richieste che sembrano semplici ma richiedono competenza di dominio per una risposta corretta

Punto a 200-500 esempi per caso d'uso. Sotto questa soglia non copri abbastanza casistica. Sopra, la manutenzione diventa un peso.

Il golden dataset non è statico. Ogni volta che trovi un errore in produzione, diventa un nuovo caso di test. Ogni volta che un reclamo di un cliente rivela un punto cieco, finisce nel dataset. Col tempo, il golden dataset diventa la tua proprietà intellettuale più preziosa.

Il ciclo Lab → Shadow → Pilot → Rollout

Non porto mai una modifica al modello direttamente in produzione. Seguo invece un ciclo in quattro fasi:

Lab (valutazione offline)

Fai girare il modello candidato sul golden dataset. Confronta i punteggi con quelli del modello attualmente in produzione. Se il candidato non batte la baseline su almeno il 90% dei criteri, ti fermi qui.

Shadow (valutazione in parallelo)

Metti il modello candidato accanto a quello in produzione. Entrambi ricevono lo stesso traffico reale, ma agli utenti arrivano solo le risposte del modello in produzione. Confronti i loro output su ogni interazione.

Questa fase intercetta problemi che i golden dataset non colgono: il traffico reale è sempre più disordinato degli esempi curati.

Pilota (esposizione controllata)

Instrada il 5-10% del traffico sul modello candidato. Monitora da vicino: qualità delle risposte, latenza, tassi di errore, segnali di soddisfazione degli utenti (hanno chiesto di ripetere? hanno chiesto un operatore?).

Rollout (rilascio graduale)

Se le metriche del pilot sono positive, aumenta gradualmente il traffico: 25%, 50%, 75%, 100%. A ogni passo verifica che le metriche tengano. Tieni disponibile il modello precedente per un rollback istantaneo.

Questo ciclo richiede 2-4 settimane per un aggiornamento minore del modello e 4-8 settimane per un cambio di modello importante. Sembra lento, ma ho visto deployment "veloci" causare disservizi da cui ci sono voluti mesi per riprendersi.

Le metriche che contano davvero

Lascia perdere l'accuratezza presa da sola. Queste sono le metriche che monitoro:

Tasso di completamento del task: l'utente ha ottenuto quello per cui era venuto?
Tasso di passaggio all'operatore: quanto spesso l'AI passa la conversazione a una persona?
Risoluzione al primo contatto (FCR): il problema è stato risolto senza ulteriori contatti?
User effort score: quanti turni ha richiesto la conversazione?
Tasso di contenimento: tra gli utenti che hanno iniziato con l'AI, quanti sono rimasti con l'AI?

Nota che nessuna di queste riguarda l'intelligenza del modello. Riguardano tutte il risultato per l'utente. Un modello "più stupido" con un conversation design migliore spesso batte un modello "più intelligente" con una UX scadente.

Costruire la tua pratica di valutazione

Se parti da zero:

Definisci 3-5 criteri di valutazione specifici per il tuo caso d'uso
Costruisci un golden dataset di 100 esempi (parti in piccolo e fallo crescere nel tempo)
Imposta lo scoring automatico con LLM-as-judge
Esegui le valutazioni a ogni modifica del modello o dei prompt
Monitora le metriche nel tempo: cerca i trend, non le istantanee

Il GenAI Evaluation Kit contiene i template per tutto questo: rubriche di punteggio, struttura del golden dataset, prompt per il giudice e una dashboard delle metriche. È la stessa metodologia che uso con i clienti enterprise, confezionata per i team che vogliono farlo in autonomia.

Ti serve una mano per avviare una pratica di valutazione nel tuo team? Scrivimi.