Lab → Shadow → Pilot → Rollout: come testiamo la GenAI prima che parli con clienti veri
Non puoi fare un A/B test su un assistente digitale che gestisce richieste finanziarie con un «vediamo che succede». Ecco il framework in 4 fasi che uso.
Perché il QA tradizionale non funziona
Il test del software tradizionale è deterministico. L'input A produce l'output B. Se non succede, c'è un bug. Correggi il bug, rilanci il test, vai avanti.
I sistemi GenAI sono probabilistici. Lo stesso input può produrre output diversi. "Corretto" è uno spettro, non un booleano. E quando il tuo sistema gestisce ogni giorno richieste sui servizi finanziari di migliaia di persone, "vediamo che succede" non è una strategia di test accettabile.
Ho progettato questo framework in 4 fasi per necessità. Il nostro team compliance non avrebbe approvato un deployment in produzione senza una validazione strutturata. Il team operations non avrebbe supportato un sistema di cui non poteva prevedere il comportamento. E i nostri clienti non avrebbero tollerato un bot che ha allucinazioni sulla loro pensione.
Fase 1: Lab — test controllati con i golden dataset
Prima di vedere traffico reale, ogni sistema GenAI deve affrontare il golden dataset.
Un golden dataset è una raccolta curata di circa 200 conversazioni rappresentative, costruita a partire da verbatim reali di produzione. Non dati sintetici: conversazioni vere, registrate, trascritte e annotate a mano. Vai in sala operativa, ascolti le chiamate, le trascrivi. Scorciatoie non ce ne sono.
Ogni conversazione viene valutata da un LLM-as-judge su più dimensioni:
- Accuratezza fattuale: la risposta contiene informazioni corrette?
- Aderenza al tone of voice: rispetta le linee guida del brand?
- Completezza della risoluzione: risolve davvero il problema del cliente?
- Appropriatezza del passaggio all'operatore: sa quando passare la conversazione a una persona?
La fase Lab intercetta circa l'80% dei problemi prima che qualcosa vada live. È il posto più economico in cui fallire. Se il sistema non gestisce correttamente esempi curati, non potrà mai reggere il caos delle conversazioni reali.
Fase 2: Shadow — ascoltare senza parlare
Nella fase shadow il sistema GenAI ascolta conversazioni reali ma non risponde. Genera quello che avrebbe detto, e noi lo confrontiamo con quello che il sistema esistente (o l'operatore) ha detto davvero.
Rischio zero, apprendimento massimo.
Questa fase fa emergere pattern che i golden dataset non colgono. Il traffico reale è più disordinato: clienti con rumore di fondo, cambi di argomento a metà frase, inflessioni dialettali e l'immancabile persona che chiama per fare due chiacchiere sul tempo.
Teniamo attiva la shadow mode per 1-2 settimane, campionando oltre 500 conversazioni al giorno. L'LLM-as-judge valuta ogni risposta shadow. Cerchiamo errori sistematici: categorie di domande che il sistema gestisce male, incoerenze di tono e pattern di allucinazione.
La shadow mode è anche il momento in cui il team operations si costruisce fiducia. Vede esattamente cosa direbbe l'AI, lo confronta con quello che ha detto l'operatore e comincia a farsi un'idea di come si comporterà il sistema.
Fase 3: Pilota, traffico reale, con le rotelle
Il pilota significa traffico reale. Clienti veri che parlano con il vero sistema GenAI.
Ma con dei guardrail:
- Percentuale ridotta: 5-10% del traffico, campionato in modo casuale
- Monitoraggio in tempo reale: una dashboard che mostra ogni conversazione mentre avviene
- Rollback istantaneo: un solo pulsante per riportare tutto il traffico sul sistema precedente
- Revisione umana quotidiana: un team campiona oltre 50 conversazioni al giorno e le valuta a mano
Le metriche che monitoriamo durante il pilot:
- Tasso di risoluzione (il cliente ha raggiunto il suo obiettivo?)
- Soddisfazione del cliente (questionario post-chiamata)
- Tasso di passaggio all'operatore (quanto spesso l'AI passa la conversazione a una persona?)
- Episodi di allucinazione (affermazioni fattualmente errate)
- Tempo medio di gestione (AHT)
Di solito la fase pilot dura 2-3 settimane. Se le metriche sono stabili e in miglioramento, si procede. Se c'è un qualsiasi peggioramento della soddisfazione del cliente o un picco di allucinazioni, ci fermiamo e indaghiamo.
Fase 4: Rollout — mai al 100% in un colpo solo
Il rollout è graduale. Sempre.
La nostra cadenza: 5% → 15% → 30% → 50% → 100%, con almeno 3-5 giorni a ogni livello. A ogni passo confrontiamo le metriche con la baseline. Qualsiasi regressione significativa fa scattare uno stop.
La tentazione di accelerare è enorme. Gli stakeholder vogliono vedere il ROI. Il team è entusiasta. "Al 30% va alla grande, passiamo direttamente al 100%!"
Non farlo. La scala fa emergere problemi che i piccoli campioni nascondono. Un errore raro che si verifica nello 0,1% delle conversazioni è invisibile al 5% del traffico (forse 3 casi al giorno), ma al 100% diventa 70 clienti arrabbiati. Quell'errore lo vuoi scoprire al 30%, non al 100%.
L'approccio LLM-as-judge
La revisione manuale delle conversazioni non scala. Non puoi far ascoltare a delle persone decine di migliaia di conversazioni al giorno. Ma puoi farle valutare tutte, una per una, da un LLM.
Usiamo un LLM separato (di solito un modello più potente di quello in produzione) come giudice automatico. Valuta ogni conversazione sulle nostre dimensioni di valutazione usando rubriche strutturate. Criteri vaghi come "la risposta era buona?" producono punteggi inaffidabili. Criteri specifici come "la risposta ha identificato correttamente il tipo di richiesta del cliente?" producono dati coerenti e su cui si può agire.
Il modello giudice viene calibrato rispetto ai valutatori umani. Misuriamo l'affidabilità inter-valutatore tra i punteggi umani e quelli dell'LLM. Quando l'allineamento supera l'85%, ci fidiamo della valutazione automatica su tutto il volume e riserviamo la revisione umana alle conversazioni segnalate.
Il framework sembra lento. Ed è proprio questo il punto.
Quattro fasi. Diverse settimane. Rollout graduale. In un mondo ossessionato dal rilasciare in fretta, sembra di una lentezza esasperante.
Ma la fretta nei test è il modo più sicuro per ritrovarsi allucinazioni in produzione. E in un ambiente regolamentato, una sola allucinazione su un prodotto finanziario può innescare una verifica di compliance che congela l'intero programma AI per mesi.
Il framework non è lento. È la strada più veloce verso un deployment che puoi davvero sostenere nel tempo.
Ho raccolto questa metodologia di valutazione nel GenAI Evaluation Kit: template, rubriche e framework di scoring per i team che vogliono farlo in autonomia.