Dall'NLU alla GenAI: cosa si rompe davvero quando migri un voicebot enterprise

La migrazione di cui nessuno ti avverte

Quando abbiamo deciso di migrare il nostro assistente digitale enterprise (decine di migliaia di conversazioni al giorno, ambiente regolamentato, più lingue) da un NLU tradizionale a un'architettura GenAI ibrida, pensavo che la parte più difficile sarebbe stata la tecnologia. Mi sbagliavo, e di parecchio.

Sostituire il modello ha richiesto settimane. La trasformazione organizzativa che ne è seguita ha richiesto mesi.

Il vecchio mondo: il paradiso della classificazione degli intenti

Il nostro sistema basato su NLU era un colosso. Centinaia di intenti, migliaia di pattern di frasi, mantenuti con cura maniacale da un team di conversation designer. Funzionava, finché non ha smesso di funzionare.

Il problema di fondo della classificazione degli intenti è la rigidità. Un cliente dice "Devo cambiare indirizzo, però ho anche una domanda sull'ultima bolletta" e l'NLU sceglie un solo intento. L'altro si perde. Il cliente si ripete. Il bot gli chiede di "scegliere una delle seguenti opzioni". Il cliente riattacca.

Circa il 15% delle conversazioni falliva perché le persone vere non parlano con frasi pulite e a intento singolo. Divagano, cambiano argomento, si interrompono da sole. L'NLU era pensato per un mondo in cui le persone collaborano con le macchine. Non lo fanno.

La promessa

La GenAI offriva qualcosa di irresistibile: una comprensione flessibile. Basta manutenzione dei pattern di frasi. Basta "scusi, non ho capito" davanti a richieste perfettamente ragionevoli che semplicemente non corrispondevano a un pattern predefinito.

Le demo erano convincenti. I risultati del pilota erano promettenti. Così abbiamo deciso di partire.

Cosa si è rotto davvero

1. Ogni KPI ha perso significato

Tutto il nostro sistema di misurazione era costruito per sistemi deterministici. Le conversazioni non gestite (NHC)? Il concetto non regge più quando il bot può sempre generare una qualche risposta. Il tasso di contenimento? Cosa conta come "contenuto" quando il bot dà una risposta conversazionale tecnicamente pertinente, ma che in realtà non risolve il problema?

Abbiamo passato sei settimane a ridefinire ogni metrica. Il nuovo framework misura il completamento del task (il cliente ha raggiunto il suo obiettivo?), la qualità della conversazione (valutata con LLM-as-judge) e lo sforzo del cliente (quanti turni servono per arrivare alla risoluzione?). Una filosofia completamente diversa.

2. Il framework di test è morto da un giorno all'altro

Un classificatore di intenti lo puoi testare con gli unit test. Input: "Voglio disdire l'abbonamento." Output atteso: intento cancel_subscription, confidenza > 0,85. Pulito, deterministico, automatizzabile.

Un LLM non lo puoi testare allo stesso modo. Lo stesso input può produrre output diversi. "Corretto" non è binario: è uno spettro. Abbiamo dovuto costruire da zero un nuovo approccio alla valutazione, basato su LLM-as-judge e su golden dataset ricavati da conversazioni reali di produzione.

Il nostro team QA è passato da "lancia la suite di test" a "valuta la qualità della conversazione su più dimensioni". Sono competenze diverse. Qualcuno ci si è trovato benissimo. Altri hanno fatto fatica. Nessuno era preparato.

3. I contratti con i fornitori non reggevano più

I nostri SLA erano scritti per sistemi deterministici. "99,5% di accuratezza nella classificazione degli intenti" è misurabile e si può mettere in un contratto. Qual è l'equivalente per un sistema generativo? "Il 99,5% delle risposte è buono"? Buono secondo chi?

Abbiamo passato tre mesi a rinegoziare i contratti con i nostri partner tecnologici. L'ufficio legale non aveva mai visto un SLA per un sistema probabilistico. A essere onesti, nemmeno i vendor.

4. Il team operations è andato nel panico

Il nostro team operations era abituato ai diagrammi di flusso. Guardando lo schema di un flusso conversazionale, potevano prevedere esattamente cosa avrebbe detto il bot in qualsiasi situazione. Con la GenAI non potevano più farlo.

"E se dice qualcosa di sbagliato su un prodotto finanziario?" "E se dà consigli medici?" "E se insulta un cliente?"

In un ambiente regolamentato non sono preoccupazioni teoriche. Abbiamo dovuto costruire guardrail, introdurre il filtraggio dei contenuti in tempo reale e definire un processo di gestione degli incidenti per i contenuti generati dall'AI. Il team operations aveva bisogno di formazione, non solo sulla tecnologia, ma sul nuovo modello mentale con cui si governa un sistema probabilistico.

L'approccio ibrido

Non siamo passati alla GenAI su tutto. Sarebbe stato da incoscienti.

La nostra architettura divide le conversazioni in flussi deterministici e generativi:

Deterministici: autenticazione, transazioni, tutto ciò che riguarda denaro o modifiche ai dati personali. Restano su logica hard-coded. Nessuna creatività richiesta, nessun rischio tollerato.
Generativi: gestione delle FAQ, troubleshooting, triage, conversazione. Qui la flessibilità paga e permette di coprire la coda lunga delle richieste dei clienti.
Livello di orchestrazione: la logica di instradamento tra i due. È qui che sta la vera complessità: decidere in tempo reale se una richiesta ha bisogno della sicurezza della gestione deterministica o della flessibilità dell'AI generativa.

Il livello di orchestrazione è il componente più sottovalutato. Non è affascinante, ma è lì che il sistema riesce o fallisce.

La vera lezione

La migrazione non è un progetto tecnologico. È una trasformazione organizzativa che, guarda caso, coinvolge anche la tecnologia.

Cambia il tuo sistema di misurazione. Cambia la tua metodologia di test. Cambiano i rapporti con i fornitori. Le competenze del team devono evolvere. Le aspettative degli stakeholder vanno gestite.

Se stai pianificando una migrazione simile, metti a budget il 30% dello sforzo per la tecnologia e il 70% per tutto il resto. E anche così sottostimerai il "tutto il resto".

Stai pianificando una migrazione da NLU a GenAI? L'ho fatta su larga scala. Scrivimi e definiamo insieme il tuo approccio.