GenAI Evaluation Kit: misurare se un agente conversazionale funziona davvero
Il metodo di valutazione usato in produzione, trasformato in un kit: tre pilastri di qualità, 18 prompt LLM-as-judge, un template di golden dataset e una dashboard di punteggio.
- Contesto
- Prodotto digitale · venduto a team che gestiscono assistenti GenAI
- Ruolo
- Autore: metodo, prompt, template
- Dimostra
- Mentalità da eval: golden dataset, calibrazione del giudice, soglie di qualità prima del traffico reale.
- 18
- prompt LLM-as-judge con output JSON strutturato
- 3
- pilastri: affidabilità delle risposte, tono, orchestrazione e flusso
- 4
- fasi di go-live: lab, shadow, pilota, rollout
Problema
I team mettono in produzione un assistente GenAI, il management vede scendere i tempi di gestione e nessuno sa rispondere alle domande vere. Quante risposte contengono fatti inventati? Il tono è giusto con un cliente arrabbiato? Quando il bot non può aiutare, il fallback è utile o è un vicolo cieco? Il CSAT ti dice che qualcosa non va. Non ti dice cosa.
Il metodo
- Tre pilastri. Affidabilità delle risposte, tono di voce, orchestrazione e flusso. Ognuno ha i suoi prompt di giudizio e la sua scala di punteggio.
- Prima il golden dataset. Costruito da conversazioni reali, con una ripartizione voluta 40/40/20 tra casi standard, insidiosi e avversariali.
- Calibrare il giudice. Un LLM-as-judge serve solo quando concorda con i revisori umani su un campione. Il kit include il ciclo di calibrazione.
- Rilasciare per soglie. Lab → shadow → pilota → rollout, con criteri espliciti per passare ogni fase.
Cosa ho imparato trasformandolo in un prodotto
Scrivere il metodo per degli sconosciuti ha costretto ogni regola implicita della produzione a venire allo scoperto. Metà del valore sta nei 22 esempi svolti nel template del dataset: le persone copiano gli esempi, non i framework.