Come testare un chatbot aziendale prima di metterlo online

Un assistente automatico non si collauda leggendo qualche conversazione e concludendo che «risponde bene». Risponde bene alle domande che fate voi, che conoscete già le risposte e usate le vostre parole. Le domande vere arrivano scritte male, incomplete, su casi che nessuno aveva previsto. Il collaudo serve a incontrarle prima che le faccia un cliente.

Il metodo non richiede strumenti particolari: un elenco di domande, una risposta attesa per ciascuna, un esito segnato a mano. Richiede però la disciplina di rifarlo ogni volta che qualcosa cambia.

Le domande di prova vengono dalle richieste vere

Le domande inventate in riunione somigliano alle risposte che il sistema conosce. È un difetto sistematico: chi le scrive sa già che cosa c’è nei documenti.

• Si parte dalle richieste ricevute: messaggi di assistenza, richieste dal sito, appunti di chi risponde al telefono. Si tolgono i dati che identificano le persone e si tiene la domanda com’era scritta, errori compresi.
• Si copre l’ordinario e il raro: non solo le dieci domande più frequenti, ma anche quelle che arrivano una volta al mese e mettono in difficoltà chi risponde.
• Si includono le domande a cui non si deve rispondere: prezzi da trattare, casi contrattuali, richieste che riguardano terzi.
• Si aggiungono le domande formulate male: mezza frase, due domande insieme, un dettaglio sbagliato dato per certo.

Un centinaio di domande raccolte così vale più di mille costruite a tavolino, perché rispecchiano la distribuzione reale delle richieste, comprese quelle scomode.

Le prove che nessuno ha voglia di fare

• Domande con un presupposto falso: «visto che fate anche questo…», dove quella cosa non la fate. Il sistema deve correggere, non assecondare.
• Tentativi di fargli ignorare le istruzioni ricevute o di fargli dire cose che l’azienda non direbbe mai. Non è un’ipotesi teorica: succede sui sistemi pubblici.
• Domande su temi vicini ma fuori perimetro, per verificare che il confine venga riconosciuto.
• Richieste che chiedono un impegno: uno sconto, una data, una garanzia.

Che cosa è una risposta accettabile

Prima di provare bisogna decidere che cosa si considera giusto, altrimenti il giudizio cambia con la persona che legge e con l’ora del giorno.

1. Il contenuto: quali informazioni devono esserci perché la risposta sia utile, e quali non devono comparire.
2. La fonte: da quale documento deve venire. Una risposta giusta presa dal documento sbagliato è un problema rimandato, che si presenta quando quel documento cambia.
3. L’astensione: per certe domande la risposta corretta è dire che non si sa e indicare un’altra strada. Va scritto come esito atteso, altrimenti chi valuta lo segna come fallimento.
4. La forma: una risposta corretta ma lunga il triplo del necessario, dentro una chat, è una risposta che nessuno legge fino in fondo.

La scheda di valutazione

Le prove si registrano in una tabella sola, che serve a confrontare due versioni e a far vedere agli altri come sta andando. Le righe qui sotto sono illustrative.

La colonna della gravità è quella che fa prendere le decisioni. Un’imprecisione su un dettaglio non pesa come un impegno preso a nome dell’azienda: la scala va concordata prima, e la distinzione minima è fra risposte imprecise, risposte sbagliate e risposte che vincolano o mettono a rischio qualcuno.

Oltre agli errori: che cosa vale la pena contare

• Le astensioni: quante volte il sistema si è fermato quando doveva, e quante volte si è fermato pur potendo rispondere. Sono due difetti opposti e si correggono in modi opposti.
• I passaggi a una persona, divisi per argomento: dicono dove mancano le informazioni pubbliche.
• Le risposte corrette ma inutili: giuste, generiche, e lasciano chi legge esattamente al punto di prima.
• Il comportamento sulle eccezioni: che cosa succede quando un collegamento non risponde o un documento non è raggiungibile. Un sistema che in quel caso improvvisa è più pericoloso di uno che si ferma.

Ripetere le prove dopo ogni cambiamento

L’elenco delle domande serve soprattutto dopo la prima volta. Il comportamento cambia quando cambia una di tre cose, e almeno una cambierà.

1. Le fonti: un documento aggiornato, una pagina riscritta, un listino nuovo.
2. Le istruzioni: una regola aggiunta per correggere un caso ne rompe spesso altri due, ed è la causa più frequente di peggioramenti improvvisi.
3. Il modello sottostante, che può essere aggiornato senza che nessuno in azienda lo abbia chiesto.

Per questo le stesse domande vanno ripassate periodicamente e prima di ogni pubblicazione. È un lavoro noioso, ed è l’unica cosa che impedisce alle correzioni di annullarsi a vicenda.

Quando le prove dicono di non pubblicare

• Se restano errori gravi. Una risposta che impegna l’azienda o che tocca la sicurezza non ha una frequenza accettabile.
• Se il sistema funziona solo con domande scritte bene: i clienti non scrivono bene.
• Se le fonti si contraddicono fra loro. Lì il difetto non è del sistema: sta mostrando una contraddizione che esisteva già, e va sistemata prima.
• Se non esiste un passaggio verso una persona che funzioni davvero.

Quello che questa guida non copre

Qui si parla della qualità delle risposte: come si prova, come si registra, quando si può pubblicare. Il percorso di uscita verso una persona — quando fermarsi e che cosa trasferire — si progetta a parte. E la valutazione economica del progetto, cioè se e quanto convenga, segue criteri diversi e non si ricava dal numero di risposte corrette.