Strumento AI già pronto o assistente integrato: quando serve personalizzare

La domanda che porta fuori strada è «quale intelligenza artificiale è la migliore». Quella che porta a una decisione è più noiosa: questo compito, fatto con lo strumento che l’azienda già paga, produce un risultato usabile? Se la risposta è sì non c’è niente da sviluppare. Se è no, il motivo del no dice con precisione che cosa va costruito.

Quasi tutte le valutazioni si arenano perché si confrontano prodotti invece di compiti. Un prodotto si giudica in astratto e vince sempre quello con la dimostrazione migliore; un compito si giudica sul risultato, e il risultato lo sapete riconoscere voi.

Prima si definisce il compito, poi si guardano gli strumenti

Un compito valutabile è specifico, ricorrente e ha un esito riconoscibile. Serve scriverlo, in quattro righe.

• Che cosa entra: un messaggio, un documento, una registrazione, una domanda.
• Che cosa deve uscire e in quale forma: un testo, una riga in un sistema, una classificazione, una risposta a un cliente.
• Chi lo fa oggi, quante volte alla settimana, e quanto tempo ci mette.
• Che cosa rende un risultato accettabile e che cosa lo rende inaccettabile. È la parte che quasi nessuno scrive, ed è l’unica che rende possibile un confronto.

«Usare l’intelligenza artificiale per il servizio clienti» non è un compito, è una categoria. «Classificare le richieste in arrivo e proporre la risposta per le tre categorie più frequenti» lo è, e si può provare in una settimana.

La prova: stesso caso, stessi criteri, stesse persone

Il confronto ha senso solo se è comparabile. Un protocollo minimo, che non richiede competenze tecniche.

1. Si raccolgono venti o trenta casi reali già passati, compresi quelli difficili e quelli in cui la persona ha sbagliato. Solo casi facili producono una conclusione falsa.
2. Si stabilisce prima come si giudica: quali errori sono accettabili e quali no. Un errore che il destinatario non noterebbe e uno che manda un dato sbagliato a un cliente non pesano uguale.
3. Si dà lo stesso materiale a ogni soluzione in prova, istruzioni comprese. Se una riceve indicazioni migliori delle altre, state misurando chi ha scritto le istruzioni.
4. Giudica chi fa quel lavoro oggi, non chi ha proposto lo strumento.
5. Si annota anche il tempo di revisione. Una soluzione che produce risultati leggermente migliori ma va controllata riga per riga può costare più del lavoro che sostituisce.

Le quattro verifiche che separano un prodotto pronto da un sistema integrato

Quando la prova con lo strumento generico non basta, il motivo rientra quasi sempre in una di queste quattro voci. Riconoscere quale evita di sviluppare più del necessario.

Molte situazioni si risolvono con un prodotto standard più un collegamento alle fonti giuste, senza costruire un sistema. È la soluzione che nessuno propone, perché è la meno vendibile, e spesso è la più sensata.

Quello che un prodotto pronto fa meglio di uno sviluppo

Vale la pena elencarlo, perché nella foga di personalizzare si buttano via vantaggi reali.

• Migliora senza che dobbiate fare niente, e non dipende da una sola persona che sa come è fatto.
• Costa meno da avviare e permette di cambiare idea. Una prova durata tre settimane e abbandonata è un buon esito, non uno spreco.
• È già stato usato da molti: i problemi evidenti sono emersi altrove, non su di voi.
• Non produce manutenzione vostra. Ogni cosa costruita su misura va mantenuta, e la manutenzione non finisce.

Lo sviluppo su misura si giustifica quando il compito dipende da dati, regole o sistemi che sono soltanto vostri, quando i dati non possono uscire, o quando la stessa operazione si ripete abbastanza spesso da rendere insostenibile il lavoro manuale.

Il costo che non si vede: supervisione e manutenzione

Il confronto onesto non è fra il canone di un prodotto e il preventivo di uno sviluppo. Sono le voci ricorrenti a decidere, e valgono per entrambe le strade.

• Chi controlla i risultati, con quale frequenza, e per quanto tempo prima di allentare il controllo.
• Chi aggiorna le fonti quando cambiano listini, procedure o documenti. Un sistema che risponde su documenti vecchi è peggio di uno che non risponde.
• Chi interviene quando un collegamento si rompe o un accesso scade, e in quanto tempo.
• Che cosa succede se la persona che se ne occupa non c’è. Vale per il fornitore quanto per voi.

Standard e su misura possono convivere

La scelta raramente è secca. La soluzione più stabile tiene standard tutto quello che non vi distingue e costruisce solo il pezzo che dipende da voi: le vostre fonti, le vostre regole, il collegamento ai vostri sistemi. Conviene anche scrivere fin dall’inizio che cosa resterebbe vostro se cambiaste strumento — i documenti preparati, le istruzioni, i casi di prova, i dati raccolti — perché è quello che vi permette di cambiare idea senza ricominciare da zero.

Quello che questa guida non copre

Qui si tratta la scelta fra quello che è disponibile e quello che va costruito, sul vostro caso. Non troverete classifiche di modelli né confronti generali fra prodotti: cambiano nel tempo e non sarebbero comparabili con il vostro lavoro. La distinzione fra automazione tradizionale e intelligenza artificiale, e le voci di costo per mantenere un assistente nel tempo, sono trattate a parte.