Progetto pilota AI: come definire obiettivo, campione e decisione finale

Un progetto pilota serve a rispondere a una domanda, non a dimostrare che l’intelligenza artificiale funziona. La differenza si vede alla fine: se i criteri sono stati scritti prima, il risultato è una decisione; se vengono scritti dopo, è un’interpretazione, e vince chi parla meglio in riunione.

Questa guida riguarda come si organizza la prova: che cosa ci si mette dentro, che cosa si misura, chi la sorveglia e come si decide alla fine.

Prima cosa: la domanda a cui il pilota risponde

«Vediamo se l’AI può aiutarci» non è una domanda, perché non esiste una risposta che la chiuda. Una domanda utile ha un’attività, un soggetto e una condizione verificabile.

• Se un sistema prepara le prime risposte alle richieste di assistenza, l’ufficio riesce a chiudere entro la giornata le pratiche del giorno?
• Se i documenti dei fornitori vengono letti automaticamente, quanti finiscono comunque in mano a una persona?
• Se i preventivi ripetitivi vengono compilati con assistenza, il tempo di preparazione scende senza che aumentino gli errori sugli importi?

Ognuna di queste domande può ricevere una risposta negativa, e questo è il punto. Un pilota che non può avere esito negativo non è una prova: è una presentazione.

Il perimetro: che cosa entra e che cosa resta fuori

È la parte che si tende a lasciare larga, ed è l’errore che rende i risultati illeggibili. Più il perimetro è ampio, meno si capisce a che cosa attribuire quello che succede.

• L’attività: una sola e delimitata. Non «l’assistenza clienti», ma «le richieste sullo stato dell’ordine che arrivano per posta».
• Gli utenti: un gruppo ristretto e indicato per nome, disposto a segnalare i problemi invece di aggirarli in silenzio.
• I dati: quali fonti, con quali permessi, e che cosa non deve essere usato.
• Le esclusioni esplicite: i casi che il sistema non deve trattare e che vanno passati subito a una persona, per esempio reclami, questioni contrattuali, clienti in contenzioso.

Il periodo va scelto in modo che dentro ci stia una quantità di casi sufficiente a dire qualcosa, e almeno un ciclo tipico dell’azienda: se la chiusura mensile cambia il modo di lavorare, il pilota deve attraversarla.

La situazione iniziale si registra prima

Senza un punto di partenza non c’è confronto, e ricostruirlo alla fine porta sempre a numeri di comodo. Prima di accendere qualsiasi cosa, misurate come si lavora adesso: quanto tempo richiede l’attività, quanti casi si trattano, quanti errori o rilavorazioni si verificano, quanto si aspetta.

Se una misura non esiste, va costruita a mano per qualche settimana: due persone che annotano tempi e casi su un foglio danno un riferimento più utile di una stima fatta a memoria. È lavoro vero e va messo nel piano, non aggiunto a sorpresa.

La scheda del pilota

Sta in una pagina. L’esempio è illustrativo e riguarda la lettura automatica dei documenti in arrivo.

Le due righe compilate peggio sono quasi sempre «fuori perimetro» e «criteri di accettazione»: la prima perché sembra limitante, la seconda perché obbliga a dire in anticipo che cosa si considera un successo. Sono esattamente le due che rendono la prova decidibile.

Supervisione e anomalie durante la prova

Durante il pilota qualcuno deve guardare, non solo usare. Serve un momento fisso — settimanale va bene — in cui si leggono i casi andati male e si decide se sono correggibili o se dicono qualcosa di più profondo.

• Ogni risultato resta verificato da una persona: il pilota non è il momento per togliere il controllo.
• Le anomalie si raccolgono in un elenco unico, con allegato il caso concreto: senza l’esempio reale non si corregge niente.
• Va definito in anticipo che cosa fa fermare la prova: un errore arrivato a un cliente, un dato uscito da dove non doveva, un carico di correzioni superiore al lavoro risparmiato.
• Le modifiche fatte durante la prova vanno annotate con la data, altrimenti alla fine non si saprà a quale versione si riferiscono i risultati.

Decidere: estendere, correggere, interrompere

La riunione finale va fissata all’inizio, con le persone che decidono già impegnate. Le uscite possibili sono tre, e nessuna delle tre è un fallimento.

1. Estendere: i criteri sono soddisfatti. Si passa a definire chi mantiene il sistema, chi risponde quando sbaglia e che cosa succede se una fonte di dati cambia.
2. Correggere e ripetere: il risultato è vicino ma un caso specifico non regge. Si ripete una volta sola, con lo stesso perimetro e una modifica dichiarata.
3. Interrompere: il beneficio non c’è, o costa più della lavorazione manuale. Si scrive il perché, in modo che fra un anno nessuno riproponga la stessa prova senza sapere com’era andata.

Nel conto va messo tutto il costo, non solo la costruzione: la manutenzione, le verifiche delle persone, il tempo di chi corregge. Un sistema che fa risparmiare mezz’ora e ne richiede venti minuti di controllo ha un margine sottile, e va detto prima che qualcuno lo scopra da solo.

Quello che questa guida non copre

Qui si tratta l’organizzazione della prova. La scelta di quale attività portare al pilota — come si confrontano fra loro i candidati e con quali criteri si mettono in ordine — è un passaggio precedente e ha una guida propria. Anche la verifica di un assistente conversazionale prima di renderlo disponibile ai clienti segue un metodo dedicato.