KI-Pilotprojekt: Ziel, Stichprobe und Abschlussentscheidung festlegen

Ein Pilotprojekt dient dazu, eine Frage zu beantworten, nicht zu beweisen, dass künstliche Intelligenz funktioniert. Der Unterschied zeigt sich am Ende: Wurden die Kriterien vorher festgelegt, ist das Ergebnis eine Entscheidung; werden sie nachträglich formuliert, ist es eine Interpretation, und dann gewinnt, wer in der Besprechung besser redet.

Dieser Leitfaden zeigt, wie ein solcher Test organisiert wird: was hineingehört, was gemessen wird, wer ihn überwacht und wie am Ende entschieden wird.

Zuerst: die Frage, auf die das Pilotprojekt antwortet

„Schauen wir, ob KI uns helfen kann“ ist keine Frage, weil es keine Antwort gibt, die sie abschließt. Eine brauchbare Frage hat eine Tätigkeit, ein Subjekt und eine überprüfbare Bedingung.

• Wenn ein System die ersten Antworten auf Supportanfragen vorbereitet, schafft es die Abteilung, die Vorgänge des Tages noch am selben Tag abzuschließen?
• Wenn Lieferantendokumente automatisch gelesen werden, wie viele landen trotzdem bei einer Person?
• Wenn wiederkehrende Angebote mit Unterstützung erstellt werden, sinkt die Vorbereitungszeit, ohne dass die Fehler bei den Beträgen zunehmen?

Jede dieser Fragen kann eine negative Antwort erhalten, und genau darum geht es. Ein Pilotprojekt, das nicht scheitern kann, ist kein Test: Es ist eine Präsentation.

Der Rahmen: was hineingehört und was draußen bleibt

Das ist der Teil, den man dazu neigt, weit zu fassen, und genau das ist der Fehler, der die Ergebnisse unlesbar macht. Je weiter der Rahmen ist, desto weniger lässt sich erkennen, worauf das Geschehen zurückzuführen ist.

• Die Tätigkeit: eine einzige, klar abgegrenzte. Nicht „der Kundensupport“, sondern „die per E-Mail eingehenden Anfragen zum Bestellstatus“.
• Die Nutzenden: eine kleine, namentlich benannte Gruppe, die bereit ist, Probleme zu melden, statt sie stillschweigend zu umgehen.
• Die Daten: welche Quellen, mit welchen Berechtigungen, und was nicht verwendet werden darf.
• Die ausdrücklichen Ausschlüsse: die Fälle, die das System nicht bearbeiten darf und die sofort an eine Person weitergeleitet werden müssen, zum Beispiel Reklamationen, vertragliche Fragen, Kunden in Streitfällen.

Der Zeitraum muss so gewählt werden, dass eine ausreichende Anzahl von Fällen hineinpasst, um etwas aussagen zu können, und mindestens ein typischer Unternehmenszyklus: Verändert der Monatsabschluss die Arbeitsweise, muss das Pilotprojekt ihn durchlaufen.

Der Ausgangszustand wird vorher festgehalten

Ohne einen Ausgangspunkt gibt es keinen Vergleich, und ihn nachträglich zu rekonstruieren führt immer zu bequemen Zahlen. Bevor irgendetwas startet, messen Sie, wie heute gearbeitet wird: wie viel Zeit die Tätigkeit erfordert, wie viele Fälle bearbeitet werden, wie viele Fehler oder Nacharbeiten auftreten, wie lange gewartet wird.

Existiert eine Messung nicht, muss sie einige Wochen lang von Hand erstellt werden: Zwei Personen, die Zeiten und Fälle auf einem Blatt notieren, liefern eine nützlichere Referenz als eine aus dem Gedächtnis geschätzte Zahl. Das ist echte Arbeit und gehört in den Plan, nicht überraschend hinzugefügt.

Der Pilotprojekt-Bogen

Er passt auf eine Seite. Das Beispiel dient nur zur Veranschaulichung und betrifft das automatische Einlesen eingehender Dokumente.

Die beiden am schlechtesten ausgefüllten Zeilen sind fast immer „außerhalb des Rahmens“ und „Abnahmekriterien“: die erste, weil sie einschränkend wirkt, die zweite, weil sie zwingt, vorab zu sagen, was als Erfolg gilt. Genau diese beiden machen den Test entscheidbar.

Überwachung und Auffälligkeiten während des Tests

Während des Pilotprojekts muss jemand hinschauen, nicht nur nutzen. Es braucht einen festen Termin — wöchentlich ist angemessen —, an dem die schiefgelaufenen Fälle durchgesehen werden und entschieden wird, ob sie korrigierbar sind oder auf etwas Tieferliegendes hinweisen.

• Jedes Ergebnis wird weiterhin von einer Person geprüft: Das Pilotprojekt ist nicht der Moment, um die Kontrolle aufzugeben.
• Auffälligkeiten werden in einer einzigen Liste gesammelt, mit dem konkreten Fall im Anhang: Ohne das reale Beispiel lässt sich nichts korrigieren.
• Es muss vorab festgelegt werden, was den Test stoppt: ein Fehler, der einen Kunden erreicht hat, ein Datensatz, der dorthin gelangt ist, wo er nicht hingehörte, ein Korrekturaufwand, der größer ist als die ersparte Arbeit.
• Während des Tests vorgenommene Änderungen müssen mit Datum vermerkt werden, sonst lässt sich am Ende nicht mehr feststellen, auf welche Version sich die Ergebnisse beziehen.

Entscheiden: ausweiten, korrigieren, abbrechen

Die Abschlussbesprechung muss bereits zu Beginn terminiert werden, mit den entscheidungsbefugten Personen bereits eingeplant. Es gibt drei mögliche Ausgänge, und keiner von ihnen ist ein Misserfolg.

1. Ausweiten: Die Kriterien sind erfüllt. Es folgt die Festlegung, wer das System pflegt, wer bei Fehlern verantwortlich ist und was passiert, wenn sich eine Datenquelle ändert.
2. Korrigieren und wiederholen: Das Ergebnis ist nah dran, aber ein bestimmter Fall hält nicht stand. Es wird genau einmal wiederholt, mit demselben Rahmen und einer erklärten Änderung.
3. Abbrechen: Der Nutzen bleibt aus, oder es kostet mehr als die manuelle Bearbeitung. Der Grund wird schriftlich festgehalten, damit in einem Jahr niemand denselben Test erneut vorschlägt, ohne zu wissen, wie er ausgegangen ist.

In die Rechnung müssen alle Kosten einfließen, nicht nur der Aufbau: die Wartung, die Kontrollen durch Personen, die Zeit derjenigen, die korrigieren. Ein System, das eine halbe Stunde spart und zwanzig Minuten Kontrolle erfordert, hat einen schmalen Spielraum, und das muss gesagt werden, bevor es jemand allein herausfindet.

Was dieser Leitfaden nicht behandelt

Hier geht es um die Organisation des Tests. Die Wahl, welche Tätigkeit ins Pilotprojekt aufgenommen wird — wie die Kandidaten miteinander verglichen und nach welchen Kriterien geordnet werden — ist ein vorgelagerter Schritt und hat einen eigenen Leitfaden. Auch die Überprüfung eines Gesprächsassistenten, bevor er Kunden zur Verfügung gestellt wird, folgt einer eigenen Methode.