E-Mails mit KI sortieren: Klassifizierung, Zuweisung und Umgang mit Ausnahmen

Ein System, das eingehende Post liest und sortiert, funktioniert bei normalen Nachrichten gut. Das Problem ist, dass die zeitraubenden E-Mails nicht normal sind: die mehrdeutigen, die dreimal weitergeleiteten, die, bei denen die Information im Anhang steckt und der Text nur „wie vereinbart“ sagt. An diesen entscheidet sich, ob das System Arbeit abnimmt oder hinzufügt.

Die nützliche Frage ist nicht, ob ein Modell E-Mails lesen kann, denn das kann es. Sie lautet: Was überlassen wir ihm zur eigenständigen Entscheidung, was darf es nur vorschlagen, und wo landet das, was es nicht verstanden hat?

Die Kategorien: wenige, klar unterschieden, mit einem Empfänger

Die Kategorien sind keine Ontologie Ihres Unternehmens: Sie sind die Liste der Wege, die eine Nachricht nehmen kann. Führen zwei Wege zum selben Schreibtisch und zur selben Arbeit, sind es ein einziger Weg.

• Eine Kategorie existiert, wenn sich dadurch ändert, wer die Nachricht übernimmt, oder was danach passiert. Andernfalls ist sie ein dekoratives Label.
• Jede Kategorie hat einen operativen Empfänger: eine Person oder eine Gruppe, die antwortet, nicht eine allgemeine Adresse, die alle lesen und niemand betreut.
• Es muss eine Kategorie „zu prüfen“ geben, und sie zu verwenden darf nicht als Versagen des Systems gelten: Das ist das korrekte Verhalten bei einer mehrdeutigen Nachricht.
• Die Priorität ist ein von der Kategorie getrenntes Attribut. Eine dringende Reklamation und eine gewöhnliche Reklamation landen am selben Ort, nur in anderer Reihenfolge.

Was es entscheiden kann und was es nur vorschlagen darf

Das Kriterium für die Verteilung der Verantwortung ist ein einziges: wie teuer die Korrektur eines Fehlers im Nachhinein ist. Ist die Korrektur sofort und sichtbar, kann die Automatik entscheiden. Verbreitet sich der Fehler unbemerkt in anderen Systemen, nicht.

Die Zeile zur Datenextraktion wird am häufigsten übersprungen, weil sie auch die meiste Zeit einspart. Der praktikable Kompromiss besteht darin, den extrahierten Wert neben der Stelle in der Nachricht anzuzeigen, aus der er entnommen wurde, sodass die Bestätigung eine Sekunde statt einer erneuten Lektüre erfordert.

Die Nachrichten, an denen wirklich getestet werden muss

Eine Teststichprobe aus ordentlichen E-Mails beweist nichts. Die nützliche Stichprobe entsteht, indem man aus dem echten Postfach die Fälle nimmt, bei denen auch eine erfahrene Person langsamer wird.

• Die Nachricht mit zwei unterschiedlichen Anliegen: eine Bestellung und eine Reklamation in derselben E-Mail.
• Die Weiterleitung mit dem gesamten Verlauf darunter, bei der die eigentliche Anfrage in den ersten drei Zeilen steht und der längere Text der alte ist.
• Die Antwort einer Person auf eine automatische Benachrichtigung, die mit einem völlig unpassenden Betreff ankommt.
• Der Anhang, der die Information enthält, während der Nachrichtentext leer ist oder nur „siehe Anhang“ sagt.
• Der Anhang, der ein schiefes Foto eines Dokuments ist, mit dem Schatten der Hand darauf.
• Die Nachricht mit dem falschen Betreff, weil der Absender auf eine alte E-Mail geantwortet hat, statt eine neue zu schreiben.
• Die unvollständige Anfrage: Der Code fehlt, die Adresse fehlt, die Menge fehlt.
• Die automatischen Nachrichten: Abwesenheitsmeldungen, Zustellfehler, Servicemitteilungen von Lieferanten.

Bestätigen vor den Aktionen, die zählen

Die menschliche Bestätigung funktioniert, wenn sie schnell geht. Erfordert sie, die Nachricht erneut zu öffnen, den Wert zu suchen und neu einzutragen, hören die Mitarbeiter auf zu prüfen und fangen an, ungesehen zu genehmigen – die schlimmste aller Situationen.

• Neben jedem extrahierten Wert die Stelle in der Nachricht anzeigen, aus der er stammt.
• „Nicht gefunden“ von „gefunden, aber unsicher“ unterscheiden: Das sind zwei Situationen, die unterschiedliche Maßnahmen erfordern.
• Die Korrektur eines Felds ermöglichen, ohne die gesamte Verarbeitung neu zu starten.
• Einen Schwellenwert festlegen, unter dem die Nachricht in jedem Fall zur Prüfung geht, gemeinsam mit den Mitarbeitern festgelegt und nach den ersten Wochen überarbeitet.

Die Prüfwarteschlange: wo die unklaren Fälle landen

Alles, was das System nicht löst, muss an einem einzigen Ort landen, mit einem Verantwortlichen und einer von Ihnen festgelegten maximalen Verweildauer. Eine Warteschlange ohne Verantwortlichen macht das System zu einem zweiten Ort, an dem Anfragen verloren gehen: Das ist die häufigste Art, die Ausgangslage zu verschlechtern.

• Jede Korrektur wird protokolliert: was das System vorgeschlagen hatte, was richtig war, wer korrigiert hat.
• Die Korrekturen werden nach Typ gezählt, nicht einzeln: Sie zeigen, wo das System systematisch falsch liegt.
• Die Warteschlange hat eine erwartete Größe. Wächst sie, ist das keine Frage der Geduld: Es ist ein Signal, dass die Kategorien oder Schwellenwerte nicht funktionieren.

Wiederkehrende Fehler korrigieren

1. Die Korrekturen in der Anfangsphase am Ende jeder Woche nach Typ gruppieren.
2. Drei Ursachen unterscheiden: schlecht definierte Kategorie, fehlende Information in der Nachricht, Fehler im System.
3. An der richtigen Ursache ansetzen. Eine schlecht definierte Kategorie wird gemeinsam mit den Mitarbeitern neu gefasst, nicht durch immer längere Anweisungen ausgeglichen.
4. Vor der erneuten Inbetriebnahme an derselben Stichprobe testen, um zu prüfen, dass funktionierende Fälle nicht kaputtgegangen sind.

Fehlt die Information in der Nachricht, kann kein Modell sie ableiten. In diesem Fall greift man vorgelagert ein: Das Formular der Website fragt nach dem Code, die automatische Signatur des Kunden enthält die Referenz, der Lieferant erhält Hinweise, wie er den Betreff schreiben soll.

Wann sich die Automatisierung nicht lohnt

• Wenn das Volumen niedrig ist und eine Person das Postfach in wenigen Minuten abarbeitet: Die eingesparte Zeit gleicht die Überwachung nicht aus.
• Wenn die Kategorien zwischen den Abteilungen noch umstritten sind: Das System würde eine Uneinigkeit automatisieren.
• Wenn niemand die Prüfwarteschlange täglich betreuen kann.
• Wenn das Postfach besonders sensible Daten erhält und noch nicht entschieden wurde, wer sie sehen darf, wo sie liegen und wie lange sie bleiben.
• Wenn der nachgelagerte Prozess bereits unordentlich ist: schneller in eine Unordnung zu sortieren erzeugt schneller Unordnung.

In mehreren dieser Fälle ist der gangbare Weg enger und nützlicher: nicht alles zu sortieren, sondern nur eine klar definierte Kategorie mit hohem Volumen, und den Rest so zu lassen, wie er heute ist.

Was dieser Leitfaden nicht behandelt

Hier geht es um die Interpretation elektronischer Post: Kategorien, Tests, Grenzen automatischer Entscheidungen. Wie Anfragen aus verschiedenen Kanälen – Website, E-Mail, Messaging, Telefon – erfasst werden, ohne dass welche verloren gehen, wird im entsprechenden Leitfaden behandelt. Auch die Extraktion von Daten aus strukturierten Dokumenten mit den dafür nötigen Prüfungen hat einen eigenen Leitfaden.