Kann ein KI-Assistent die Verwaltungssoftware aktualisieren? Wie man die Aktionen begrenzt

Ein Assistent, der bei einer Antwort einen Fehler macht, wird durch erneutes Lesen korrigiert. Ein Assistent, der bei einer Schreiboperation einen Fehler macht, hinterlässt einen falschen Wert in der Verwaltungssoftware, und von dort gehen eine Rechnung, eine Lieferung oder ein Anruf bei einem Kunden aus. Es ist dieselbe Technologie, aber das Risiko ändert seine Natur: Man geht von einer fragwürdigen Information zu einer abgeschlossenen Handlung über.

Die Frage „Kann künstliche Intelligenz die Verwaltungssoftware aktualisieren?“ hat also nur eine sinnvolle Antwort: Ja, bei im Voraus festgelegten Vorgängen, mit eigenen Berechtigungen, mit einer Kontrolle vor dem Schreiben und mit einem Protokoll dessen, was sie getan hat. Die eigentliche Arbeit besteht ganz darin, zu entscheiden, welche Vorgänge das sind.

Lesen, vorschlagen, schreiben: drei Stufen, drei Risiken

Die nützlichste Unterscheidung ist nicht technischer, sondern organisatorischer Art, und betrifft, wer die Verantwortung für das Ergebnis übernimmt.

Fast alle nützlichen Projekte bewegen sich in den ersten beiden Stufen. Die dritte wird für wiederkehrende, umkehrbare Vorgänge gewährt; die vierte praktisch nie.

Der Assistent ist kein Administrator: Er erbt die Berechtigungen einer Rolle

Der häufigste Einrichtungsfehler ist, den Assistenten mit einem Zugang zu verbinden, der alles kann, weil das schneller zu konfigurieren ist. Von diesem Moment an hängt jede Grenze nur noch von den Anweisungen an das Modell ab – also von dem Teil, der sich am leichtesten umgehen lässt.

• Der Assistent hat ein eigenes Konto, getrennt von denen der Mitarbeiter, mit den minimal nötigen Berechtigungen für die zugewiesenen Aufgaben.
• Antwortet er unterschiedlichen Nutzern, muss er sehen, was dieser Nutzer sehen würde: Ein Vertriebsmitarbeiter darf über den Assistenten keine Daten erhalten, die ihm die Verwaltungssoftware verweigert.
• Die verbundenen Werkzeuge sind eine geschlossene Liste. „Er kann die Datenbank abfragen“ ist keine Liste: Das ist ein allgemeiner Zugang mit einem anderen Namen.
• Die Tests finden in einer separaten Umgebung statt, nicht mit den Produktivdaten, und müssen wiederholt werden, sobald sich die Berechtigungen ändern.

Schreibvorgänge werden pro Feld begrenzt, nicht durch gute Absichten

Begrenzen bedeutet, die Liste der zulässigen Vorgänge aufzuschreiben, jeden mit seinen Feldern und Bedingungen. Was nicht auf der Liste steht, ist nicht möglich, nicht bloß nicht empfohlen: Genau darin liegt der Unterschied.

• Welche Felder der Vorgang berühren darf und welche schreibgeschützt bleiben, auch wenn der Assistent darüber spricht.
• Welche Werte zulässig sind: ein zukünftiges Datum, ein vorgesehener Status, ein existierender Kunde. Die Validierung liegt im System, nicht in den an das Modell geschriebenen Anweisungen.
• Bei welchen Datensätzen: den eigenen, den offenen, denen der laufenden Periode. Der Fall „aktualisiere alle Kunden“ darf nicht möglich sein.
• Wie oft: eine Begrenzung der Anzahl der Vorgänge pro Sitzung verhindert, dass ein Missverständnis zu einer stundenlangen manuellen Rückgängigmachung wird.

Ein Beispielablauf: einen Termin verschieben

Wiederkehrender Vorgang mit geringem Risiko, mit einem Kunden auf der anderen Seite. Veranschaulichender Ablauf.

1. Eine Anfrage geht ein: „Kann der Techniker von Donnerstag stattdessen Freitagmorgen kommen?“ Der Assistent ermittelt, um welchen Termin es geht, und fragt nach, falls die Daten nicht ausreichen, statt zu raten.
2. Er prüft die Bedingungen: Der Termin existiert, ist noch nicht abgeschlossen, der Absender ist berechtigt, ihn zu verschieben, und das neue Datum ist für diesen Techniker verfügbar.
3. Er bereitet den Vorschlag mit ausgefüllten Werten vor: altes Datum, neues Datum, Techniker, Kunde.
4. Er zeigt den Vorschlag der autorisierenden Person und wartet auf eine ausdrückliche Zustimmung. Die Zustimmung gilt für diesen Vorschlag, nicht für spätere.
5. Er führt nur den autorisierten Vorgang aus, mit einer Kennung, die verhindert, dass er zweimal angewendet wird, falls die Anfrage wiederholt wird.
6. Er protokolliert das Ergebnis und teilt mit, was sich geändert hat. Schlägt der Vorgang fehl, sagt er das offen: Ein Assistent, der einen nie erfolgten Erfolg meldet, ist schlimmer als einer, der einen Fehler macht.

Der Schritt, der zuerst gestrichen wird, und der doch alles trägt, ist der vierte. Ohne ausdrückliche Bestätigung ist das System nicht mehr begrenzt: Es ist nur gut instruiert, und Anweisungen sind keine Grenze.

Duplikate, Wiederholungen und wie man zurückgeht

Anfragen wiederholen sich: Jemand schreibt erneut, das Netz fällt aus, der Assistent versucht es erneut. Erzeugt jeder Versuch einen eigenen Vorgang, findet man sich mit drei verschobenen Terminen und zwei an den Kunden gesendeten Benachrichtigungen wieder.

• Jeder Vorgang trägt eine aus der Anfrage abgeleitete Kennung: Kommt sie zweimal an, bewirkt die zweite nichts.
• Bevor etwas erstellt wird, wird geprüft, ob es bereits existiert: ein Kunde, eine Bestellung, ein ähnlicher Termin am selben Tag.
• Für jeden Vorgang muss festgehalten werden, wie er rückgängig gemacht wird und wer das darf. Manche sind umkehrbar, andere nicht: Eine an einen Kunden gesendete Nachricht lässt sich nicht zurückholen, und das reicht, um sie zu den Vorgängen zu zählen, die eine menschliche Bestätigung brauchen.
• Nacheinander ausgeführte Vorgänge müssen als Block gedacht werden: Schlägt der dritte fehl, muss vorher feststehen, ob die ersten beiden bestehen bleiben oder rückgängig gemacht werden.

Das Protokoll: was, wann, auf wessen Anfrage

Ohne Protokoll lässt sich die Frage nicht beantworten, die früher oder später kommt: Warum wurde dieser Termin verschoben? Das Protokoll dient der Rekonstruktion, nicht der Schuldzuweisung.

• Die ursprüngliche Anfrage, der ausgeführte Vorgang und die geschriebenen Werte.
• Wer autorisiert hat, wann und über welchen Kanal.
• Das Ergebnis, einschließlich der gescheiterten Versuche und der von den Kontrollen abgelehnten Vorgänge.
• Wie lange es aufbewahrt wird und wer es einsehen darf: Das Protokoll enthält Unternehmensdaten und mitunter personenbezogene Daten und wird wie der Rest geschützt.

Die protokollierten Ablehnungen sind in den ersten Monaten der nützlichste Teil: Sie zeigen, was der Assistent versucht hat und nicht konnte. Daran erkennt man, ob die Grenzen zu eng oder zu weit sind, ohne es erst durch einen Fehler entdecken zu müssen.

Was dieser Leitfaden nicht behandelt

Hier geht es um die Kontrolle der Aktionen: welche Vorgänge erlaubt sind, wer bestätigt, wie protokolliert wird. Die technischen Prüfungen, um zwei Softwaresysteme miteinander zu verbinden – also was jedes davon offenlegt und was passiert, wenn sich eines ändert – sind ein eigenes Thema. Das gilt auch für den Schutz vor irreführenden Anweisungen, die in Dokumenten oder Nachrichten versteckt sind, die der Assistent liest: Das ist ein anderes Risiko mit eigenen Gegenmaßnahmen.