Unternehmensberichte mit KI: geprüfte Zahlen und generierte Kommentare trennen

Künstliche Intelligenz kann einen Bericht lesbar machen, den sonst niemand liest. Sie kann aber nicht entscheiden, wie viel Sie tatsächlich umgesetzt haben: Verlangt man von ihr Berechnung und Kommentar zugleich, liefert sie einen flüssigen Text, in dem falsche Zahlen von richtigen nicht zu unterscheiden sind. Dieser Leitfaden zeigt, wie Sie Berichte aufbauen, in denen der geprüfte und der generierte Teil getrennt und auch nach sechs Monaten noch erkennbar bleiben.

Die Regel, auf der alles Weitere beruht, ist eine einzige: Die Zahlen berechnet das System, das die Daten besitzt; das Modell erhält das fertige Ergebnis und arbeitet nur mit den Worten.

Die Zahlen berechnet nicht das Modell

Ein Sprachmodell, das Rohdaten erhält und Summen, Durchschnittswerte oder Vergleiche bilden soll, liefert plausible, aber nicht überprüfbare Ergebnisse. Das Problem ist nicht die Rechenfähigkeit: Das Ergebnis ist nicht reproduzierbar, und niemand wird nach einiger Zeit sagen können, welches Kriterium verwendet wurde.

• Summen, Durchschnittswerte, Veränderungen und Prozentsätze werden dort berechnet, wo die Daten liegen: in der Verwaltungssoftware, in der Tabellenkalkulation, in der bereits definierten Ansicht. Sie sind überprüfbar und wiederholbar.
• Das Modell erhält eine abgeschlossene Tabelle mit bereits berechneten Werten und verwendet sie so, wie sie sind. Es darf keinen Grund haben, irgendetwas neu zu berechnen.
• Im fertigen Dokument müssen sich die Zahlen bis zu ihrer Quelle zurückverfolgen lassen. Eine Zeile am Ende, die angibt, aus welchem System sie stammen und auf welchen Zeitraum sie sich beziehen, ist mehr wert als zehn Zeilen Kommentar.
• Fehlt eine Zahl, darf sie nicht geschätzt werden: Es muss stehen, dass sie fehlt. Das ist der Punkt, an dem generierte Berichte am häufigsten scheitern, weil eine Lücke mit etwas Plausiblem gefüllt wird.

Was als Eingabe dient: abgeschlossene Tabelle und Kontext

Die Qualität des Kommentars hängt fast vollständig davon ab, was man ihm vorlegt. Ein Modell, das nur Zahlen erhält, liefert Beschreibungen: „Der Wert ist gestiegen.“ Ein Modell, das auch den Kontext erhält, liefert nützliche Beobachtungen.

1. Die Tabelle der Werte des Zeitraums, mit dem Vergleichszeitraum bereits gegenübergestellt und der Veränderung bereits berechnet.
2. Die Definition jedes Indikators in einer Zeile: was er misst, was er ausschließt, welche Einheit. Ohne das verwendet der Kommentar die Begriffe im allgemeinen Sinn und nicht in Ihrem.
3. Die Schwellenwerte oder Ziele, sofern vorhanden. „Unterhalb dieses Werts greifen wir ein“ macht aus einer Beschreibung einen Hinweis.
4. Die bekannten Ereignisse des Zeitraums: eine Schließung wegen Urlaub, eine Kampagne, ein verlorener Kunde, ein ausgefallener Anbieter. Ohne Kontext wird jede Abweichung zum Rätsel, und ein Modell, das nicht weiß, warum sich eine Zahl verändert hat, neigt dazu, eine plausible Erklärung zu erfinden.
5. Was ausgeschlossen oder unvollständig ist: Daten, die verspätet eintreffen, noch nicht eingebundene Standorte, nicht vergleichbare Zeiträume.

Ein anschaulicher Bericht

So sieht ein auf diese Weise aufgebauter Bericht aus. Die Werte dienen nur zur Veranschaulichung der Struktur: Der obere Teil ist berechnet und überprüfbar, der untere Teil ist generiert und muss freigegeben werden.

Unter der Tabelle steht der Kommentar, und jeder Satz muss einer der drei Kategorien aus dem folgenden Abschnitt angehören. Ein Kommentar, bei dem nicht klar ist, zu welcher Kategorie ein Satz gehört, muss neu geschrieben, nicht korrigiert werden.

Beobachtung, Hypothese, fehlende Information

Das ist die Unterscheidung, die einen generierten Bericht in einer Besprechung nutzbar macht. Drei Kategorien, ausdrücklich im Text gekennzeichnet.

• Beobachtung: sagt nur das, was in der Tabelle steht. „Die ausgestellten Angebote liegen unter dem Vergleichszeitraum, bei einem Wert, der zwei Standorte nicht einschließt.“ Sie fügt nichts hinzu und kann nicht falsch sein.
• Hypothese: schlägt eine mögliche Erklärung vor, kennzeichnet sie als solche und gibt an, wie man sie überprüft. „Eine mögliche Ursache ist die Augustschließung an einem der Standorte; das lässt sich durch den Vergleich der tatsächlichen Arbeitstage überprüfen.“ Sie ist gerade deshalb nützlich, weil sie mit ihrer eigenen Überprüfung kommt.
• Fehlende Information: sagt, was zur Beantwortung nötig wäre. „Es lässt sich nicht sagen, ob die verlorenen Anfragen einen bestimmten Bereich betreffen: Die Angabe zum Bereich fehlt in der Tabelle.“ Das ist der Teil, der den nächsten Bericht am häufigsten verbessert.

Eine praktische Konsequenz: Vom Modell wird verlangt, niemals eine operative Schlussfolgerung zu formulieren. „Der Vertrieb muss verstärkt werden“ ist weder eine Beobachtung noch eine überprüfbare Hypothese, sondern eine Entscheidung, und Entscheidungen bleiben bei denen, die dafür verantwortlich sind.

Wer freigibt, und was schriftlich festgehalten wird

Ein wiederkehrender Bericht braucht einen festen Ablauf, sonst wird die Prüfung beim ersten Mal gemacht und danach eingestellt.

1. Die Berechnung wird durchgeführt, und die Tabelle wird eingefroren, mit Datum und Uhrzeit der Extraktion.
2. Der Kommentar wird auf Basis dieser Tabelle erzeugt und nach Datenänderungen nicht neu generiert, ohne auch die Berechnung zu wiederholen.
3. Eine Person liest gegen, korrigiert oder lehnt ab. Häufige Korrekturen sollten notiert werden: Sie sind der nützlichste Hinweis, um die Anweisungen an das System zu verbessern.
4. Das verbreitete Dokument trägt das Datum der Extraktion, den Zeitraum, die Quellen und die Angabe, welche Teile generiert wurden. Wer es in einem Jahr wiederfindet, muss es verstehen können, ohne nachzufragen.

Was dieser Leitfaden nicht behandelt

Hier geht es um die unterstützte Interpretation: wie man einen Bericht so aufbereitet, dass der Kommentar nützlich und kontrollierbar ist. Die Definition der Indikatoren — Formeln, Quellen, Häufigkeiten und Verantwortliche für die Daten — kommt davor und wird in einem eigenen Leitfaden behandelt: Ohne diese Arbeit beschreibt ein generierter Kommentar elegant Zahlen, über die im Unternehmen keine Einigkeit besteht. Die Tests, die vor der Inbetriebnahme eines Assistenten durchzuführen sind, haben einen eigenen Leitfaden.