Welche Fragen eignen sich, um die Sichtbarkeit in KI-Systemen zu überwachen?

Die Sichtbarkeit in den Antworten von KI-Systemen zu messen bedeutet vor allem, zu entscheiden, was man fragt. Die Antwort ändert sich mit der Frage: Wenn der Fragenkatalog aus Fragen besteht, die kein Kunde stellen würde, ist das Ergebnis präzise und nutzlos. Wenn er sich jedes Monat ändert, lässt sich nichts mit nichts vergleichen.

Der Fragenkatalog ist also das Messinstrument und muss mit derselben Sorgfalt wie ein Fragebogen erstellt werden: repräsentativ für die Bedürfnisse der Kunden, die Sie gewinnen wollen, ausgewogen und stabil genug, um Vergleiche im Zeitverlauf zu ermöglichen. Dieser Leitfaden hilft dabei, ihn zusammenzustellen und die Regeln für seine Änderung festzulegen.

Drei Fragefamilien, nicht eine

Ein Fragenkatalog, der nur aus einem Fragetyp besteht, misst nur eine Sache. Die drei Familien entsprechen unterschiedlichen Momenten und müssen auch bei der Auswertung der Ergebnisse getrennt betrachtet werden.

• Informativ. Wer sie stellt, versucht noch, das Problem zu verstehen: was es ist, wann es relevant wird, wie kompliziert es ist. Hier zu erscheinen bringt morgen keine Kunden, aber es ist der Moment, in dem sich Meinungen bilden.
• Vergleichend. Wer sie stellt, wägt zwei Wege ab: tun oder nicht tun, die eine Lösung oder die andere, intern oder extern. Das sind die Fragen, bei denen eine ehrliche Antwort über die Grenzen mehr wert ist als eine begeisterte Beschreibung.
• Zur Anbieterwahl. Wer sie stellt, sucht, an wen er sich wenden kann, oft mit einer Einschränkung nach Gebiet oder Branche. Das sind die Fragen, die der Entscheidung am nächsten stehen, und in der Regel die wenigsten.

Das Verhältnis zwischen den dreien ist nicht für alle gleich: Es hängt davon ab, wie lang Ihr Verkaufsprozess ist. Eine Dienstleistung, die erst nach monatelanger Prüfung gekauft wird, braucht mehr vergleichende Fragen; ein Einsatz, den man bei Bedarf sucht, braucht weniger davon.

Mit und ohne Markenname sind zwei verschiedene Messungen

Fragen, die den Namen Ihres Unternehmens enthalten, messen, was das System über Sie weiß: ob es Sie kennt, ob es Sie richtig beschreibt, ob es Ihren Namen mit dem eines anderen verwechselt. Fragen ohne Markenname messen etwas ganz anderes: ob Sie genannt werden, wenn jemand eine Lösung sucht, ohne Sie im Sinn zu haben.

• Halten Sie sie in zwei getrennten Gruppen und bilden Sie nie einen Durchschnitt daraus. Eine Verbesserung bei den ersten sagt nichts über die zweiten aus.
• Die Fragen mit Markenname dienen auch einer Qualitätskontrolle: Sie prüfen, ob das, was über Sie gesagt wird, korrekt ist, nicht nur, ob es vorhanden ist.
• Die Fragen ohne Markenname sind das Maß, das für das Wachstum zählt, und auch das, bei dem sich die Ergebnisse am langsamsten verändern.
• Achten Sie auf mehrdeutige Namen: Wenn Ihr Unternehmen wie ein gebräuchliches Wort oder wie ein anderes Unternehmen heißt, brauchen Sie Fragen, die so formuliert sind, dass sie unterscheiden, sonst messen Sie nur Rauschen.

Ein Beispielkatalog

So sieht ein kleiner Ausschnitt aus, für ein Unternehmen, das Anlagenwartung anbietet. Die Fragen sind beispielhaft und dienen dazu, das Kriterium zu zeigen, nicht zum Kopieren.

Neben jeder Frage wird notiert, warum sie aufgenommen wurde. Das ist die Spalte, die in sechs Monaten zeigt, ob es noch sinnvoll ist, sie zu behalten, und die verhindert, dass sich der Katalog mit Fragen füllt, deren Herkunft niemand mehr kennt.

Dienstleistungen, Gebiet und Entscheidungsmoment ausbalancieren

Das häufigste Risiko ist ein unausgewogener Fragenkatalog, ohne dass es jemand bemerkt: zwölf Fragen zu der Dienstleistung, die dem Inhaber am Herzen liegt, und keine zu den beiden anderen, die genauso viel Arbeit bringen.

• Ein Mindestmaß an Fragen für jede Dienstleistung, bei der Sie gefunden werden wollen, auch für die, über die man weniger gerne spricht.
• Das Gebiet nur dort, wo Sie tatsächlich tätig sind. Landkreise hinzuzufügen, in die Sie nicht fahren, bläht den Katalog auf und erzeugt negative Ergebnisse, die nichts bedeuten.
• Die Fragen müssen so formuliert werden, wie ein Kunde sie stellen würde, nicht so, wie Sie sie schreiben würden. Der interne Fachwortschatz stimmt selten mit dem der Suchenden überein.
• Wenn eine Dienstleistung neu ist und noch niemand danach sucht, halten Sie sie in einer eigenen Gruppe: Die Sichtbarkeit bei einer Frage zu messen, die niemand stellt, ist kein Ziel.

Wie groß er sein muss, und wann die Ergebnisse nichts aussagen

Die richtige Größe ist keine feste Zahl: Es ist die, die Sie durcharbeiten können. Ein Fragenkatalog muss zumindest gelegentlich Antwort für Antwort betrachtet werden, denn die Anzahl der Zitate sagt nicht, ob Sie gut oder schlecht genannt wurden. Wenn niemand Zeit hat, ihn durchzuarbeiten, ist der Katalog zu groß.

Den Fragenkatalog versionieren und jede Änderung begründen

Ein Fragenkatalog, der sich unbemerkt ändert, zerstört die Vergleichbarkeit: Es sieht wie eine Verbesserung aus, dabei haben sich nur die Fragen geändert. Diese Disziplin kostet wenig und lässt sich auf wenige Regeln reduzieren.

1. Der Fragenkatalog hat eine Version und ein Datum. Die Erhebungen geben an, auf welcher Version sie durchgeführt wurden.
2. Jede Änderung hat einen schriftlich festgehaltenen Grund: neue Dienstleistung, Gebiet, in dem Sie nicht mehr tätig sind, eine Frage, die sich als mehrdeutig erwiesen hat.
3. Entfernte Fragen werden nicht gelöscht, sondern mit Datum archiviert. Das dient dazu, die Historie ohne Verwirrung nachzulesen.
4. Änderungen werden an wenigen Terminen im Jahr gebündelt, statt jedes Mal eine Frage hinzuzufügen, wenn jemand eine Idee dazu hat.
5. Wenn sich der Katalog stark ändert, werden Vergleiche mit der Vergangenheit nur anhand der unveränderten Fragen gemacht.

Was dieser Leitfaden nicht behandelt

Hier wird das Messinstrument aufgebaut: welche Fragen man stellt und wie man sie stabil hält. Wie man die Antworten sammelt und auswertet — mit welcher Häufigkeit erhoben wird, was gezählt wird, wie man ein günstiges Zitat von einer beliebigen Erwähnung unterscheidet, wie man einen Verlauf liest — ist eine anschließende, eigenständige Arbeit, die an anderer Stelle behandelt wird. Auch die Wahl der zu schreibenden Themen, die oft aus genau diesen Fragen entsteht, folgt eigenen Kriterien.