Ein Mitbewerber erscheint in KI-Antworten und Sie nicht: Was wirklich zu vergleichen ist

Den Namen eines Mitbewerbers in einer generierten Antwort zu sehen, und den eigenen nicht, führt sofort zu einer falschen Frage: „Was machen die, was wir nicht machen?“ Die richtige Frage kommt vorher: Was genau ist in dieser Antwort passiert, und wie stabil ist es. Viele einmal beobachtete Unterschiede sind am nächsten Tag verschwunden, und ihnen nachzujagen bedeutet, mit Rauschen zu arbeiten.

Das Folgende dient dazu, das, was man sieht, von dem zu trennen, was man sich vorstellt, und auszuwählen, was zu prüfen sich lohnt.

Zuerst: die Antwort reproduzieren

Eine generierte Antwort ist keine Position in einer Liste. Sie hängt von der Frage, dem Kontext, von wem sie gestellt wird und vom Zeitpunkt ab. Bevor man Schlussfolgerungen zieht, rekonstruiert man den Fall und dokumentiert ihn.

• Die genaue Frage, Wort für Wort kopiert. Sie umzuformulieren ändert die Antwort, die Formulierung ist also Teil der Daten.
• Der Zeitpunkt und der Kanal: welches System, in welchem Modus, mit oder ohne aktivierte Websuche.
• Ob zuvor eine Unterhaltung stattfand. Vorangegangene Fragen beeinflussen die nachfolgende, und ein Test bei unbelasteter Unterhaltung ist nicht dasselbe.
• Der vollständige Text der Antwort, gespeichert. In einer Woche lässt er sich nicht identisch reproduzieren, und die Erinnerung reicht nicht aus, um darüber zu diskutieren.

Dann wiederholt man: dieselbe Frage mehrmals, an unterschiedlichen Tagen, und mit zwei oder drei Umformulierungen, die ein Kunde verwenden würde. Wenn der Mitbewerber einmal von fünf Malen erscheint, lautet die Schlussfolgerung nicht „er wird zitiert“, sondern „er wird manchmal zitiert“. Das sind zwei verschiedene Situationen und führen zu unterschiedlichen Entscheidungen.

Die Quellen betrachten, nicht nur die Antwort

Die Antwort ist das Ergebnis; die Quellen sind der beobachtbare Teil. Wenn das System sie angibt, sind sie die einzige konkrete Spur, auf deren Grundlage man argumentieren kann.

• Um welche Art von Quellen es sich handelt: die Website des Mitbewerbers, Branchenverzeichnisse, Artikel, Bewertungen, Seiten von Verbänden oder Institutionen.
• Wie viele davon vom Mitbewerber selbst stammen und wie viele von Dritten. Ein Unternehmen, das nur über die eigene Website zitiert wird, und eines, das von unabhängigen Quellen zitiert wird, befinden sich in zwei verschiedenen Situationen.
• Was sie genau sagen: Oft ist der übernommene Satz eine spezifische Zeile — eine Dienstleistung, ein Gebiet, eine Qualifikation —, die auf Ihrer Website nicht in dieser Form vorkommt.
• Ob sie aktuell und korrekt sind. Es kommt vor, dass eine Antwort veraltete Informationen zitiert oder einem Unternehmen Dinge zuschreibt, die es nicht tut.

Vergleichen, was sich beobachten lässt

Der nützliche Vergleich betrifft öffentliche Fakten, nicht Vermutungen über die Kriterien, nach denen das System auswählt.

Die letzte Zeile ist die wichtigste. Niemand außer denen, die diese Systeme bauen, kann sagen, warum ein Unternehmen statt eines anderen ausgewählt wurde: Wer das behauptet, verkauft eine Gewissheit, die er nicht besitzt.

Ein Bogen mit drei Spalten: Fakten, Vermutungen, fehlende Daten

Der einfachste Weg, sich nicht selbst zu täuschen, besteht darin, drei Dinge in einem einzigen Dokument getrennt zu halten.

1. Fakten: das, was man sehen und jemand anderem zeigen kann. Die gestellte Frage, die erhaltene Antwort, die zitierten Quellen, was jede Website angibt.
2. Vermutungen: die möglichen Erklärungen, als solche gekennzeichnet. „Er wird zitiert, weil er das Gebiet ausdrücklich angibt“ ist eine Vermutung, keine gesicherte Ursache.
3. Fehlende Daten: das, was man nicht wissen kann. Sie aufzulisten hilft zu vermeiden, dass ein Mangel an Information mit der Zeit zu einer Überzeugung wird.

Das Dokument beendet die Überlegung nicht: Es eröffnet sie geordnet. Nach einigen Wochen erneut gelesen, zeigt es, welche Vermutungen sich bestätigt haben und welche nur Eindrücke des Moments waren.

Jeweils eine Prüfung auswählen

Aus einer Vermutung ergibt sich eine Maßnahme, und aus einer Maßnahme eine Prüfung. Eine nach der anderen, sonst lässt sich das Ergebnis keiner Ursache zuordnen.

• Die Maßnahme muss konkret gemacht werden: das bediente Gebiet ausdrücklich benennen, eine Dienstleistung mit den Worten der Frage beschreiben, überprüfbare Referenzen der geleisteten Arbeiten veröffentlichen.
• Die Prüfung wird vorher festgelegt: welche Fragen erneut getestet werden, wie oft und wie lange, bevor man ein Urteil fällt.
• Der Vergleich erfolgt mit sich selbst im Zeitverlauf, nicht mit dem Mitbewerber: Dessen Situation kann sich aus Gründen ändern, die Sie nicht betreffen.
• Es braucht auch ein Maß für das Ergebnis, das zählt: Wenn die Zitate zunehmen, aber nicht die Anfragen, ist das eine interessante Zahl und sonst nichts.

Wenn es nichts zu korrigieren gibt

• Wenn der Mitbewerber viel bekannter ist und von unabhängigen Quellen zitiert wird, die seit Jahren über ihn sprechen, lässt sich der Unterschied nicht mit einer besser geschriebenen Seite ausgleichen: Man arbeitet an den öffentlichen Nachweisen, und das ist keine kurze Arbeit.
• Wenn die Frage, die diese Antwort erzeugt, keine Frage ist, aus der Kunden hervorgehen, ist das Zitat wenig wert.
• Wenn die Antworten von Test zu Test stark schwanken, gibt es noch nichts zu erklären: Man muss länger beobachten.
• Wenn die Informationen über Sie wenig oder verstreut sind, ist das kein Problem des Wettbewerbsvergleichs: Das ist eine Grundlage, die ohnehin in Ordnung gebracht werden muss, unabhängig davon, wer zitiert wird.

Was dieser Leitfaden nicht behandelt

Hier wird eine Wettbewerbsdiagnose auf Basis des Beobachtbaren erstellt, wobei Korrelationen von Ursachen getrennt gehalten werden: Kein Element dieser Analyse darf als gesicherter Auswahlfaktor dargestellt werden. Wie man die Zitate des eigenen Unternehmens mit einer wiederholbaren Methode im Zeitverlauf misst, ist eine eigenständige Arbeit. Und welche Nachweise einen Inhalt glaubwürdiger machen, bleibt eine umfassendere Frage, die auch ohne einen zu vergleichenden Mitbewerber gilt.