Wie Sie die Zitate Ihres Unternehmens in KI-Antworten messen

„Nennen uns die KI-Systeme?“ ist keine Frage mit nur einer Antwort. Dieselbe Frage, zweimal an denselben Assistenten gestellt, kann zwei verschiedene Antworten liefern, und zwei Personen, die am selben Tag von zwei Städten aus testen, können Unterschiedliches sehen. Messen bedeutet daher, einen wiederholbaren Test aufzubauen und seine Bedingungen zu dokumentieren, nicht einmal zu prüfen und daraus eine Schlussfolgerung zu ziehen.

Das zweite Problem ist, dass „zitiert werden“ mindestens drei verschiedene Dinge bezeichnet, die unterschiedlichen Wert haben und getrennt gezählt werden müssen.

Was zusammen mit der Antwort dokumentiert wird

Eine Messung ohne ihre Bedingungen ist mit nichts vergleichbar, nicht einmal mit sich selbst einen Monat später. Jeder Test muss mit seinem Kontext dokumentiert werden.

• Die Plattform und der verwendete Modus: unterschiedliche Assistenten, und unterschiedliche Modi innerhalb desselben Assistenten, verhalten sich nicht gleich.
• Ob die Antwort durch eine Websuche in diesem Moment erstellt wurde oder nicht. Das ist die wichtigste Unterscheidung von allen, denn sie ändert, woher die Information stammt.
• Die Sprache der Frage und das Land, von dem aus getestet wird.
• Ob die Unterhaltung neu war oder ein Gespräch fortsetzte: Was vorher geschrieben wurde, beeinflusst, was danach kommt, und eine Sitzung mit einem persönlichen Verlauf lässt sich von niemand anderem wiederholen.
• Das Datum, die Uhrzeit und die genaue Frage, Wort für Wort kopiert.
• Die vollständige Antwort, komplett gespeichert. Handgemachte Zusammenfassungen verlieren genau die Details, die später nachzulesen nötig sein wird.

Drei Ergebnisse, die gleich genannt werden

Bevor man zählt, muss man entscheiden, was gezählt wird, und die Definition muss einmal festgelegt und dann immer verwendet werden.

Die letzte Zeile ist die, die am meisten interessiert und am wenigsten beachtet wird. Mit einer falschen Beschreibung zu erscheinen — eine Dienstleistung, die Sie nicht anbieten, ein Standort, der nicht Ihrer ist, eine Branche, die nicht Ihre ist — ist ein anderes Problem als nicht zu erscheinen, und wird auf andere Weise angegangen.

Ein stabiler Fragenkatalog, im Zeitverlauf wiederholt

Der Vergleich ist nur bei gleichbleibenden Fragen sinnvoll. Wenn jedes Mal etwas anderes getestet wird, sind die beobachteten Unterschiede Unterschiede zwischen Fragen, nicht zwischen Zeiträumen.

1. Legen Sie eine Liste von Fragen fest und ändern Sie sie nicht. Wenn Sie welche hinzufügen müssen, fügen Sie sie hinzu, ohne die alten zu entfernen, und vermerken Sie, seit wann sie bestehen.
2. Wiederholen Sie dieselbe Frage mehrmals in derselben Messsitzung, in neuen Unterhaltungen. Wenn Ihr Name bei drei Tests nur einmal erscheint, lautet der Wert „einmal von drei“, nicht „wir erscheinen“.
3. Führen Sie die Tests immer unter denselben Bedingungen durch: gleicher Modus, gleiche Sprache, unbelastete Unterhaltung.
4. Dokumentieren Sie auch die erscheinenden Mitbewerber und die zitierten Quellen. Bei den ersten Messungen sind das die nützlichsten Informationen, die Sie gewinnen werden.
5. Wiederholen Sie in regelmäßigen Abständen, mit einem Intervall, das Sie einhalten können: Eine monatliche Messung, die tatsächlich durchgeführt wird, ist mehr wert als eine wöchentliche, die nach drei Malen aufgegeben wird.

Die Stichprobe für das lesen, was sie ist

Das Verzeichnis beschreibt eine Reihe von Fragen, gestellt auf eine bestimmte Weise, in einem Zeitraum, von einem Standort aus. Es ist kein Marktanteil und keine Rangliste.

• Anteile, die aus wenigen Tests berechnet werden, bewegen sich von allein: Von einem Monat zum anderen ändert eine Antwort mehr oder weniger die Zahl, ohne dass sich in der Realität etwas geändert hätte.
• Es ist kein Maß dafür, wie viele Personen diese Antworten gesehen haben: Keine dieser Zählungen sagt aus, wie oft diese Frage tatsächlich von jemandem gestellt wurde.
• Der nützliche Vergleich ist der mit sich selbst im Zeitverlauf, bei gleichbleibenden Fragen und Bedingungen, und in zweiter Linie mit den Mitbewerbern, die in denselben Antworten erscheinen.

Die ehrliche Art, es zu berichten, ist ein Satz, der seine Grenzen enthält: Bei diesem Fragenkatalog, in dieser Sprache, mit diesem Modus, an diesen Daten, erscheint der Name in diesem Anteil der Tests. So formuliert ist es weniger beeindruckend und viel nützlicher, weil man es beim nächsten Mal wiederholen und vergleichen kann.

Von der Messung zu den Entscheidungen

Ein Verzeichnis ist dann nützlich, wenn es zwei Listen hervorbringt. Die erste: die Fragen, bei denen Sie nie erscheinen, geordnet danach, wie wichtig sie für Ihre Arbeit sind. Die zweite: die Quellen, die anstelle von Ihnen zitiert werden — Branchenverzeichnisse, Medien, Vergleichsseiten, Seiten von Mitbewerbern —, weil sie zeigen, woher die Information stammt.

Ab diesem Punkt ist die Arbeit keine Messarbeit mehr. Es geht darum, was wo geschrieben steht, wie klar und überprüfbar es ist, und ob die Informationen über Ihr Unternehmen an den verschiedenen Orten, an denen sie erscheinen, übereinstimmen. Die Messung dient dazu, den Ausgangspunkt zu bestimmen und später festzustellen, ob sich etwas verändert hat.

Eine Warnung ist angebracht. Wenn Kunden in Ihrer Branche diese Werkzeuge nicht nutzen, um einen Anbieter auszuwählen, bleibt das Messen der Präsenz eine Fingerübung aus Neugier. Vor der ersten Messung lohnt es sich zu fragen, welche Entscheidung das Ergebnis verändern würde: Gibt es keine, ist die Zeit anderswo besser investiert.

Was dieser Leitfaden nicht behandelt

Hier wird die Messung aufgebaut: was dokumentiert wird, wie man sie wiederholt, wie man sie liest. Welche Fragen man wählt — wie man diejenigen findet, die Ihre Kunden tatsächlich stellen würden, und wie man vermeidet, Fragen zu messen, die niemand stellt — ist der vorangehende Schritt und hat einen eigenen Leitfaden. Auch der Vergleich mit einem Mitbewerber, der an Ihrer Stelle erscheint, und worauf man achten sollte, um den Grund zu verstehen, wird gesondert behandelt.