Jak mierzyć cytowania Państwa firmy w odpowiedziach AI

„Czy AI nas wymienia?” to nie jest pytanie z jedną odpowiedzią. To samo pytanie zadane dwa razy temu samemu asystentowi może dać dwie różne odpowiedzi, a dwie osoby sprawdzające tego samego dnia z dwóch miast mogą zobaczyć różne rzeczy. Mierzenie oznacza więc zbudowanie powtarzalnego testu i zapisanie jego warunków, a nie jednorazowe sprawdzenie i wyciągnięcie z niego wniosku.

Drugi problem polega na tym, że „być cytowanym” oznacza co najmniej trzy różne rzeczy, o różnej wartości, które trzeba liczyć osobno.

Co zapisuje się razem z odpowiedzią

Pomiar bez zapisanych warunków nie jest porównywalny z niczym, nawet z samym sobą miesiąc później. Każdy test trzeba zapisać razem z tym, co go otacza.

• Platforma i użyty tryb: różni asystenci, a także różne tryby w obrębie tego samego asystenta, zachowują się inaczej.
• Czy odpowiedź została zbudowana na podstawie wyszukiwania w internecie w tamtym momencie, czy nie. To najważniejsze rozróżnienie ze wszystkich, ponieważ zmienia, skąd pochodzi informacja.
• Język pytania i kraj, z którego przeprowadza się test.
• Czy rozmowa była nowa, czy kontynuowała wcześniejszy wątek: to, co zostało napisane wcześniej, wpływa na to, co następuje potem, a sesja z osobistą historią nie jest powtarzalna przez nikogo innego.
• Data, godzina i dokładne pytanie, skopiowane słowo w słowo.
• Pełna odpowiedź, zapisana w całości. Streszczenia robione ręcznie gubią właśnie te szczegóły, które trzeba będzie ponownie przeczytać.

Trzy wyniki nazywane tak samo

Zanim zacznie się liczyć, trzeba zdecydować, co się liczy, a definicję należy zapisać raz i stosować zawsze.

Ostatni wiersz jest tym, który interesuje najbardziej, a jest oglądany najrzadziej. Pojawienie się z błędnym opisem — usługa, której Państwo nie oferują, siedziba, która nie jest Państwa, branża, która nie jest Państwa — to problem inny niż niepojawianie się, i rozwiązuje się go w inny sposób.

Stały zestaw pytań, powtarzany w czasie

Porównanie ma sens tylko przy stałych pytaniach. Jeśli za każdym razem sprawdza się coś innego, obserwowane różnice są różnicami między pytaniami, a nie między okresami.

1. Ustalić listę pytań i jej nie zmieniać. Jeśli trzeba dodać nowe, należy je dodać bez usuwania starych i odnotować, od kiedy istnieją.
2. Powtarzać to samo pytanie kilka razy w tej samej sesji pomiarowej, w nowych rozmowach. Jeśli na trzy próby Państwa nazwa pojawia się tylko raz, wynikiem jest „raz na trzy”, a nie „pojawiamy się”.
3. Przeprowadzać testy zawsze w tych samych warunkach: ten sam tryb, ten sam język, czysta rozmowa.
4. Zapisywać także konkurentów, którzy się pojawiają, oraz cytowane źródła. Przy pierwszych pomiarach to najbardziej przydatna informacja, jaką Państwo uzyskają.
5. Powtarzać w regularnych odstępach, które są Państwo w stanie dotrzymać: pomiar miesięczny, który faktycznie się robi, jest wart więcej niż cotygodniowy, z którego rezygnuje się po trzech razach.

Odczytywać próbę taką, jaka jest

Rejestr opisuje zestaw pytań, zadanych w określony sposób, w określonym okresie, z określonej lokalizacji. To nie jest udział w rynku ani ranking.

• Proporcje obliczone na niewielkiej liczbie prób poruszają się same z siebie: z miesiąca na miesiąc jedna odpowiedź więcej lub mniej zmienia liczbę, choć w rzeczywistości nic się nie zmieniło.
• To nie jest miara tego, ile osób zobaczyło te odpowiedzi: żadne z tych zliczeń nie mówi, ile razy dane pytanie zostało naprawdę przez kogoś zadane.
• Przydatne porównanie to porównanie z Państwem samymi w czasie, przy stałych pytaniach i warunkach, a w drugiej kolejności z konkurentami pojawiającymi się w tych samych odpowiedziach.

Uczciwy sposób przedstawienia tego to zdanie zawierające swoje ograniczenia: na tym zestawie pytań, w tym języku, w tym trybie, w tych datach, nazwa pojawia się w takiej proporcji prób. Powiedziane w ten sposób jest mniej efektowne i o wiele bardziej użyteczne, bo następnym razem można to powtórzyć i porównać.

Od pomiaru do decyzji

Rejestr jest przydatny, jeśli daje dwie listy. Pierwsza: pytania, przy których nigdy się Państwo nie pojawiają, uporządkowane według tego, jak bardzo liczą się dla Państwa pracy. Druga: źródła cytowane zamiast Państwa — branżowe zestawienia, media, strony porównawcze, strony konkurentów — ponieważ wskazują, skąd bierze się informacja.

Od tego momentu praca przestaje być pomiarem. Dotyczy tego, co i gdzie jest napisane, jak jasne i sprawdzalne, oraz czy informacje o Państwa firmie są spójne między miejscami, w których się pojawiają. Pomiar służy do tego, żeby powiedzieć, od czego się zaczyna, a później, czy coś się zmieniło.

Warto dodać jedno zastrzeżenie. Jeśli w Państwa branży klienci nie korzystają z tych narzędzi przy wyborze dostawcy, mierzenie obecności pozostaje ćwiczeniem z ciekawości. Przed pierwszym pomiarem warto zadać sobie pytanie, jaka decyzja zmieniłaby się pod wpływem wyniku: jeśli żadna, czas lepiej spożytkować gdzie indziej.

Czego ten poradnik nie obejmuje

Tu buduje się pomiar: co rejestrować, jak go powtarzać, jak go odczytywać. Jakie pytania wybrać — jak rozpoznać te, które Państwa klienci naprawdę by zadali, i jak uniknąć mierzenia pytań, których nikt nie zadaje — to wcześniejszy krok, omówiony w osobnym poradniku. Także porównanie z konkurentem, który pojawia się zamiast Państwa, i na co patrzeć, żeby zrozumieć dlaczego, jest omówione osobno.