Jakich pytań używać do monitorowania widoczności w AI?

Mierzenie widoczności w odpowiedziach systemów AI oznacza przede wszystkim decyzję, o co pytać. Odpowiedź zmienia się wraz z pytaniem: jeśli próba składa się z pytań, których żaden klient by nie zadał, wynik będzie precyzyjny i bezużyteczny. Jeśli zmienia się co miesiąc, nie będzie można niczego z niczym porównać.

Próba jest więc narzędziem pomiarowym i trzeba ją zbudować z taką samą starannością jak kwestionariusz: reprezentatywną dla potrzeb klientów, na których Państwu zależy, zrównoważoną i na tyle stabilną, by umożliwiała porównania w czasie. Ten poradnik pomaga ją ułożyć i ustalić zasady jej zmiany.

Trzy rodziny pytań, nie jedna

Próba złożona wyłącznie z pytań jednego typu mierzy tylko jedną rzecz. Trzy rodziny odpowiadają różnym momentom i trzeba je rozróżniać także przy odczytywaniu wyników.

• Informacyjne. Osoba, która je zadaje, wciąż stara się zrozumieć problem: czym jest, kiedy jest potrzebny, jak bardzo jest skomplikowany. Pojawienie się tutaj nie przynosi klientów jutro, ale to moment, w którym kształtują się opinie.
• Porównawcze. Osoba, która je zadaje, ocenia dwie drogi: zrobić czy nie, jedno rozwiązanie czy inne, we własnym zakresie czy na zewnątrz. To pytania, przy których uczciwa odpowiedź o ograniczeniach jest warta więcej niż entuzjastyczny opis.
• Wyboru dostawcy. Osoba, która je zadaje, szuka, do kogo się zwrócić, często z ograniczeniem do obszaru lub branży. To pytania najbliższe decyzji i zwykle najmniej liczne.

Proporcja między tymi trzema nie jest taka sama dla wszystkich: zależy od tego, jak długa jest Państwa ścieżka sprzedaży. Usługa kupowana po miesiącach oceny potrzebuje więcej pytań porównawczych; interwencja, której szuka się w razie potrzeby, potrzebuje ich mniej.

Z marką i bez marki to dwa różne pomiary

Pytania zawierające nazwę Państwa firmy mierzą to, co system o Państwu wie: czy Państwa zna, czy dobrze opisuje, czy nie myli Państwa nazwy z nazwą kogoś innego. Pytania bez marki mierzą coś zupełnie innego: czy są Państwo wymieniani, gdy ktoś szuka rozwiązania, nie mając Państwa na myśli.

• Trzymać je w dwóch osobnych grupach i nigdy nie liczyć z nich średniej. Poprawa w pierwszej grupie nic nie mówi o drugiej.
• Pytania z marką służą też do kontroli jakości: sprawdzają, czy to, co się o Państwu mówi, jest poprawne, a nie tylko czy w ogóle się pojawia.
• Pytania bez marki to pomiar, który liczy się dla wzrostu, i to właśnie w nich wyniki zmieniają się najwolniej.
• Uwaga na dwuznaczne nazwy: jeśli Państwa firma nazywa się tak samo jak pospolite słowo albo jak inna spółka, potrzebne są pytania sformułowane tak, by rozróżniać, inaczej mierzą Państwo szum.

Przykładowa próba

Tak wygląda mały fragment, dla firmy zajmującej się konserwacją instalacji. Pytania mają charakter poglądowy i służą do pokazania kryterium, a nie do skopiowania.

Obok każdego pytania zapisuje się, dlaczego zostało uwzględnione. To kolumna, która za sześć miesięcy pozwala zrozumieć, czy nadal ma sens je zachować, i zapobiega temu, by próba wypełniła się pytaniami, których pochodzenia nikt nie pamięta.

Zrównoważyć usługi, terytorium i moment decyzji

Najczęstszym ryzykiem jest niezrównoważona próba, której nikt nie zauważa: dwanaście pytań o usługę, na której zależy właścicielowi, i ani jednego o dwie pozostałe, przynoszące tyle samo zleceń.

• Minimalna liczba pytań dla każdej usługi, przy której chcą Państwo być znajdowani, także dla tych mniej ciekawych do opowiedzenia.
• Terytorium tylko tam, gdzie faktycznie Państwo działają. Dodawanie prowincji, do których Państwo nie jeżdżą, sztucznie powiększa próbę i daje ujemne wyniki, które nic nie znaczą.
• Pytania trzeba pisać tak, jak powiedziałby je klient, a nie tak, jak Państwo by je napisali. Wewnętrzne słownictwo techniczne rzadko pokrywa się ze słownictwem osoby szukającej.
• Jeśli usługa jest nowa i jeszcze nikt jej nie szuka, trzymać ją w osobnej grupie: mierzenie widoczności przy pytaniu, którego nikt nie zadaje, nie jest celem.

Jak duża powinna być, i kiedy wyniki nic nie mówią

Właściwy rozmiar nie jest stałą liczbą: to taki, jaki są Państwo w stanie ponownie przeczytać. Próbę trzeba od czasu do czasu przeglądać odpowiedź po odpowiedzi, ponieważ samo liczenie cytowań nie mówi, czy zostali Państwo wymienieni dobrze, czy źle. Jeśli nikt nie ma czasu tego przeczytać, próba jest za duża.

Wersjonować próbę i uzasadniać każdą zmianę

Próba, która zmienia się po cichu, niszczy możliwość porównania: wygląda na poprawę, a tymczasem zmieniły się pytania. Ta dyscyplina kosztuje niewiele i sprowadza się do kilku zasad.

1. Próba ma wersję i datę. Pomiary wskazują, na której wersji zostały wykonane.
2. Każda zmiana ma zapisany powód: nowa usługa, obszar, w którym przestali Państwo działać, pytanie, które okazało się dwuznaczne.
3. Usuniętych pytań się nie kasuje, tylko archiwizuje z datą. Pozwala to odczytywać dane historyczne bez pomyłek.
4. Zmiany grupuje się w kilku momentach w roku, zamiast dodawać pytanie za każdym razem, gdy ktoś wpadnie na pomysł.
5. Gdy próba zmienia się bardzo, porównania z przeszłością robi się tylko na pytaniach, które pozostały identyczne.

Czego ten poradnik nie obejmuje

Tu buduje się narzędzie pomiarowe: jakie pytania zadawać i jak utrzymywać ich stabilność. To, jak zbiera się i ocenia odpowiedzi — z jaką częstotliwością mierzyć, co liczyć, jak odróżnić korzystne cytowanie od zwykłej wzmianki, jak odczytywać trend — to kolejna, odrębna praca, omówiona gdzie indziej. Także wybór tematów do napisania, który często wynika z tych samych pytań, kieruje się własnymi kryteriami.