Konkurent pojawia się w odpowiedziach AI, a Państwo nie: co naprawdę porównać

Zobaczenie nazwy konkurenta w wygenerowanej odpowiedzi, a nie własnej, od razu prowadzi do złego pytania: „co robią takiego, czego my nie robimy?”. Właściwe pytanie pojawia się wcześniej: co dokładnie wydarzyło się w tej odpowiedzi i jak bardzo jest to stabilne. Wiele różnic zaobserwowanych raz następnego dnia już nie istnieje, a pogoń za nimi oznacza pracę nad szumem.

To, co następuje, pomaga oddzielić to, co się widzi, od tego, co się sobie wyobraża, i wybrać, co warto sprawdzić.

Przede wszystkim: odtworzyć odpowiedź

Wygenerowana odpowiedź nie jest pozycją na liście. Zależy od pytania, kontekstu, osoby, która je zadaje, i momentu. Przed wyciągnięciem wniosków odtwarza się przypadek i go zapisuje.

• Dokładne pytanie, skopiowane słowo w słowo. Przeformułowanie zmienia odpowiedź, więc sformułowanie jest częścią danych.
• Moment i kanał: który system, w jakim trybie, z aktywnym wyszukiwaniem w internecie czy bez.
• Czy wcześniej toczyła się rozmowa. Wcześniejsze pytania wpływają na kolejne, a test wykonany przy czystej rozmowie to nie to samo.
• Pełny tekst odpowiedzi, zapisany. Za tydzień nie da się go odtworzyć identycznie, a pamięć nie wystarczy, żeby o nim dyskutować.

Potem się powtarza: to samo pytanie kilka razy, w różnych dniach, i z dwoma lub trzema przeformułowaniami, jakich użyłby klient. Jeśli konkurent pojawia się raz na pięć, wnioskiem nie jest „go cytują”, tylko „czasem go cytuje”. To dwie różne sytuacje, prowadzące do różnych decyzji.

Patrzeć na źródła, nie tylko na odpowiedź

Odpowiedź jest wynikiem; źródła są częścią obserwowalną. Kiedy system je wskazuje, są jedynym konkretnym śladem, na którym można się oprzeć.

• Jakiego rodzaju są to źródła: strona konkurenta, zestawienia branżowe, artykuły, recenzje, strony stowarzyszeń lub instytucji.
• Ile z nich należy do konkurenta, a ile do osób trzecich. Firma cytowana wyłącznie za pośrednictwem własnej strony a firma cytowana przez niezależne źródła znajdują się w dwóch różnych sytuacjach.
• Co dokładnie mówią: często przytoczone zdanie to konkretna linijka — usługa, obszar, kwalifikacja — która na Państwa stronie nie występuje w takiej formie.
• Czy są aktualne i poprawne. Zdarza się, że odpowiedź cytuje nieaktualne informacje albo przypisuje firmie coś, czego ona nie robi.

Porównać to, co można zaobserwować

Przydatne porównanie dotyczy publicznych faktów, a nie przypuszczeń co do kryteriów, którymi kieruje się system przy wyborze.

Ostatni wiersz jest najważniejszy. Nikt, poza twórcami tych systemów, nie może powiedzieć, dlaczego wybrano jedną firmę zamiast innej: kto to twierdzi, sprzedaje pewność, której nie posiada.

Karta w trzech kolumnach: fakty, hipotezy, brakujące dane

Najprostszym sposobem, żeby samemu się nie oszukiwać, jest trzymanie trzech rzeczy osobno w jednym dokumencie.

1. Fakty: to, co można zobaczyć i pokazać komuś innemu. Zadane pytanie, otrzymana odpowiedź, cytowane źródła, co deklaruje każda strona.
2. Hipotezy: możliwe wyjaśnienia, zapisane jako takie. „Jest cytowany, bo wyraźnie deklaruje obszar” to hipoteza, a nie potwierdzona przyczyna.
3. Brakujące dane: to, czego nie można wiedzieć. Ich wypisanie pomaga uniknąć sytuacji, w której brak informacji z czasem zamienia się w przekonanie.

Dokument nie zamyka tematu: otwiera go w uporządkowany sposób. Przeczytany ponownie po kilku tygodniach pokazuje, które hipotezy się utrzymały, a które były chwilowymi wrażeniami.

Wybierać jedną kontrolę na raz

Z hipotezy wynika działanie, a z działania kontrola. Jedno na raz, inaczej wyniku nie da się niczemu przypisać.

• Działanie musi być konkretne: wyraźnie wskazać obsługiwany obszar, opisać usługę słowami z pytania, opublikować możliwe do zweryfikowania referencje wykonanych prac.
• Kontrolę ustala się wcześniej: jakie pytania będą ponownie testowane, jak często i przez jaki czas, zanim wyrazi się ocenę.
• Porównanie dotyczy Państwa samych w czasie, a nie konkurenta: jego sytuacja może się zmienić z powodów, które Państwa nie dotyczą.
• Potrzebna jest też miara wyniku, który się liczy: jeśli rosną cytowania, ale nie zapytania, to ciekawa dana i nic więcej.

Kiedy nie ma nic do poprawienia

• Jeśli konkurent jest dużo bardziej znany i jest cytowany przez niezależne źródła, które mówią o nim od lat, różnicy nie zniweluje się lepiej napisaną stroną: pracuje się nad publicznymi dowodami, a to nie jest krótka praca.
• Jeśli pytanie generujące tę odpowiedź nie jest pytaniem, od którego przychodzą klienci, cytowanie ma niewielką wartość.
• Jeśli odpowiedzi bardzo się różnią między jedną próbą a drugą, nie ma jeszcze niczego do wyjaśnienia: trzeba obserwować dłużej.
• Jeśli informacji o Państwu jest mało albo są rozproszone, to nie jest problem porównania konkurencyjnego: to podstawa, którą trzeba uporządkować niezależnie od tego, kto jest cytowany.

Czego ten poradnik nie obejmuje

Tu przeprowadza się diagnozę konkurencyjną na podstawie tego, co można zaobserwować, oddzielając korelacje od przyczyn: żaden element tej analizy nie powinien być przedstawiany jako pewny czynnik wyboru. To, jak mierzyć w czasie cytowania własnej firmy, przy pomocy powtarzalnej metody, to osobna praca. A to, jakie dowody czynią treść bardziej wiarygodną, pozostaje szerszym pytaniem, ważnym również bez żadnego konkurenta do porównania.