Sentyment w odpowiedziach AI — jak go mierzymy i po co

Przez pierwszy rok tej kategorii wszyscy mierzyli jedną rzecz: czy marka w ogóle pada w odpowiedzi. To dobre pytanie na start i złe pytanie na dłuższą metę, bo wzmianka wzmiance nierówna. „X to solidny wybór dla małych firm” i „X bywa polecany, ale użytkownicy skarżą się na obsługę” są w statystyce widoczności identyczne — obie liczą się jako jedna wzmianka. Od dziś liczymy też to, czego ta statystyka nie widzi: wydźwięk. Poniżej opisujemy dokładnie, jak go liczymy, czego nie obiecujemy i co z tą liczbą realnie zrobić.

Widoczność to nie reputacja

Warto rozdzielić dwa problemy, bo mają różne rozwiązania i — co ważniejsze — różne budżety.

• Nie ma Cię w odpowiedzi. To problem pokrycia: brakuje treści, encji, źródeł, które model mógłby pobrać. Rozwiązuje się go robotą, którą zwykle nazywamy SEO albo GEO — pisaniem, technicznym udrożnieniem strony, zdobywaniem cytowań.
• Jesteś w odpowiedzi, ale w złym świetle. To problem reputacji. Model streszcza to, co znalazł: recenzje, wątki na forach, porównania, komentarze. Tego nie naprawi ani nagłówek H2, ani plik na serwerze.

Druga sytuacja jest gorsza, bo działa aktywnie przeciwko Tobie. Nieobecność kosztuje szansę; zła wzmianka kosztuje szansę i buduje klientowi gotowe zastrzeżenie, z którym potem walczy sprzedaż. To jest praca dla PR-u i obsługi klienta, nie dla działu treści — a to inny zespół, inny proces i inny budżet. Dlatego wydźwięk zasługuje na własną metrykę, a nie na akapit w raporcie SEO.

Jak liczymy wydźwięk

Jedna ocena na odpowiedź, nie na wzmiankę

Każdą odpowiedź, którą zapisujemy z silnika, przetwarzamy dokładnie raz: jednym wywołaniem modelu ze strukturalnym wyjściem. To samo wywołanie wyszukuje w odpowiedzi marki, ustala ich kolejność i wyciąga cytowania — wydźwięk jest jego częścią, a nie osobnym przebiegiem. Konsekwencja jest prosta i chcemy ją powiedzieć wprost: ocena przypada raz na odpowiedź, nie raz na każde wystąpienie nazwy. Odpowiedź, w której nazwa pada cztery razy, nie waży czterokrotnie więcej od takiej, w której pada raz.

Cztery rzeczy naraz

Ocena, którą zapisujemy przy odpowiedzi, składa się z czterech pól:

• etykieta — pozytywny, neutralny albo negatywny; to ona zasila rozkład na pulpicie i filtr na ekranie odpowiedzi;
• wynik liczbowy w skali od −100 do +100 — potrzebny, bo „lekko pochlebny” i „entuzjastyczny” to obie etykiety pozytywne, a różnica między nimi jest realna. Ze średniej dziennej tych wyników rysujemy trend;
• dosłowny cytat z odpowiedzi — fragment, na którym ocena się opiera;
• flaga niepewności — model zaznacza nią sytuację, w której nie jest pewien, czy pisze o Twojej marce.

Skala i sposób liczenia są opisane razem z resztą metodologii na stronie Jak mierzymy — tam też podajemy wersje modeli, których używamy do pomiaru i do ekstrakcji.

Dlaczego pokazujemy cytat-dowód

Bo bez niego ocena wydźwięku jest niesprawdzalna, a niesprawdzalna metryka reputacyjna jest bezużyteczna dokładnie wtedy, gdy jest potrzebna — na spotkaniu, na którym ktoś pyta „skąd wiecie, że to negatywne?”.

Dlatego przy każdej ocenionej odpowiedzi zapisujemy fragment tekstu, który do niej doprowadził, i zaznaczamy go w treści odpowiedzi wyżej na ekranie. Cytat jest dosłowny; nie streszczamy go i nie poprawiamy stylistycznie. Trzy zasady, które z tego wynikają:

• jeśli cytatu nie zapisaliśmy, piszemy to wprost — „Nie zapisaliśmy cytatu dla tej oceny” — zamiast wymyślać go po fakcie;
• jeśli cytat jest, ale nie umiemy go odnaleźć w zachowanej odpowiedzi, nie zaznaczamy niczego w tekście i mówimy o tym, zamiast podświetlać przybliżone miejsce;
• jeśli wzmiankę znalazło samo dopasowanie aliasów, a oceny nie ma — pokazujemy pustą wartość, nie zero. Brak oceny to brak oceny, a nie „neutralny”.

Flaga „ocena niepewna”

Polskie nazwy marek bywają zwykłymi słowami, a modele lubią odpowiadać pewnym tonem także wtedy, gdy zgadują. Jeżeli w odpowiedzi pada zdanie w rodzaju „zakładając, że pytasz o firmę o tej nazwie…”, model oznacza ocenę jako niepewną.

Takie oceny liczymy do rozkładu — ukrywanie ich zniekształcałoby obraz — ale oznaczamy je przy odpowiedzi i podajemy ich liczbę pod kaflem na pulpicie. To ta sama zasada, którą stosujemy do aliasów: automat ma prawo się mylić, pod warunkiem że widać, gdzie i dlaczego. Przy każdej wzmiance zostaje też przycisk „Zgłoś błędne dopasowanie”.

Czego ta liczba nie mówi

Trzy zastrzeżenia, które zapisaliśmy w produkcie, a nie tylko w tym wpisie.

Za mało odpowiedzi to za mało odpowiedzi

Poniżej dziesięciu ocenionych odpowiedzi oznaczamy wynik jako wstępne dane, przy dziesięciu do dwudziestu dziewięciu jako mało danych. Przy pięciu odpowiedziach jedna zmiana etykiety przestawia rozkład o 20 p.p. — nie ma sensu opowiadać o tym na spotkaniu zarządu. Ile odpowiedzi realnie zbierzesz w swoim planie, policzysz w kalkulatorze promptów.

Brak wzmianek to nie zero wydźwięku

Jeżeli w wybranym zakresie żadna odpowiedź nie wymienia Twojej marki, kafel nie pokazuje zera ani neutralnego rozkładu — pokazuje informację, że nie ma czego oceniać. Podobnie, gdy wzmianki są, ale żadna nie ma jeszcze oceny: nie rysujemy rozkładu, którego nie zmierzyliśmy.

Wydźwięk liczymy ze wszystkich silników naraz

Kafel na pulpicie celowo nie zawęża się filtrem silników. Przy naszych kadencjach rozbicie wydźwięku na pojedynczy silnik zwykle schodziłoby poniżej progu sensownej próby, a cztery osobne mikroskopijne rozkłady wyglądają mądrzej, niż są. Bazę porównania — średnią z poprzednich dni pomiaru — pokazujemy wprost pod trendem; to ta sama baza, na której działają alerty, więc wykres i powiadomienie nie mogą opowiadać dwóch różnych historii.

Co z tym zrobić w praktyce

1. Zacznij od negatywnych, nie od średniej. Przefiltruj odpowiedzi po etykiecie negatywnej i przeczytaj cytaty. Zwykle w pięciu minutach widać, że to jeden powtarzający się zarzut, a nie dziesięć różnych.
2. Sprawdź źródła tej odpowiedzi. Model nie wymyślił zarzutu — streścił coś, co przeczytał. Jeżeli to jeden wątek na forum albo jedna stara recenzja, masz konkretny adres do zaadresowania, a nie „problem wizerunkowy”.
3. Rozdziel budżety. Odpowiedzi, w których w ogóle Cię nie ma, idą do zespołu od treści. Odpowiedzi, w których jesteś w złym świetle, idą do PR-u i obsługi klienta. To dwie różne listy zadań i mylenie ich kosztuje kwartał.
4. Patrz na trend, nie na dzień. Wydźwięk pojedynczej odpowiedzi jest zmienny z natury. Sensowna jednostka obserwacji to okno kilku tygodni z podaną liczebnością próby.

Jak czytać całą resztę pulpitu, opisaliśmy osobno we wpisie jak czytać wyniki widoczności w AI.