Raporty firmowe z AI: oddzielanie zweryfikowanych liczb od wygenerowanych komentarzy

Sztuczna inteligencja może sprawić, że raport, którego nikt nie czyta, stanie się czytelny. Nie może jednak zdecydować, ile Państwo zafakturowali: jeśli poprosi się ją jednocześnie o obliczenie i komentarz, zwraca płynny tekst, w którym błędne liczby są nie do odróżnienia od poprawnych. Ten poradnik służy do budowania raportów, w których część zweryfikowana i część wygenerowana pozostają oddzielone i rozpoznawalne nawet po sześciu miesiącach.

Zasada, na której opiera się wszystko inne, jest jedna: liczby oblicza system posiadający dane, model otrzymuje już gotowy wynik i pracuje wyłącznie na słowach.

Liczb nie oblicza model

Model językowy, który otrzymuje surowe dane i ma za zadanie wykonać sumy, średnie lub porównania, tworzy wyniki wiarygodne, lecz niemożliwe do zweryfikowania. Problemem nie jest zdolność obliczeniowa: chodzi o to, że wynik nie jest odtwarzalny i po pewnym czasie nikt nie będzie w stanie powiedzieć, jakie kryterium zostało zastosowane.

• Sumy, średnie, zmiany i procenty oblicza się tam, gdzie znajdują się dane: w systemie do zarządzania firmą, w arkuszu kalkulacyjnym, w już zdefiniowanym widoku. Są one sprawdzalne i powtarzalne.
• Model otrzymuje zamkniętą tabelę, z już obliczonymi wartościami, i wykorzystuje je w niezmienionej postaci. Nie powinien mieć powodu, by cokolwiek przeliczać.
• W dokumencie końcowym liczby muszą dać się powiązać ze swoim źródłem. Jedna linijka na dole, mówiąca, z jakiego systemu pochodzą i jakiego okresu dotyczą, jest warta więcej niż dziesięć linijek komentarza.
• Jeśli jakiejś liczby brakuje, nie należy jej szacować: trzeba napisać, że jej nie ma. To punkt, w którym generowane raporty najczęściej się mylą, ponieważ pustkę wypełnia się czymś, co brzmi rozsądnie.

Co podać na wejściu: zamknięta tabela i kontekst

Jakość komentarza zależy niemal wyłącznie od tego, co się mu udostępni. Model, który otrzymuje same liczby, tworzy opisy: «wartość wzrosła». Model, który otrzymuje także kontekst, tworzy użyteczne obserwacje.

1. Tabela wartości za dany okres, z okresem porównawczym umieszczonym obok i już obliczoną zmianą.
2. Definicja każdego wskaźnika w jednej linijce: co mierzy, co wyklucza, jaka jednostka. Bez tego komentarz użyje pojęć w potocznym sensie, a nie w Państwa rozumieniu.
3. Progi lub cele, tam gdzie istnieją. «Poniżej tej wartości interweniujemy» zamienia opis w sygnał ostrzegawczy.
4. Znane fakty z danego okresu: zamknięcie z powodu urlopu, kampania, utracony klient, zatrzymany dostawca. Bez kontekstu każde odchylenie staje się zagadką, a model, który nie wie, dlaczego liczba się zmieniła, ma tendencję do wymyślania rozsądnie brzmiącego wyjaśnienia.
5. Co jest wyłączone lub niepełne: dane, które nadejdą z opóźnieniem, oddziały jeszcze niezintegrowane, okresy nieporównywalne.

Przykładowy raport

Tak wygląda raport zbudowany w ten sposób. Wartości mają charakter poglądowy i służą wyłącznie do pokazania struktury: górna część jest obliczona i sprawdzalna, dolna część jest wygenerowana i wymaga zatwierdzenia.

Pod tabelą znajduje się komentarz, a każde zdanie musi należeć do jednej z trzech kategorii opisanych w następnej części. Komentarz, w którym nie wiadomo, do jakiej kategorii należy dane zdanie, trzeba napisać od nowa, a nie poprawić.

Obserwacja, hipoteza, brakująca informacja

To rozróżnienie sprawia, że wygenerowany raport nadaje się do wykorzystania na spotkaniu. Trzy kategorie, wyraźnie oznaczone w tekście.

• Obserwacja: mówi wyłącznie to, co widać w tabeli. «Wystawione wyceny są niższe niż w okresie porównawczym, przy danych nieuwzględniających dwóch oddziałów.» Niczego nie dodaje i nie może być błędna.
• Hipoteza: proponuje możliwe wyjaśnienie, wyraźnie oznaczając je jako takie i wskazując, jak je zweryfikować. «Możliwą przyczyną jest sierpniowe zamknięcie w jednym z oddziałów; można to zweryfikować, porównując rzeczywiste dni robocze.» Jest użyteczna właśnie dlatego, że przychodzi razem ze sposobem weryfikacji.
• Brakująca informacja: mówi, czego brakuje, by móc odpowiedzieć. «Nie można stwierdzić, czy utracone zapytania dotyczą konkretnej branży: dane o branży nie znajdują się w tabeli.» To część, która najczęściej poprawia kolejny raport.

Praktyczna konsekwencja: modelowi nie wolno nigdy formułować wniosku operacyjnego. «Trzeba zwiększyć wysiłki handlowe» nie jest ani obserwacją, ani hipotezą możliwą do zweryfikowania, jest decyzją, a decyzje pozostają w gestii osób, które za nie odpowiadają.

Kto zatwierdza i co zostaje zapisane

Powtarzalny raport potrzebuje stałej ścieżki postępowania, w przeciwnym razie weryfikację robi się tylko za pierwszym razem, a potem się z niej rezygnuje.

1. Wykonuje się obliczenie, a tabela zostaje zablokowana, z datą i godziną pobrania danych.
2. Komentarz jest generowany na podstawie tej tabeli i nie jest generowany ponownie po zmianach danych bez powtórzenia także obliczenia.
3. Osoba odpowiedzialna czyta ponownie, poprawia lub odrzuca. Częste poprawki należy odnotowywać: są najbardziej użyteczną wskazówką do udoskonalenia instrukcji przekazywanych systemowi.
4. Rozpowszechniany dokument zawiera datę pobrania danych, okres, źródła oraz wskazanie, które części zostały wygenerowane. Osoba, która odnajdzie go za rok, musi być w stanie to zrozumieć bez pytania.

Czego nie obejmuje ten poradnik

Tu omawiana jest wspomagana interpretacja: jak przygotować raport, aby komentarz był użyteczny i możliwy do skontrolowania. Definicja wskaźników — wzory, źródła, częstotliwość i osoby odpowiedzialne za dane — jest sprawą wcześniejszą i omówioną w osobnym poradniku: bez tej pracy wygenerowany komentarz elegancko opisuje liczby, co do których firma nie ma zgody. Testy, jakie trzeba przeprowadzić na asystencie przed jego uruchomieniem, mają swój własny poradnik.