Spis treści

• Znaczenie szczegółowego monitorowania chatbotów
• Możliwe przyczyny słabej wydajności chatbota
• Zbieranie istotnych danych
• Kluczowe KPIs do mierzenia na platformie budowania botów
  • Objętość rozmów (conversations volume)
  • Tagi (tags)
  • Intencje (intents)
  • 4. Przekierowania (redirects)
  • 5. Nierozpoznane wiadomości (unrecognized messages)
• Wskazówki dotyczące ulepszenia chatbota
• Popraw wskaźniki wydajności chatbota z SentiOne Automate
• Podsumowanie artykułu

Czytasz ten artykuł zapewne z jednego z dwóch powodów: albo planujesz wdrożenie chatbota z wyprzedzeniem i starasz się zgłębić temat i poszerzać wiedzę na każdym kroku tego procesu, albo Twój chatbot dopiero co został uruchomiony, lecz jego efektywność nie spełnia oczekiwań, wobec czego szukasz rozwiązań tego problemu.

Co się stało? Czy mogę to jeszcze naprawić? Czy właśnie cała masa pieniędzy poszła w błoto na negatywne ROI? Lub, jeśli należysz do tej pierwszej grupy: co muszę zrobić, by uniknąć takiej sytuacji?

Nie przejmuj się, niezależnie od Twojego powodu, w tym rozdziale Poradnika Budowania Botów przedstawimy Ci wszystko, co musisz wiedzieć o śledzeniu chatbota, w tym o jego ewaluacji, narzędziach do analizy, jak również o jakże ważnych kluczowych wskaźnikach wydajności dla konwersacyjnej sztucznej inteligencji.

Znaczenie szczegółowego monitorowania chatbotów

Mówiąc wprost, chatbota nie można tak po prostu pozostawić sobie samemu po powołaniu go do życia. Z technologicznego punktu widzenia nie znajdujemy się (jeszcze) na wystarczająco wysokim poziomie, by chatboty mogły same analizować swoje wyniki względem uprzednio zaprogramowanych metryk, co z kolei sprawia, że jego stałe obserwowanie i usprawnianie jest niezbędne. Jeśli jesteś na bieżąco z poprzednimi artykułami z naszej serii o budowaniu chatbotów, wiesz już, jak kluczowe jest, aby zawsze pozostawać czujnym, a nawet mieć dedykowany zespół, który odpowiadać będzie za efektywność chatbota. Prawdę powiedziawszy, obok wszystkich pięknie prezentujących się statystyk napędzających hype na chatboty, jak na przykład tej, szacującej ośmiomiliardowe roczne oszczędności dla firm z nich korzystających, powinny one również na marginesie podkreślać, jak kluczowe jest stałe mierzenie skuteczności chatbota.

Ciągle udoskonalany chatbot prowadzi do lepszego doświadczenia użytkownika oraz wyższego wskaźnika automatyzacji, czyli liczby rozmów obsługiwanych w całości przez chatbota, bez konieczności przekazania jej do konsultanta. To jednoznaczny wyznacznik, że Twoja inwestycja się opłaciła. W dodatku mamy bardzo obszerny wgląd we wzorce zachowań naszych klientów, co może przydać się na potrzeby przyszłych usprawnień chatbota, zaś napotkamy usterkę związaną z chatbotem, regularna obserwacja pozwoli nam błyskawicznie się z nią uporać. Jest to istotne zwłaszcza w przypadku poważniejszych zagrożeń i naruszeń bezpieczeństwa, ponieważ możemy tu myśleć o chatbocie jak o systemie alarmowym dla tego typu problemów.

Załóżmy jednak na moment zupełnie odwrotny scenariusz, czyli taki, gdzie w ogóle nie przyglądamy się statystykom chatbota. Co może pójść nie tak? Dość sporo. Chatbot, którego przepływ rozmów nie został odpowiednio zaprojektowany, może „oszaleć” i sprawić, że wszelkie potencjalne korzyści pójdą na marne nawet w branżach, gdzie chatboty sprawdzają się najlepiej. Jednym z niechlubnych przykładów takiego zaniedbana jest Tay, chatbot wypuszczony przez Microsoft w 2016 roku. Tay szybko została zindoktrynowana i przyjęła rasistowskie poglądy przez użytkowników bombardujących ją niestosownymi tweetami. Tego typu kryzysy PR’owe i kontrowersyjne tematy wymagają rygorystycznej obserwacji, aby chatbot nie wymknął się spod kontroli. Oczywiście musimy przewidywać również inne problemy, takie jak podawanie klientom informacji niezgodnych z prawdą, co w zależności od kontekstu, może ponieść za sobą stosunkowo niewielkie konsekwencje lub skończyć się katastrofą. To drugie wydarzyło się całkiem niedawno, gdy Google w lutym 2023 roku zaprezentował Barda, a następnie stracił 100 miliardów wartości rynkowej praktycznie z dnia na dzień gdy chatbot popełnił dość sporą gafę podczas pierwszego demo.

Możliwe przyczyny słabej wydajności chatbota

Sprawdźmy, z jakiego powodu chatbot może sobie nie najlepiej radzić:

• Złe przeszkolenie: to powinno być dość zrozumiałe. Źle przeszkolony chatbot, czyli taki, który został zaprojektowany w oparciu o niewystarczająco dobrze przemyślane przepływy dialogów i/lub niewłaściwe modele językowe, nie ma odpowiedniego zaplecza, by wydajnie i efektywnie odpowiadać na pytania klientów i obsługiwać ich zgłoszenia. Na szczęście da się to dość łatwo naprawić po odpowiednio skrupulatnej analizie wskaźników chatbota i zastosowaniu odpowiednich działań korygujących.
• Wybrakowany user experience (UX): fundamentalnym założeniem prawidłowego designu jest umiejętność postawienia się na miejscu klienta. Zrozumienie jego potrzeb i oczekiwań było, jest i będzie kluczem do sukcesu w biznesie. To, jak zaprojektujesz doświadczenie użytkownika w zakresie odpowiedzi chatbota, ma oczywiście ogromne znaczenie, być może nawet większe od pozostałych metryk, ponieważ nie da się go bezpośrednio śledzić przez platformę lub narzędzie analityczne. Jeśli chatbotowi brakuje osobowości i charakteru, jeśli użytkownicy nie mają do niego zaufania lub jeśli rozmowy z nim są po prostu frustrujące ze względu na niezadowalający design, być może warto przyjrzeć się ścieżce klienta.
• Stałe problemy techniczne: to normalne, że czasem coś się zepsuje. Jeśli jednak nasz chatbot jest częściej niedostępny niż dostępny, czy to ze względu na całkowitą awarię, czy częste zawieszanie się lub utratę łączności z siecią, konieczne jest jak najszybsze zbadanie tej sprawy.
• Wdrożenie na nieodpowiednim kanale: chatbot wdrożony na WhatsAppie będzie działać inaczej w tym środowisku niż gdy będzie wdrożony na Messengerze lub bezpośrednio na stronie klienta. Ten niepozorny błąd łatwo przeoczyć, więc pamiętaj o nim i odpowiednio dostosuj kod chatbota do interfejsu wybranego kanału komunikacyjnego.
• Ograniczona funkcjonalność i integracja: Niezależnie od stopnia zaawansowania Twojego chatbota, powinien on zawsze oferować możliwość przekazania rozmowy do konsultanta. Chatboty są świetne w rozwiązywaniu powtarzających się problemów, jednak procesy które wymagają więcej decyzyjności i kreatywności powinny być przejmowane przez ludzi. Z tego powodu zalecamy uwzględnienie integracji z systemami CRM, bazami danych i innymi systemami należącymi do zespołów obsługi klienta. Jeśli Twojemu chatbotowi brakuje tej lub innej funkcjonalności i nie potrafi on sięgać po dane klienta z bazy danych, przetwarzać transakcji lub prezentować twoich pozostałych produktów i usług, twoi klienci będą unikać interakcji z botem i kierować się prosto do agentów, zapychając kolejki i przedłużając czas oczekiwania na połączenie. Jeśli więc współczynnik przekazywania rozmów jest bardzo wysoki, warto się temu przyjrzeć.

Zbieranie istotnych danych

Rozwiązania na dolegliwości Twojego biznesu nie rosną na drzewach. Razem z zespołem designerów chatbota musisz przeprowadzić burzę mózgów i, analizując odpowiednie dane, wyszukać obszary do usprawnienia, obmyślić właściwe sposoby na poprawę wydajności i nadać priorytet wszystkim kwestiom zgodnie z potrzebami biznesowymi i powagą niedociągnięć chatbota.

Jak właściwie można sprawdzić skuteczność bota?

Do tego potrzebny jest dostęp do danych. W idealnym świecie korzystasz z platformy wyposażonej w perfekcyjnie czytelny panel główny, dający Ci pełny ogląd wszystkich wskaźników wydajności kluczowych dla wirtualnego asystenta. Kierując się optymalizacją chatbota, najważniejsze, które trzeba mieć na uwadze, to:

•  współczynnik automatyzacji (czyli ile pytań obsługuje bot w porównaniu do konsultantów),
• procent nierozpoznanych pytań,
• oceny klientów również znane jako NPS (Net Promoter Score),
• przeciętna długość rozmowy.

Zakładając, że Twoja platforma udostępnia Ci wszystkie te dane, aby odpowiednio ocenić wyniki chatbota, skup się na śledzeniu statystyk dotyczących rozmów i pomyśl nad aspektami, które można by poprawić. Dobrym punktem wyjścia jest przyjrzenie się najczęściej i najrzadziej występującym tematom rozmów. W tym pierwszym przypadku należy zwiększyć trafność rozpoznawania zamiaru użytkownika oraz współczynnik automatyzacji najbardziej jak się da, by zmniejszyć obciążenie spoczywające na barkach pracowników działu obsługi klienta. Druga kwestia wymagać będzie bliższego przyjrzenia się sprawie, by zrozumieć klientów. Czy zwyczajnie nigdy nie poruszają tego tematu, czy może w rozmowie pomijają chatbota i proszą o połączenie i rozmowę bezpośrednio z konsultantem? Warto zbadać każdy potencjalny trop, aby zarówno czerpać zysk z umykających korzyści, jak i stale ulepszać swojego chatbota.

Kluczowe KPIs do mierzenia na platformie budowania botów

Gdy zgromadzisz już cały szereg liczb, procentów i wykresów może okazać się, że wybranie spośród nich tych właściwych metryk do śledzenia wcale nie jest takie proste, nie mówiąc już o wyodrębnieniu i ustaleniu kluczowych wskaźników wydajności dla chatbota, by świetnie się sprawdzał.

Jeśli potrzebujesz ściągi, poniżej znajdziesz świetny przykład tego, jak powinien wyglądać intuicyjnie zaprojektowany główny panel do analizy wyników chatbota (na przykładzie  SentiOne Automate).

1. Objętość rozmów (conversations volume)

Oferuje wgląd w całkowitą liczbę rozmów odbytych w danym czasie i pozwala filtrować według wiadomości użytkownika, bota lub wszystkich, a także całkowitej liczby użytkowników.

SentiOne Analytics: Conversations volume

2. Tagi (tags)

Dzięki w pełni konfigurowalnemu systemowi tagów, który pozwala definiować i oznaczać konkretne tematy na przyszłość, możesz ze zwiększoną precyzją śledzić częstotliwość ich występowania, tworzyć lejki i monitorować wskaźniki wydajności.

SentiOne Analytics: Tags

3. Intencje (intents)

Prosty sposób, by analizować wszystkie intencje użytkowników, które chatbot pomyślnie rozpoznał na przestrzeni czasu.

SentiOne Analytics: Intents

4. Przekierowania (redirects)

Ta statystyka śledzi przypadki, gdy bot zostaje poproszony o przekazanie rozmowy do konsultanta, np. ze względu na niesatysfakcjonujące rozpoznanie intencji.

SentiOne Analytics: Redirects

5. Nierozpoznane wiadomości (unrecognized messages)

Ten niezbędny wskaźnik pozwala uzyskać wgląd w te wiadomości, w których chatbot nie potrafił rozpoznać intencji. Jest to sygnał, że konieczne może być zaprogramowanie dodatkowych tematów w systemie NLU (przetwarzania języka naturalnego) chatbota.

SentiOne Analytics: Unrecognised messages

Wskazówki dotyczące ulepszenia chatbota

Skupmy się na możliwych do zastosowania metodach poprawy wskaźników sukcesu chatbota.

Po pierwsze, jeśli projektując swoje produkty nie wkładasz jeszcze znacznego wysiłku w doświadczenie użytkownika, być może nadal żyjesz na początku zeszłej dekady. Dlaczego? Niech liczby mówią same za siebie: każdy dolar zainwestowany w UX może zwrócić się nawet stokrotnie. Stworzenie chatbota, z którego korzystanie będzie dla użytkownika przyjemnym doświadczeniem sprawi, że klienci będą powracać, zwiększając z kolei liczbę zautomatyzowanych rozmów. Znów przewija się tutaj zasadnicza rola, jaką odgrywa znajomość naszych odbiorców w procesie budowania chatbotów. Obowiązkowym zabiegiem jest nie tylko dostosowanie odpowiedzi bota do bazy klientów i ich potrzeb, ale także pozostawanie świadomym ograniczeń designu preferowanego przez nich kanału komunikacji. W dodatku trzeba być również gotowym na zmianę kanału, jeśli tak też zrobią nasi użytkownicy. Ponadto, nie można zapomnieć o promocji i marketingu chatbota. Aby współczynnik zaangażowania chatbota stale rósł, nie wystarczy jedna fala mailingowa markująca jego uruchomienie. Informuj swoich klientów w taktowny sposób, ale nie wciskaj im niczego na siłę.

Bezpośrednie śledzenie rozmów pozwoli Ci uczynić chatbota bardziej niezależnym i ograniczyć częstotliwość przekazywania rozmów. Sprawdź częste przyczyny dla których klienci ostatecznie zwracają się do agentów i poszukaj luk w chatbocie, aby zidentyfikować możliwości automatyzacji, których potencjalnie nie wykorzystujesz. Porozmawiaj też ze swoimi konsultantami, z pewnością posiadają bogatą wiedzę w tym zakresie. Jeśli wszystkie ważne przepływy dialogowe są już zoptymalizowane, rozważ skupienie się na automatyzacji procesów transakcyjnych, ponieważ klienci często proszą o przekierowanie do konsultanta tylko dlatego, że bot nie potrafi ich wykonywać.

Nierozpoznane wiadomości można ograniczyć poprzez dalsze, nieco bardziej precyzyjne szkolenie chatbota. Analizując transkrypcje rozmów wyodrębnisz te sytuacje, w których Twój chatbot się gubi, na przykład gdy napotyka slang, trudne do zrozumienia akcenty (jeśli korzystasz z voicebota) lub gdy osoby niebędące rodzimymi użytkownikami języka (np. angielskiego) próbują komunikować się z chatbotem. Dobrze jest również przeprowadzić eksperymenty z prawdziwymi ludźmi. Heurystyczna ewaluacja przeprowadzona przez ekspertów może często okazać się nietrafionym strzałem, zaś testy z autentycznymi użytkownikami, choć są bardziej czasochłonne, pozwalają na uzyskanie precyzyjniejszych wyników i nie marnują funduszy. Nie próbuj zgadywać, jak rozmawiają twoi użytkownicy. Zamiast tego, po tę wiedzę sięgnij bezpośrednio do źródła i podejmuj decyzje oparte na danych.

Podsumowując, jeśli chcesz zwiększyć satysfakcję klienta i NPS, wykorzystuj często te metody i staraj się stale ćwicz swojego chatbota w oparciu o rzeczywisty feedback. Ankieta na koniec każdej rozmowy wydaje się trywialna, ale wcale taka nie jest.

Popraw wskaźniki wydajności chatbota z SentiOne Automate

Chcesz dowiedzieć się więcej o analityce chatbotów? SentiOne Automate oferuje wgląd w przydatne do usprawniania wirtualnych asystentów dane, określające tendencje twoich klientów podczas rozmów z chatbotem. Nasza platforma posiada niezawodne, wbudowane narzędzia analityczne z dostępem do danych śledzonych w czasie rzeczywistym. Zapomnij o zewnętrznym oprogramowaniu czy outsourcingu analizy wyników. Dokładamy wszelkich starań, by zapewnić Ci dostęp do wszystkich informacji niezbędnych do ewaluacji chatbota i wprowadzenia zmian, które zwiększą Twoje ROI. Umów się na spotkanie z naszym zespołem aby dowiedzieć się więcej o SentiOne Automate.

Podsumowanie artykułu

Ten artykuł omawia znaczenie monitorowania i poprawy wydajności chatbota. Podkreśla potrzebę ciągłego obserwowania i iteracji w celu zapewnienia, że chatbot spełnia oczekiwania. Artykuł analizuje możliwe przyczyny słabej wydajności, takie jak niewystarczające szkolenie modeli NLU, złe doświadczenia użytkowników, nieprawidłowa implementacja chatbota na kanałach komunikacyjnych i ograniczona funkcjonalność. Podkreśla jak ważne jest zbieranie odpowiednich danych i proponuje kluczowe wskaźniki wydajności (KPI), które warto śledzić, w tym wskaźnik automatyzacji, nierozpoznane pytania, oceny klientów i długość rozmowy. Artykuł przedstawia wskazówki dotyczące poprawy funkcjonalności chatbota, takie jak skupienie się na doświadczeniu użytkownika, monitorowanie rozmów, automatyzacja procesów transakcyjnych i szkolenie chatbota do radzenia sobie z konkretnymi sytuacjami.