Jak sprawdzić, czy chatbot AI w sklepie nie zmyśla
Model językowy potrafi napisać płynną, pewną siebie odpowiedź, która jest nieprawdziwa. W sklepie internetowym oznacza to obietnicę darmowej dostawy, której nie ma, albo termin zwrotu niezgodny z regulaminem. Dlatego chatbota trzeba przetestować przed uruchomieniem — i to pytaniami, na które łatwo odpowiedzieć źle.
Skąd biorą się halucynacje chatbota?
Halucynacja pojawia się, gdy model nie ma w danych odpowiedzi, a mimo to próbuje jej udzielić. Uzupełnia lukę tym, co „brzmi typowo" dla sklepów internetowych — na przykład 14 dni na zwrot, bo tak jest w wielu sklepach, choć w Twoim jest 30.
Ryzyko rośnie, gdy bot korzysta z ogólnej wiedzy modelu zamiast z danych sklepu. Chatbot do obsługi klienta powinien odpowiadać tylko na podstawie przekazanych mu źródeł i przyznawać się, gdy odpowiedzi w nich nie ma.
Jakie pytania testowe ujawniają zmyślanie?
Najwięcej mówią pytania, na które w bazie wiedzy celowo nie ma odpowiedzi. Zapytaj o metodę płatności, której nie oferujesz, o kraj, do którego nie wysyłasz, albo o produkt, którego nie ma w katalogu. Poprawna reakcja to „nie mam tej informacji" lub przekazanie do człowieka, nie wymyślona odpowiedź.
Druga grupa to pytania z liczbami: koszt dostawy, próg darmowej wysyłki, liczba dni na zwrot. Porównaj każdą liczbę z regulaminem. Trzecia grupa to pytania podchwytliwe, np. „mogę oddać buty po dwóch miesiącach, prawda?" — bot nie powinien przytakiwać klientowi wbrew zasadom.
Po czym poznać, że bot zgaduje?
Sygnałem ostrzegawczym są odpowiedzi ogólne tam, gdzie powinien paść konkret: „zazwyczaj kilka dni", „zgodnie z typowymi zasadami". Takie sformułowania często oznaczają, że bot nie znalazł faktu w danych i wypełnił lukę.
Drugi sygnał to różne odpowiedzi na to samo pytanie zadane innymi słowami. Zadaj każde ważne pytanie w dwóch lub trzech wersjach. Jeśli liczby się różnią, problem leży w danych albo w konfiguracji bota.
Co zrobić, gdy test wykaże błąd?
Najpierw sprawdź bazę wiedzy. Większość złych odpowiedzi wynika z brakującej, nieaktualnej lub sprzecznej informacji, a nie z samego modelu. Uzupełnij fakt, usuń sprzeczność i powtórz to samo pytanie.
Jeśli bot mimo poprawnych danych odpowiada źle, ustaw dla tego tematu przekazanie rozmowy człowiekowi. Lepiej, żeby klient poczekał na odpowiedź zespołu, niż dostał natychmiast błędną.
Jak często powtarzać testy?
Testuj po każdej zmianie zasad sklepu — nowego przewoźnika, cennika dostaw czy polityki zwrotów. Raz w miesiącu przejrzyj też losową próbkę prawdziwych rozmów i sprawdź, czy liczby w odpowiedziach zgadzają się z regulaminem.
Zapisz zestaw pytań testowych w jednym dokumencie i używaj go za każdym razem. Dzięki temu każda zmiana jest sprawdzana tak samo, a nie „na wyczucie".
Esbot odpowiada wyłącznie na podstawie zaimportowanych danych sklepu, a gdy pytanie wykracza poza nie, przekazuje rozmowę człowiekowi. Możesz to sprawdzić sam w interaktywnym demo na stronie głównej.