Badanie porównawcze prototypu wielojęzycznego polsko-ukraińskiego modelu klasyfikacji tekstu

Zespół badawczy SentiOne postanowił przeanalizować komercyjne modele klasyfikacji tekstu w języku polskim i ukraińskim. Porównano klasyfikację intencji na dwóch modelach: Google DialogFlow oraz wielojęzyczny prototyp SentiOne. W rezultacie, w zakresie klasyfikacji intencji, rozwiązania komercyjne osiągają istotnie niższe wyniki niż eksperymentalny komponent SentiOne na poziomie gotowości technologicznej III. Na zbiorze testowym złożonym z 500 tekstów w języku polskim osiągnął on skuteczność 95%, podczas gdy popularne rozwiązanie konkurencyjne Google DialogFlow osiągnęło niższy wynik równy  88%. Oznacza to, iż proponowane SentiOne redukuje błąd klasyfikacji o ponad połowę, co znacząco poprawi doświadczenia klienta końcowego prowadzącego dialog z konwersacyjną SI. 

1. Wstęp

W ramach badania zweryfikowano skuteczność działania prototypu wielojęzycznego polsko-ukraińskiego modelu rozpoznawania intencji w warunkach laboratoryjnych. Prototyp został zbudowany przez SentiOne i został porównany z wiodącym istniejącym rozwiązaniem DialogFlow od Google.

2. Zbiory

Do przeprowadzenia badania został wykorzystany zbiór zbudowany przez SentiOne. Zbiór zawierał 1000 wypowiedzi w języku polskim w tematyce sprzedaży oraz obsługi klienta w przemyśle energetycznym. Wypowiedzi zostały ręcznie oznaczone jedną z 20 intencji przez zespół lingwistów. Następnie wypowiedzi zostały przetłumaczone na język ukraiński. W ten sposób otrzymany został dwujęzyczny, polsko-ukraiński zrównoleglony zbiór oznaczony intencjami.

3. Eksperymenty

W trakcie eksperymentów zbiór opisany w pkt. 2. został podzielony na część treningową oraz testową w stosunku 1:1. Podział został wykonany losowo, ze stratyfikacją. 

Eksperymenty przeprowadzono na trzy sposoby:

1. Rozpoznawanie intencji w języku polskim przy wykorzystaniu zbioru uczącego w języku polskim,
2. Rozpoznawanie intencji w języku ukraińskim przy wykorzystaniu zbioru uczącego w języku ukraińskim,
3. Rozpoznawanie intencji w języku ukraińskim przy wykorzystaniu zbioru uczącego w języku polskim.

Badanie miało na celu porównanie skuteczności rozwiązań w każdej z trzech konfiguracji. Do porównania wykorzystano prototyp wielojęzycznego polsko-ukraińskiego modelu zbudowanego przez SentiOne oraz wiodące istniejące rozwiązanie DialogFlow od Google. Wykorzystano miarę f1. Wyniki testu są podane w tabeli nr 1.

Tabela nr 1. Wyniki porównania rozwiązań

Jak można zauważyć, prototyp zbudowany przez SentiOne osiągnął lepsze rezultaty w każdym z trzech przypadków testowych. W przypadku konfiguracji ze zbiorem uczącym w języku polskim oraz zbiorem testowym w języku ukraińskim wiodące istniejące rozwiązanie DialogFlow nie wykazało cechy działania wielojęzycznego, w przeciwieństwie do prototypu zbudowanego przez SentiOne.

4. Podsumowanie

W ramach przeprowadzonego badania porównano prototyp wielojęzycznego polsko-ukraińskiego modelu rozpoznawania intencji zbudowanego przez SentiOne. Prototyp został porównany z wiodącym istniejącym rozwiązaniem DialgFlow od Google, z wykorzystaniem ręcznie oznaczonego zrównoleglonego zbioru polsko-ukraińskiego. Otrzymane wyniki wskazują na działanie przewyższające działanie wiodącego istniejącego rozwiązania oraz potwierdzają osiągnięcie przez SentiOne poziomu gotowości technologicznej TRL III.