Im Rahmen meiner Bachelorarbeit habe ich in Fachmedien- und Publikationen diskutierte deutschsprachige Chatbots einer Analyse unterzogen. Mein Fokus lag nicht auf Chatbots aus dem E-Commerce, sondern generell darauf, wie weit die Chatbots im deutschsprachigen Raum entwickelt sind. Zum Zeitpunkt der Tests waren 18 von den 37 in den Fachmedien- und Publikationen gefundenen Chatbots bereits nicht mehr aktiv und konnten deshalb nicht getestet werden. Zu den getesteten 19 Chatbots zählen unter anderem der Chatbot von Geschenkidee.ch, der Bundesagentur für Arbeit oder der Versicherung Helvetia.
Für die Analyse wurden die vier Dimensionen Zuverlässigkeit, Reaktionsfähigkeit, Leistungskompetenz sowie Einfühlungsvermögen untersucht.
Jede dieser Dimensionen beinhaltet ein- bis drei Kriterien, nach welchen die Leistungsfähigkeit des Chatbots beurteilt wurde. Benotet wurde mit den Punktzahlen eins bis drei wobei eine 3 für «gut», eine 2 für «neutral» und eine 1 für «zu verbessern» steht.
Die Ergebnisse der Analyse zeigen: es gibt noch viel Luft nach oben.
Zuverlässigkeit
Erwartungsgemäss gut abgeschnitten hat das Kriterium der zeitlichen Erreichbarkeit mit der maximalen Punktzahl über alle untersuchten Chatbots hinweg. Ebenfalls die volle Punktzahl erzielen konnte das Kriterium der Benutzerfreundlichkeit, denn mit Ausnahme von einem getesteten Chatbot sind alle Bots über den weitverbreiteten Facebook-Messenger zugänglich. Die Bedienung dieses Messengers ist sich der User gewohnt und wird daher als einfach eingeschätzt.
Beim Kriterium der «Erreichbarkeit nach Kanal» können sich die getesteten Chatbots durchwegs verbessern, so werden die Chatbots ausschliesslich im Facebook-Messenger angeboten und nicht über weitere Kanälen wie die Website, Whatsapp oder Slack, wo weitere Nutzergruppen erreicht werden könnten.
Reaktionsfähigkeit
Bei der Dimension Reaktionsfähigkeit haben die Chatbots, erwartungsgemäss, allesamt die volle Punktzahl abgeräumt. Einzig getestetes Kriterium dieser Dimension war die Reaktionsgeschwindigkeit. Alle Chatbots antworteten innert weniger Sekunden und erreichten dementsprechend die Maximalwertung.
Leistungskompetenz
Im Erkennen der effektiven Nutzer-Absicht/Anliegen sind die Fähigkeiten der Chatbots unterschiedlich ausgeprägt. Bei manchen entsteht der Eindruck, dass relativ viel verstanden wird. Andere Chatbots dagegen können nur mit den Antwortvorschlägen, welche vom Nutzenden ausgewählt werden können, eine Konversation führen. Gibt der Benutzende selbst etwas ein, stossen diese Chatbots an ihre Grenzen.
Auch im Umgang mit Störungen sind die Chatbots ungeschickt. Getestet wurde der Umgang mit Störungen indem während der Konversation eine Frage zu einem anderen Thema gestellt wurde, beispielsweise nach offenen Stellenangeboten in der Firma. Dabei hat sich gezeigt, dass nur zwei der getesteten Chatbots einen passenden und nützlichen Vorschlag machen konnten. Die anderen Chatbots unterbreiten entweder einen generischen Lösungsvorschlag oder verstehen die Frage nicht.
Einfühlungsvermögen
Das Erlebnis und die Spracheingabe beim Benutzen der Chatbots ist stark zu verbessern. Immerhin entsteht bei einigen Bots das Gefühl, dass nicht nur auf Schlüsselwörter reagiert wird, sondern die Eingaben ansatzweise verstanden werden.
Ein richtiger Dialog entsteht mit den Chatbots jedoch nicht – bestenfalls etwas, was sich als «fragmentierte Unterhaltung» bezeichnen lässt.
[…] Chatbots: Im Rahmen ihrer Bachelorarbeit hat Heidi Kölliker deutschsprachige Chatbots einer Analyse unterzogen. Dabei hat sie die vier Dimensionen Zuverlässigkeit, Reaktionsfähigkeit, Leistungskompetenz sowie Einfühlungsvermögen untersucht. Ihre Analyse zeigt: Es gibt noch viel Luft nach oben. carpathia.ch […]