Qualitätssicherung ist in der heutigen Softwareentwicklung von entscheidender Bedeutung. Sie garantiert nicht nur eine möglichst fehlerfreie Funktionalität von Anwendungen, sondern auch die Zufriedenheit der Endnutzer. Eine effiziente Möglichkeit, die Qualität unserer Software sicherzustellen, ist die Verwendung der imbus TestBench. Unser Mitarbeiter Jürgen hat es treffend formuliert: „Die Verwendung der TestBench ermöglicht uns eine effektive Pflege unserer Softwaretestfälle, was für mehr Zufriedenheit bei unseren Kunden im digitalen Kundenservice sorgt.“
In diesem Blogbeitrag werden wir näher darauf eingehen, warum imbus für uns ein vertrauenswürdiger Partner ist und wie deren Tool TestBench dazu beiträgt, die Qualität unserer Software zu gewährleisten.

Regionale Nähe und effiziente Kommunikation

Da die Firma imbus ein regionaler Ansprechpartner ist, gewährt diese Nähe eine schnelle und unkomplizierte Kommunikation, sowohl virtuell als auch vor Ort. Als führender Anbieter im Bereich Testing in Deutschland ist diese persönliche Betreuung ein klarer Vorteil in unseren Augen. Unsere Erfahrung zeigt, dass die enge Zusammenarbeit und der persönliche Kontakt die Effizienz steigern und Problemlösungen beschleunigen.

Automatisierte Testfälle für eine hohe Effizienz

Die Automatisierung von Testfällen ist ein Schlüsselaspekt in der Qualitätssicherung von Software. Die TestBench ermöglicht uns, automatisierte Testfälle einfach zu erstellen und zu verwalten. Wir haben Selenium (OpenSource, Java) in Verbindung mit der TestBench als Testautomatisierungsframework im Einsatz. Darüber hinaus können wir unsere Automatisierung in Jenkins integrieren, um eine Continuous Integration Pipeline für unsere Projekte aufzubauen. Diese Funktionalität spart nicht nur Zeit, sondern gewährleistet auch eine konsistente und wiederholbare Testdurchführung. Die Testfälle sind in einer „excel-artigen“ Struktur dargestellt, was ihre Lesbar- und Nachvollziehbarkeit verbessert.

Variantenmanagement für mehr Flexibilität

In der Softwareentwicklung müssen unsere Testfälle oft in verschiedenen Projekten oder in verschiedenen Sprachen wiederverwendet werden. Die TestBench bietet dafür ein effizientes Variantenmanagement. Alle Testfälle werden in einem gemeinsamen Repository gespeichert und können einfach in den verschiedenen Projekten verwendet werden. Die einfache Auswahl der gewünschten Testvarianten kann durch Checkboxen oder Variantenmarker erreicht werden. Dieses Feature trägt dazu bei, den Verwaltungsaufwand zu minimieren und die Wiederverwendbarkeit von Testfällen zu maximieren.

Key-Word-Driven Testing für Wartbarkeit und Effizienz

Eine weitere unverzichtbare Eigenschaft der TestBench ist das Key-Word-Driven Testing. Diese Methode vereinfacht die Wartung von Produkt- und Projekttestfällen erheblich. Sie führt zu einer klaren Trennung von Testdesign und Testimplementierung. Mit Key-Word-Driven Testing wird die Testerstellung erleichtert und beschleunigt, da vordefinierte Schlüsselwörter für die Erstellung neuer Tests verwendet werden. Dies führt zu einer höheren Effizienz und Wartbarkeit der Testfälle, da Änderungen im Testdesign keine umfangreichen Anpassungen des Testimplementierungscodes erfordern.

Fazit: Strukturierte Qualitätssicherung

Die TestBench von imbus bietet uns eine strukturierte und effiziente Qualitätssicherungslösung. Die vielfältigen Möglichkeiten der Berichterstattung gewährleisten eine kundenspezifische Anpassung von Berichten und eine einfache Auswertung der Testergebnisse. Die Erstellung von Testfällen ist dank Funktionen wie Drag & Drop unkompliziert und benutzerfreundlich. Mit der TestBench erreichen wir eine hohe Qualität unserer Software und gewährleisten die Zufriedenheit unserer Kunden.

Wir sind stolz darauf, mit einem vertrauenswürdigen Partner wie imbus zusammenzuarbeiten, deren Software unsere Anforderungen erfüllt und die uns bei der Bereitstellung hochwertiger Software unterstützt.

Sommerzeit ist Reisezeit – und gleichzeitig die heißeste Zeit in der Customer Service Abteilung. Während der Hochkonjunktur müssen sich die Kundenservicemitarbeiter zahlreichen Widrigkeiten stellen. Damit schlechte Schlagzeilen wie „Flug-Entschädigung: die Tricks der Airlines“ der Vergangenheit angehören, haben wir die fünf größten Herausforderungen im Sommer zusammengestellt. Und anschließend herausgearbeitet, wie Agents im Kundenservice diesen, trotz des enorm hohen Aufkommens, weiterhin adäquat und wohlwollend begegnen können.

Diese fünf Herausforderungen bewirken hitzige Arbeitsstunden

Niemand möchte seine Arbeitszeit im Dauerstress verbringen. Bei einigen Kundenservice Abteilungen ist das im Sommer allerdings Alltag. In dieser hitzigen Jahreszeit erschweren folgende fünf Themenblöcke überwiegend die Arbeitszeit der Kundenservice Mitarbeitenden.

1. Hohe Kundenanfragen

Die Sommerwochen sind die Zeit, in der die Airlines den Umsatz des Jahres machen. Die Menschen sind in den langersehnten Jahresurlaub unterwegs und nutzen dafür überwiegend den Flieger. Das führt zu einer erhöhten Nachfrage der Flugtickets und entsprechenden Anfragen im Kundenservice, da der Urlaub für die Familien ein einmaliges und emotionales Ereignis ist. Aufgrund dessen sollte alles perfekt und alle Fragen im Vorfeld geklärt sein. Je höher die Frequenz solcher Anfragen ist, desto länger kann es zu Wartezeiten für eine Antwort kommen. Die Arbeitszufriedenheit ist dadurch enorm beeinträchtigt. Das wirkt sich entsprechend auf die Kundenzufriedenheit aus.

2. Flugverspätung und Stornierungen

Im Sommer können Wetter, Flughafenüberlastung, Fehler in den Prognosen sowie Planungen und Probleme mit den Flugzeugen zu Flugverspätungen und -stornierungen führen. Da bedarf es schneller und genauer Informationen über alternative Flüge, Umbuchungen oder Entschädigungen für die Passagiere. Vor allem, wenn sie auf den Ausweichflug warten, haben sie Zeit, um nach Entschädigungen zu fragen und darauf zu warten. Wer hier umgehend reagiert, steigt in der Beliebtheitsskala der Kunden sofort nach oben, auch wenn es mal wieder in bisschen länger mit dem Flug dauert.

3. Probleme mit dem Gepäck

Wenn mehr Personen unterwegs sind, bedeutet das automatisch erhöhtes Gepäckaufkommen. Die Wahrscheinlichkeit von mehr Gepäckverlust, -verspätungen oder -beschädigungen steigt entsprechend an. Unterstützt wird das von den oben genannten Flugunregelmäßigkeiten und technischen Problemen am Flughafen. Diese Fälle müssen rasch gelöst werden, um die Zufriedenheit der Passagiere zu gewährleisten. Schnelle Kommunikationswege und Verfolgbarkeit schaffen erste Erleichterungen für das Personal.

4. Kommunikationsvielfalt

Die Wege zu kommunizieren sind so unterschiedlich wie die Flugreisenden selbst. Das heißt, es werden gerne E-Mails, Social Media, Chats, Anrufe und Webforms verwendet. Dabei können Informationen verloren gehen oder gedoppelt werden. Ein Streamlinen der Informationen ist absolut notwendig, um eine konsistente und effektive Kommunikation zu gewährleisten.

5. Personalengpass

Das Kundenserviceteam leidet schon ohne Hochphase an einem Personalmangel. Die erhöhte Reisetätigkeit führt zu weiteren Engpässen, gefördert durch Krankenstand, kurzfristigen Kündigungen oder sprachlichen Hürden mit neuen Kollegen aus anderen Ländern. Automatisierungen im Geschäftsvorgang sind hilfreich, um diese Misere etwas abzumildern.

Mit targenio auch im Sommer einen kühlen Kopf bewahren

Für die Psyche und die Art der Kommunikation ist der hohe Arbeitsanschlag im sommerlichen Kundenservice der Airlines selten ein angenehmes Umfeld. targenio macht es möglich, dass die Agents auch im Sommer entspannt auf ihre Arbeit und mit kühlem Kopf in die Kundenkommunikation gehen. Den Vorteil spüren vor allem die Kunden, die wesentlich zufriedener aus dem Gespräch gehen und bestenfalls zu treuen Fans werden. Fünf ausgewählte Funktionen für die sommerliche Herausforderung haben wir hier aufgelistet:

1. Aufgabenliste mit Funktionen

targenio ermöglicht Mitarbeitern das Anzeigen, Sortieren und Filtern von individuellen oder Gruppenaufgaben. Darüber hinaus integriert die Software Funktionen wie den Bearbeitungsstatus, die Terminberechnung und die Ampelfunktion. Diese Werkzeuge dienen der Priorisierung von Aufgaben und tragen dazu bei, auch während des geschäftigen Sommerreiseverkehrs ein strukturiertes Arbeiten zu erlauben. So können dringende Anliegen effektiv gehandhabt werden, während die Qualität des Kundenservices auf einem hohen Niveau bleibt.

2. 360° Case Management

Mit dem 360° Case Management werden sämtliche relevanten Daten und Funktionen, die zur Bearbeitung eines Vorgangs benötigt werden, in einer einzigen Oberfläche integriert. Dadurch entfällt die Notwendigkeit, in verschiedenen Systemen zu arbeiten. Diese nahtlose Integration erleichtert den Mitarbeitern die effiziente Abwicklung von Vorgängen, insbesondere während hochfrequenter Zeiten, wie der Reisesaison. So können sie zentral auf alle benötigten Informationen zugreifen, ohne zwischen verschiedenen Systemen wechseln zu müssen, was letztendlich Zeit spart und den Passagieren eine kürzere Wartezeit auf eine Antwort bietet.

3. Multicountry Kommunikation

targenio erlaubt nicht nur in den Sommermonaten eine nahtlose internationale Zusammenarbeit zwischen den involvierten Servicemitarbeitern und ihren Kunden. Sowohl Anwender als auch Kunden werden in ihrer jeweiligen Landessprache angesprochen, wobei Zeitzonen, Feier- und Arbeitstage Berücksichtigung finden. Diese Zusammenarbeit wird durch maßgeschneiderte Oberflächen ermöglicht, die individuell auf die Bedürfnisse zugeschnitten sind. Zusätzlich werden Beträge in den jeweiligen Landes- und Konzernwährungen angezeigt. All diese Funktionen unterstützen eine reibungslose grenzüberschreitende Zusammenarbeit, vor allem während der herausfordernden Hochsaison.

4. Intuitive, automatisierte & flüssige Vorgangsbearbeitung
Während der hektischen Hochsommersaison werden Kundenservicemitarbeiter durch intuitiv bereitgestellte Informationen, Aufgaben und Workflow-Entscheidungen nahtlos durch verschiedene Abläufe geführt.
Zusätzlich kommt hier die Automatisierung ins Spiel. Die Aufgabenpalette reicht von der reibungslosen Erstellung eines Vorgangs mit Kundendaten aus Webformularen, inklusive Datenanreicherung, über die Verarbeitung von Gutscheinen und Zahlungen bis hin zur Abwicklung kompletter Prozesse wie der Bearbeitung von Flugverspätungen von 3 Stunden oder mehr.  
Diese Herangehensweisen erleichtern und beschleunigen die Bearbeitung von Vorgängen für das Kundenservice-Team erheblich, während gleichzeitig sichergestellt wird, dass Passagiere während dieser geschäftigen Zeit reibungslose und angenehme Kommunikationserlebnisse genießen können.

5. Analytische Einblicke

targenio erleichtert komplexe End-to-End-Prozesse im Kundenservice, wobei die Fähigkeit zur Auswertung der Vorgänge von besonderer Bedeutung ist. Präzise Erkenntnisse ermöglichen die Ableitung zukünftiger Handlungsstrategien. Dies trägt zur Steigerung der Effizienz der Prozesse bei, was wiederum Zeit für individuelle Rückmeldungen an die Passagiere schafft.

Mit targenio entspannt durch den Sommer

Unsere Lösung bietet eine Vielzahl von Funktionen, um Kundenservicemitarbeitern in der Hochsaison zu unterstützen. Von der effizienten Bewältigung hoher Kundenanfragen bis zur nahtlosen Kommunikation über Ländergrenzen hinweg – targenio ermöglicht es, mit Leichtigkeit den Herausforderungen des Sommerreiseverkehrs zu begegnen. Priorisierung von Aufgaben, Integration relevanter Daten und Optimierung von Prozesses – alles in einer zentralen Oberfläche.

Kontaktiere uns gerne, um mehr darüber zu erfahren, wie targenio den Mitarbeitenden die Arbeit in dieser herausfordernden Zeit erleichtern kann.

Seit 20 Jahren befassen wir uns mit der Idee, dass Software Kundenwünsche verstehen können soll. Unsere ersten Versuche, das Kategorisieren von Kundenanliegen mit Hilfe von künstlicher Intelligenz zu automatisieren, waren ernüchternd. Die Klassifizierungsfähigkeiten der verfügbaren Algorithmen waren ungenügend. Und die benötigten Rechenressourcen zu hoch, um Künstliche Intelligenz (KI) produktiv einzusetzen.

Mit der Weiterentwicklung der Technologie, und der heute zur Verfügung stehenden Rechenpower, war es an der Zeit, diesen Versuch zu wiederholen. Dabei probierten wir aus, ob mit Hilfe von Machine Learning (ML) die Aufgabe der Zuordnung von unstrukturierten Kundentexten zu Kategorien automatisiert werden kann.

In unserem ersten Artikel zu KI und ML haben wir die allgemeine Entwicklung und Einsatzmöglichkeiten dargestellt. In diesem Beitrag beschreiben wir unsere aktuellen Ansätze, wie die Aufgabe „Kategorisieren von Kundenfeedback“ durch den Computer unterstützt, beziehungsweise übernommen werden kann. Bevor wir allerdings auf unsere konkreten Experimente eingehen, möchten wir vorab darstellen, welche Bedeutung das Kategorisieren von Sachverhalten im Kontext „Kundenservice“ hat.

Warum Kategorienbildung?

In jedem Augenblick, in jeder Konfrontation, suchen wir instinktiv nach Wegen, unsere Umwelt zu strukturieren, zu durchschauen, oder zumindest einen Überblick über sie zu gewinnen. Hierbei helfen uns Modelle die Komplexität zu reduzieren. Diese Modelle blenden einen Teil der Wirklichkeit aus und erlauben uns, dass wir uns auf das Wesentliche konzentrieren. Erst mit deren Hilfe sind wir in der Lage, in einer chaotischen Umwelt sinnvolle Entscheidungen zu treffen.

Das fundamentalste Modell, zu dem das menschliche Denken fähig ist, ist dabei die Kategorisierung, oder Kategorienbildung, bei der Objekte und Situationen in Gruppen, Untergruppen oder Begriffsklassen eingeteilt werden. Im Gegensatz zum bloßen Speichern von einzelnen Erfahrungsinhalten, geht dem Kategorisieren ein Denkprozess voraus, der die Ähnlichkeit von Objekten und Situationen untersucht und bewertet. Durch die Kategorisierungsfähigkeit unserer Gehirne erreichen wir eine größere Verhaltensflexibilität bei gleichzeitiger zeitökonomischer Verbesserung des Entscheidungsprozesses.

Was daraus für dein Unternehmen folgt?

Die Denkmodelle, die – bewusst oder unbewusst – in deinem Unternehmen vorherrschen, befähigen oder begrenzen die Fähigkeit, schnell, zuverlässig und wiederholbare Entscheidungen zu treffen. Vor diesem Hintergrund ist das zuverlässige Kategorisieren essentiell, damit du optimale Entscheidungen in deinem Unternehmen triffst. Mit diesem Wissen ergibt sich die herausfordernde Aufgabe, ein Kategoriensystem für dein Unternehmen mit Bedacht und Weitsicht zu entwickeln und anzuwenden.

Die Notwendigkeit eines solchen umfassenden Kategoriensystems ergibt sich insbesondere im Kundenservice. Hier laufen in besonderem Maße unstrukturierte Informationen aus einer Vielzahl von unterschiedlichen Quellen zusammen, die verarbeitet werden müssen. Ein „energiesparendes“ Entscheiden ist nur möglich, wenn das Zuordnen zu Kategorien schnell, einfach und zuverlässig erfolgt.

Anforderungen an ein Kategorisierungssystem

An das im Kundenservice eingesetzte Kategoriensystem ergeben sich damit folgende Anforderungen: Das Kategoriensystem, also das Set an Merkmalen, muss benennbar und minimal hinreichend sein. Es sollte also möglichst wenige Merkmale enthalten. Und dennoch ausreichend umfangreich sein, um alle Sachverhalte, mit denen der Kundenservice konfrontiert wird, zu beschreiben.

Das Kategoriensystem muss sicherstellen, dass die relevanten Handlungsfelder ausreichend repräsentiert sind, um eine hinreichende Informationsgrundlage für Entscheidungen der Geschäftsleitung zu ermöglichen. Am Beispiel einer Airline bedeutet dies konkret, dass der Kundenservice zu den „großen“ Themen auskunftsfähig sein muss:

• Wie viele Fluggäste haben sich bezüglich einer Flugverspätung beschwert?
• Wie viele Gäste haben einen Kofferschaden erlitten?
• Wie viele Anfragen zu Umbuchungen mussten bearbeitet werden?

Darüber hinaus muss es das Kategoriensystem ebenfalls ermöglichen, „kleinere“ Themen angemessen abzubilden. Bei diesen Kategorien geht es weniger darum, die reine Anzahl der betroffenen Kunden und Vorgänge zu ermitteln. Vielmehr ist es notwendig, aus der Menge der Vorgänge ohne großen Aufwand diejenigen zu identifizieren, an denen einzelne Stakeholder ein besonderes Interesse haben.

Gesetzliche Vorschriften führen zu einem Kategoriensystem

Schließlich muss es das Kategoriensystem ebenso ermöglichen, die Vorgänge zu kennzeichnen. Denn Unternehmen sind aufgrund gesetzlicher Vorschriften verpflichtet, gesondert Auskunft zu geben. So fordert die kanadische Luftaufsichtsbehörde, dass Airlines Auskunft über die Anzahl von Beschwerden mit Musikinstrumenten geben. Hintergrund für diese kuriose Anforderung ist vermutlich der Vorfall, bei dem der kanadische Musikers David Carroll die Zerstörung seiner Gitarre während einer Flugreise mit United Airlines selbst mit ansehen musste.

Auch wenn das Kategorisieren primär den Informationsinteressen der Entscheidungsträger im Unternehmen dient, ist ein durchdachtes und gut strukturiertes Kategoriensystem ebenfalls für den Mitarbeiter im Kundenservicehilfreich. Dieser hat die Aufgabe des Kategorisierens von Vorgängen. Beim Reflektieren über die richtige Zuordnung eines Vorgangs zu einer Kategorie, verschafft sich der Mitarbeiter für sich selbst Klarheit und Verständnis über den Vorgang. Dieses „Durchdenken“ erleichtert dem Mitarbeiter die Bearbeitung des Vorgangs und unterstützt das Treffen von angemessenen Entscheidungen. Zusätzlich kann der Mitarbeiter nach Feststellen der Kategorie in der Vorgangsbearbeitung durch targenio entlastet werden. targenio weist den Mitarbeiter auf ähnliche Bearbeitungen hin, zeigt relevante Informationen zur ausgewählten Kategorie an oder schlägt passende Textbausteine für das Beantworten eines Vorgangs vor.

Kategoriensystem im Kundenservice

Der Wert eines Kategoriensystems ergibt sich aus der Nützlichkeit der Informationen, die mit Hilfe der Kategorien codiert werden. Allein hieraus ist sichtbar, dass es keine allgemeingültigen Aussagen für den Aufbau eines Kategoriensystems geben kann. Allerdings haben wir durch die jahrelange Beschäftigung mit dem Thema „Kundenservice“ Erfahrungen gesammelt, wie ein Kategoriensystem aufgebaut und entwickelt werden sollte.

„Ex ante“ oder „Ex post“

Zunächst stellt sich die Frage, was und wann kategorisiert werden soll. Grob vereinfacht finden wir folgenden typischen Ablauf im Kundenservice:

•  Input: Der Kunde richtet sein Anliegen an den Kundenservice per E-Mail, über ein Kontaktformular oder per Telefon.
• Processing: Ein Kundenservicemitarbeiter versucht das Anliegen des Kunden zu verstehen, prüft und validiert die Angaben des Kunden, wägt ab und trifft dann eine Entscheidung.
• Output: Anschließend führt der Mitarbeiter die getroffene Entscheidung aus, wählt beispielsweise eine Lösung und informiert den Kunden.

Üblicherweise verbessert sich Art, Qualität und Umfang der Informationen, je weiter eine Bearbeitung voranschreitet. Hat der Mitarbeiter die Bearbeitung abgeschlossen, die Entscheidungen vollzogen, die vom Kunden akzeptiert wurde, sind die bis dahin fluiden Informationen fix. Daraus könnte abgeleitet werden, dass eine Kategorisierung erst nach der Bearbeitung – also ex post – erfolgen sollte.

Tatsächlich ist es aber so, dass am Beginn einer Bearbeitung eine Kategorisierung auf Basis der vom Kunden übermittelten Informationen erfolgt. Das frühe Kategorisieren wird sofort verständlich, wenn man bedenkt, welchen Informationsbeitrag der Kundenservice innerhalb eines Unternehmens leisten kann. Der Kundenservice macht die Stimme des Kunden für das Unternehmen sichtbar.

Zur Verdeutlichung ein anschauliches Beispiel aus der Airline Branche

Ob ein Flugzeug verspätet ist, und den Passagieren Ansprüche auf Ausgleichszahlungen nach Fluggastrechte-Verordnung zustehen, weiß eine Airline meist schon bevor das Flugzeug überhaupt gelandet ist. Diese Informationen ergeben sich aus den operativen Systemen, wie einem Fluginformationssystem. Die Information, wie die Verspätung von den Passagieren wahrgenommen wird, und ihre Reaktionen darauf, besitzt der Kundenservice exklusiv.

Hinzu kommt, dass der Kundenservice mit einer „frühen“ Kategorisierung den Vorgang versachlichen kann. Die Kategorien subtrahieren die Emotionen aus der Kundenäußerung, so dass eine faktenbasierte, rationale Entscheidung möglich wird. Zusätzlich unterstützt die IT die Fallbearbeitung leichter nach dem Zuordnen der Kundenartikulation zu Kategorien.

Ex ante wird oft durchgeführt

Aufgrund dieser Überlegungen erfolgt das Kategorisieren regelmäßig ex ante – also am Anfang der Fallbearbeitung. Gegenstand der Kategorisierung ist dabei die Äußerung des Kunden.

An dieser Stelle soll nicht unerwähnt bleiben, dass häufig auch am Ende der Bearbeitung noch Kategorisierungen vorgenommen werden. Hier halten die Bearbeiter dann fest, ob das Anliegen des Kunden berechtigt war, gelöst werden konnte oder welche Organisationseinheit als Problemverantwortlicher im identifiziert werden konnte. Diese Informationen werden für Qualitätssicherungen oder Root cause analysis benötigt. Das Kategorisieren von Ursachen bleibt einem eigenen Beitrag vorbehalten.

Entwicklung eines Kategoriensystems für den Kundenservice

Nachdem nun feststeht, welche Informationen überhaupt kategorisiert werden sollen, stellt sich die Frage, wie ein sinnvolles und nützliches Kategoriensystem entwickelt werden kann. In der Theorie gibt es induktive und deduktive Methoden zur Kategorienbildung – in der Praxis zeigt sich jedoch, dass keine der Methoden und Ablaufmodelle streng zur Anwendung kommen. Dieses undogmatische Vorgehen ist nachvollziehbar, da jedes Kategoriensystem im Unternehmen das Ergebnis von Verhandlungen ist, bei dem widerstreitende Interessen ausgeglichen werden müssen.

Zum einem erfordern die oben skizzierten Interessen („große“ und „kleine“ Themen, Erfüllung gesetzlicher Anforderung), dass Informationen mit unterschiedlicher Granularität zu Kategorien verdichtet und zusammengefasst werden. Zum anderen bewerten die verschiedenen Stakeholder im Unternehmen die Nützlichkeit der Aggregationen unterschiedlich.

Ein Beispiel: Wenn es für das Bearbeiten eines Kundenanliegens im Kundenservice keinen Unterschied macht, ob der Kunde das Produkt A oder B gekauft hat – weil die Bearbeitung bei beiden Produkten identisch abläuft, so macht es für die Produktmanager von A und B doch einen erheblichen Unterschied, ob „ihr“ Produkt Gegenstand eines Kundenanliegens ist.

Das System muss schnell, einfach und zuverlässig sein

Hinzu kommen weitere Aspekte: Der Kundenservice benötigt ein Kategoriensystem, das schnell, einfach und zuverlässig das Kategorisieren der verschiedenen Kundenanliegen erlaubt. Da die Kategorien aus der Kundenartikulation abgeleitet werden müssen, ist es einfacher ein System zu nutzen, das aus Kundenperspektive heraus aufgebaut ist. Ein anderes Interesse hat unter Umständen das Management, das die Kundenanliegen aus Sicht der Aufbau- oder Ablauforganisation kategorisiert haben möchte.

Ein Kategoriensystem im Kundenservice ist ein Kompromiss: Ein Kategoriensystem, dass die „Order to Cash“ Kette abbildet oder sich entlang einer Customer Journey orientiert, hat sich nach unserer Wahrnehmung bewährt. Ein solches System lässt sich leicht erlernen, was wichtig für den Kundenservice ist. Außerdem findet sich jeder Stakeholder ausreichend repräsentiert.

Daneben hat sich bewährt, die Sicht der Kunden mit der Wertschöpfungskette des Unternehmens zu „kreuzen“. So deckt sich die Kundenperspektive mit der Unternehmenssicht.

Struktur eines Kategoriensystems im Kundenservice

Für targenio haben wir für das Kategorisieren von Kundenanliegen eine Methodik entwickelt, die den oben genannten Aspekten ausreichend Rechnung trägt und sich in der Praxis bewährt hat. Insbesondere gilt das für das Beschwerde- und Reklamationsmanagement. Beim Kategorisieren sehen wir einen mehrstufigen Baum vor, der in vier Entitäten gruppiert ist:

• Art des Kundenanliegens
• Ort des Problemauftritts
• Bezugsbereich
• Kundenartikulation

Jede Entität kann wiederum mehrere Ebenen haben, damit auch umfangreiche Kategoriensysteme abgebildet werden können. „Art des Kundenanliegens“, „Bezugsbereich“ und „Kundenartikulation“ sowie die einzelnen Ebenen sind miteinander verkettet. Von einem Blattelement ausgehend, können alle vorhergehenden Knoten rekursiv ermittelt werden. targenio macht es möglich, eine Kundenartikulation mehreren Kategorien zuzuordnen. Dies vereinfacht die Pflege und Handhabung des Kategoriensystems. Es wird zudem berücksichtigt, dass Kunden in ihrer Nachricht mehrere Themen an den Kundenservice adressieren können.

Vier Ebenen sind in den jeweiligen Entitäten vorhanden

Bei „Art des Kundenanliegens“ wird der Wunsch, das Ersuchen oder der Antrag des Kunden erfasst. Im Beschwerdemanagement sind dies die klassischen Anliegenarten zu finden: „Beschwerde“, „Wiederholungsbeschwerde“ und „Folgebeschwerde“. In anderem Kontext können dies beispielsweise die Anliegen „Anfrage“, „Bestellung“ oder „Lob“ sein.

Beim „Ort des Problemauftritts“ wählt der targenio Anwender die Organisationseinheit aus, die vom Anliegen des Kunden betroffen ist. Diese Entität ist optional, empfiehlt sich aber bei Flächenorganisationen beziehungsweise Dienstleistungsunternehmen, wenn Zuordnungen von Anliegen zu Kunden-Touchpoints relevant sind. Alternativ kann an dieser Stelle ein konkretes Produkt oder eine Dienstleistung angegeben werden.

Der „Bezugsbereich“ repräsentiert die Wertkette des Unternehmens und kennzeichnet die konkrete Aktivität, auf die sich das Kundenanliegen bezieht. Gerade hier empfiehlt sich eine Nachbildung der Tätigkeiten in der Reihenfolge „Order to Cash“, da dies die Verortung im Kundenservice erheblich vereinfacht.

Nach dem „Bezugsbereich“ ist die Kategorisierung mit der Erfassung der „Kundenartikulation“ abgeschlossen. Damit ist das Kondensat des Kundenfeedbacks in konkreten Kategorien dokumentiert.

Diese Struktur erlaubt eine schnelle und einfache Zuordnung von Kundenfeedback und berücksichtigt die Auswertungs- und Informationsinteressen der verschiedenen Stakeholder im Unternehmen.

Anwendung des Kategoriensystems

Nachdem das Kategoriensystem entwickelt worden ist, bleibt die herausfordernde Aufgabe, das Kategoriensystem auch in der täglichen Praxis anzuwenden. Selbst wenn Kunden ihr Anliegen unterschiedlich artikulieren, sollen Sachverhalte durch die Mitarbeiter im Kundenservice einheitlich und neutral kategorisiert werden. Hierbei helfen Ankerbeispiele und ausführliche Kodierregeln, die zu einem Kodierleitfaden zusammengefasst werden. Mit Hilfe von Stichprobenauswertungen und qualitativen Analysen muss die Genauigkeit beziehungsweise Verlässlichkeit der Kategorisierung durch die Mitarbeiter im Kundenservice kontinuierlich überwacht werden. Durch Schulungen und Anpassungen des Kategoriensystems sind ständige Nachjustierungen notwendig.

Um den Kundenservice beim Kategorisieren von Kundensachverhalten zu unterstützen, und gleichzeitig weitere Automatisierungspotentiale zu realisieren, beschäftigen wir uns intensiv mit Machine Learning. Die Überlegungen dabei sind, dass die artikulierten Kundenanliegen mit Hilfe von künstlicher Intelligenz analysiert und mittels trainierter Algorithmen dem definierten Kategoriensystem zugeordnet werden.

Forschungsfrage und Versuchsaufbau

Damit wir beim Experimentieren mit Machine Learning fokussiert bleiben, und aussagekräftige Ergebnisse erarbeiten, haben wir zunächst eine konkrete Forschungsfrage formuliert. Diese diente uns während unseres Forschungsprojekts als Leitfaden, und als Gradmesser für Erfolg und Misserfolg.

Folgende Forschungsfrage haben wir formuliert: In welcher Qualität lassen sich Kundenschreiben mithilfe von überwachtem maschinellem Lernen kategorisieren?

Ausgangspunkt unseres Versuchsaufbaus sind Schreiben von Fluggästen, die an den Kundenservice einer unserer Airline-Kunden gerichtet worden sind. Diese Texte geben Kunden über ein Kontaktformular im Internet ein. Zusätzlich wählt der Kunde aus einer Liste aus, welches Anliegen er hat. Zum Beispiel „Flugstornierung“ oder „Überbuchung / Nichtbeförderung“. Den Text und die getroffene Auswahl übernimmt unsere Kundenserviceanwendung targenio und an leitet sie einem zuständigen Sachbearbeiter weiter. Ein Mitarbeiter liest den Sachverhalt und kategorisiert das Anliegen im Kategoriensystem von targenio. Das Kategoriensystem hat in Summe circa 230 Ausprägungen, bestehend aus Anliegenart, zwei Ebenen Bezugsbereich und zwei Ebenen Artikulation.

Die KI lernt, Gesetzmäßigkeiten nachzubilden

Damit liegen also zwei aufeinander bezogene Entitäten vor: Zum einen der unstrukturierte Kundentext, in dem der Kunden sein Anliegen artikuliert hat, zum anderen die durch einen Sachbearbeiter vorgenommene Klassifizierung dieses Textes. Der Sachbearbeiter hat aufgrund seiner Erfahrungen und seines Expertenwissens den unstrukturierten Text in ein strukturiertes System überführt.

Auf Aufgabenstellungen dieser Art wird bei KI-Systemen üblicherweise überwachtes Maschinelles Lernen angewandt. Durch das Trainieren der KI „lernt“ die Maschine, die Gesetzmäßigkeiten nachzubilden und das Expertenwissen aufzubauen. Damit wendet die KI dieses Wissen auch auf unbekannte Texte an und findet eine passende Kategorisierung.

Beim Machine Learning spricht man dabei von Features, hier: Kundentexte, und Labels, in dem Fall der Kategorisierung. Dem Machine Learning Algorithmus werden beim Training Paare aus Features and Labels “gezeigt”. Dadurch erlernt der Algorithmus das zugrunde liegende Mapping. Er lernt also die Kategorien, die in den Texten stecken, zu generalisieren und nutzbar zu machen. Dieses generalisierte Mapping von Feature auf Label ist dann die eigentliche KI. Die Menge an Feature-Label Paaren, die einem ML Algorithmus zum Lernen zur Verfügung gestellt werden, werden Lerndaten genannt. Nach dem Training kann die KI auf neue, ungesehene Features angewandt werden, bei denen sie das passende Label ermittelt.

Lerndaten bereitstellen

Das Bereitstellen von Lerndaten für das ML Modell durchlief mehrere Arbeitsschritte: Zunächst haben wir festgelegt, mit welchen Daten wir den Algorithmus trainieren wollen. Um bereits in den Lerndaten möglichst wenig „Rauschen“ zu haben, wurden Kundentexte, die von Fluggästen in deutscher Sprache verfasst worden sind, extrahiert. Und von Sachbearbeitern lediglich mit einer Kategorie klassifiziert worden sind, sprich monothematische Kundenanliegen.

Nach Prüfung, ob für verschiedene Versuchsreihen eine ausreichend große Anzahl von Daten vorhanden ist, haben wir die Daten in der Datenbank selektiert, anonymisiert und um schützenswerte Kunden- und Mitarbeiterdaten bereinigt. Ebenso haben wir interne Bearbeitungsvermerke gelöscht, um für das Training möglichst unverfälschte Daten zu erhalten. Anschließend exportierten wir die Daten aus der Datenbank im CSV-Format und stellten sie an einem sicheren Speicherort für das Training der ML-Modelle bereit.

Das Kundenfeedback vorverarbeiten

Computer und Algorithmen arbeiten grundsätzlich mit Zahlen. Bevor die Kundenschreiben von der KI verarbeitet werden können, müssen die Texte vor-verarbeitet und in Vektoren umgewandelt werden (“preprocessing). Ein Vektor kann vereinfacht als eine Liste fixer Länge, die Nummern enthält, beschrieben werden. Beispielsweise lassen sich Ortsangaben als zweidimensionaler Vektor, bestehend aus Längen- und Breitengrad in einem Koordinatensystem, definieren. Ein Datenpunkt (ein Sample) fürs Machine Learning ist also ein Vektor, der den Datenpunkt mithilfe numerischer Werte möglichst gut beschreibt.

Für das Umwandeln von Texten in Vektoren gibt es verschiedene Verfahren, die man miteinander kombiniert: Eine Möglichkeit besteht darin, die Häufigkeit jedes Wortes des gesamten Vokabulars im umzuwandelnden Text zu zählen. Zusätzlich lassen sich die Worte noch nach ihrer umgekehrten, relativen Häufigkeit gewichten. Bestimmte und unbestimmte Artikel, Konjunktionen und häufig gebrauchte Präpositionen (sog. Stopwords), die in vielen Texten vorkommen und wenig Relevanz für das Textverständnis haben, gewichet das System dabei schwach, während es seltenerer Begriffe, wie Fachbegriffe, höher gewichtet. Diese Gewichtung erleichtert dem Machine Learning Algorithmus, die wirklich relevanten Charakteristiken des Textes zu erkennen und zu verwenden. Dieses Verfahren nennt man TF-IDF (term frequency – inverse document frequency). Zusätzlich beschränkt das System verbleibende Worte auf ihren Wortstamm (Stemming). Durch das Einschränken des Vokabulars wird das ML-Modell weniger von sogenanntem Noise abgelenkt, und “kann sich auf das wirklich wichtige konzentrieren“.

Es kommt nicht nur auf das Zählen an

Diese Verfahren sind robust und liefern regelmäßig brauchbare Ergebnisse. Allerdings geht durch das einfache Zählen der Wörter die Reihenfolge der Wörter, die Grammatik und der Kontext verloren. Für anspruchsvolle Natural Language Processing Aufgaben, wie Übersetzung oder Question-Answering, kommen andere Methoden zur Anwendung. Bei modernen Deep Learning Modellen, die auf der Transformers-Architektur basieren, kommen sogenannte Tokenizer zum Einsatz. Dabei wird jedem möglichen Wort im Vokabular ein fester Ganzzahlwert (das Token) zugeordnet. Diese Modelle verarbeiten den Eingabetext in seiner Ursprungsform, nur dass Wort-Teile durch ihre jeweiligen Tokens ersetzt sind. Auf diese Weise bleibt die Reihenfolge bewahrt und der Sinn erhalten. Modelle, die solche Sätze aus Tokens verarbeiten und verstehen können, müssen ziemlich groß und leistungsfähig sein. Sie benötigen erhebliche Rechenleistungen sowie eine große Mengen an Lern- und Trainingsdaten.

Bei der Wahl des passenden Vektorizers und dem eigentlichen Machine Learning Modell muss zwischen Kosten und Nutzen abgewogen werden. Bei unserem Forschungsvorhaben, dem Mapping von Texten auf Kategorien – eine Aufgabe, die zu den einfacheren NLP-Task gezählt werden kann –, haben wir uns entschieden, das Vektorisieren durch Zählen in Kombination mit einem Nicht-Deep-Learning ML-Algorithmus zu verproben.

Auswahl eines ML Algorithmus

Sind die Daten exportiert, bereinigt und vektorisiert kann man einen geeigneten ML Algorithmus darauf trainieren. Die Auswahl eines geeigneten ML Algorithmus erfordert Erfahrung. Diese sammelt Erfahrungen man durch Ausprobieren. Oder man nutzt hierzu Entscheidungshilfen, mit denen eine Vorauswahl getroffen werden kann. Mit zahlreichen Programmier-Bibliotheken, zum Beispiel diese Erweiterung für scikit-learn, lässt sich der Auswahl-Prozess auch automatisieren.

So nützlich solche automatisierten Auswahlverfahren sind. Es sollte nicht übersehen werden, dass möglicherweise Lernerfahrungen über die Daten und das Verhalten der einzelnen Algorithmen verloren gehen können. Erst beim mühevollen Ausprobieren der verschiedenen Algorithmen sammelt man die Erfahrung, welcher Algorithmus für die Aufgabenstellung und die eigenen Daten besser geeignet ist.

Mehrere ML Modelle werden trainiert, die den Durchschnitt bilden

Für das Kategorisieren von Texten haben sich unter anderem Naive Bayes und Support-Vector-bewährt. Oftmals werden auch sogenannte Ensembles verwendet. Dabei trainiert man mehrere unterschiedliche ML Modelle und bildet den Durchschnitt über deren einzelne Ausgaben, um die Ausgabe des Ensembles zu erhalten. Dadurch werden die Vorhersagen robuster.

Grundsätzlich gilt: keine noch so gute Wahl des Modells kann schlechte Datenqualität kompensieren. Umgekehrt können bei guter Datenqualität mit mehreren verschiedenen ML Algorithmen brauchbare Ergebnisse erzielt werden können. Das zeigen auch die Versuche.

Wir haben uns nach mehreren Iterationen entschieden, unser Forschungsprojekt mit (lineare) Support-Vector-Machine fortzuführen. Diese performt gut und ist gleichzeitig noch relativ effizient. Für das Trainieren der Modelle fiel unsere Wahl auf scikit-learn. Das ist eine open-source Programmierbibliothek für die Programmiersprache Python. Python gilt als der Standard unter ML Entwicklern. Es bietet eine sehr große und gute Palette an Frameworks und Toolkits für Maschinelles Lernen.

Das Training der Support Vector Machine

Support-Vector-Machines erlernen das Kategorisieren (im ML Kontext würde man sagen zu Klassifizieren), indem sie die optimale “Trennung” zwischen Datenpunkten (dargestellt als Vektoren) verschiedener Kategorien in den Trainingsdaten errechnen. Diese Trennung kann nach dem Training benutzt werden, um neue, zuvor ungesehene Datenpunkte einzuordnen.

Wir haben für jede der Kategorienebenen (Art des Anliegens, Bezugsbereich und Artikulation) ein eigenes Modell trainiert, also insgesamt fünf Stück. Damit haben wir bessere Ergebnisse erzielt als mit unserem zunächst gewählten Ansatz, ein Modell für alle Ebenen zu bauen.

Ergebnisse quantitativ auswerten

Um die Qualität der fünf Modelle bewerten zu können, haben wir ausführliche Tests gemacht, wobei das erste Testszenario aus circa 100.000 Datensätzen bestand. Dazu haben wir 30% der Daten beim Trainieren zunächst zurückgehalten. Als das Training mit den übrigen Datensätzen, ca. 70%, beendet war, konnten wir diese zum Testen heranziehen. Durch dieses Vorgehen konnten wir überprüft, ob das ML Modell wirklich die den Trainingsdaten zugrundeliegenden Konzepte erlernt hat. Und es nicht nur die Trainingsdaten auswendig gelernt hat. Dieser Effekt würde als “Overfitting” bezeichnet. 

Die Tabelle zeigt anhand eines Ausschnitts beispielhaft wie die Auswertung der Testdaten vereinfacht aussehen.

Jede Zeile gehört zu einer Kategorie. Die Spalte Support enthält die Anzahl der Testdaten zur jeweiligen Kategorie. Die unterste Zeile gibt die Metriken für die Kategorien gemeinsam an. Diese exemplarische Auswertung bezieht sich auf das Modell, das wir für die Kategorisierungsebene Bezugsbereich 1 trainiert haben.

Mit den Metriken Precision und Recall lässt sich die Qualität von vorhergesagten Kategorisierungen quantifizieren. Precision ist ein Maß für die Genauigkeit und ist als die relative Häufigkeit definiert, dass eine Klasse richtig ist, wenn sie vorhergesagt wird. Recall hingegen ist die Trefferquote. Sie gibt die relative Häufigkeit an, dass ein Klasse auch als solche vorhergesagt wird. Der F1-Score ist eine Art Kombination von Precision und Recall. Gemeinsam geben diese Metriken soliden Aufschluss über die Performance bei Klassifikatoren.

                  precision    recall  f1-score   support

         Airport       0.81      0.82      0.81      4060
Customer Service       0.74      0.83      0.78       118
          Flight       0.81      0.75      0.78      8670
     Reservation       0.61      0.72      0.66      2416
     ...               ...       ...       ...       ...
     
        accuracy                           0.68     19145
    weighted avg       0.69      0.68      0.68     19145

Zudem sind beispielsweise 81% der Texte, die die KI mit Label “Airport“ versehen hat, auch tatsächlich (also vom Sachbearbeiter klassifiziert) “Airport”. Recall von 82% bei “Airport” bedeutet, dass 82% aller Texte, die tatsächlich “Airport” sind, die KI auch als solche erkannt hat.

Nachdem wir beobachtet haben, dass die Modelle gute Ergebnisse liefern, haben wir die Menge der Lerndaten vervierfacht und die Schritte von oben wiederholt. Dadurch wurden die Modelle besser und vor allem robuster gegenüber Sonderfällen.

Leistungsfähigkeit der KI nachvollziehbar machen

Für Menschen, die sich nicht täglich mit den Themen Künstliche Intelligenz und Automatisierung beschäftigen, ist Machine Learning „Voodoo“. Damit wir Vertrauen in die Leistungsfähigkeit des ML Systems aufbauen und die Ergebnisse nachvollziehbar und persönlich testbar machen, haben wir ein kleines Programm erstellt, mit dem

• der Text des Kunden und die erfasste Kategorisierung eingefügt,
• das ML Modell mit den Daten ausgeführt,
• die Kategorisierung durch das Modell und vom Sachbearbeiter ausgegeben und
• das Ergebnis kommentiert

wird.

Ein Programm zeigt den Ablauf

Zu Beginn kopiert das Programm den Kundentext und die vom Sachbearbeiter in targenio erfasste Kategorisierung in das Feld „Sachverhalt“. Der ML Algorithmus wendet dann sein antrainiertes Wissen an. Das wird in der linken Spalte die Kategorisierung des ML angezeigt. In der rechten Spalte ist die vom Sachbearbeiter erfasste Kategorisierung gegenübergestellt, so ist ein unmittelbarer Vergleich zwischen Mensch und Maschine möglich:

Da wir dieses Programm auch für unsere qualitativen Tests verwendet haben, ist zusätzlich zu jedem Testlauf der Name des Testers, das Testergebnis und eine Referenz auf den Original-Vorgangsdatensatz dokumentiert.

Das komplette Testsetup ist in folgendem Architekturbild dargestellt:

Nach einigen Testläufen hat sich für uns folgendes Bild herauskristallisiert: Das von uns trainierte Modell kategorisiert einen Großteil der Kundentexte genauso, wie die Sachbearbeiter im Kundenservice. Bei einem geringen Anteil der Testdatensätze ermittelte die KI eine fehlerhafte Kategorie. Und bei einem weiteren Großteil der getesteten Sachverhalte wich das Ergebnis der KI zwar von der Kategorisierung des Kundenservicemitarbeiters ab, war aber fachlich nicht falsch, sondern nur anders.

Als Ursachen für fehlerhaft klassifizierte Sachverhalte haben wir eine zu geringe Anzahl an Testfällen in den Lerndaten und redundante Einträge im Kategoriensystem identifiziert; daraus haben wir zwei Optimierungsschritte abgeleitet: Signifikante Erhöhung der Lerndaten und Priorisierung der Ergebnisse anhand der Struktur des Kategorienbaums in targenio.

ML Anwendung optimieren

Wie oben beschrieben, hatten wir uns entschieden, für jede Ebene der Kategorisierung ein eigenes Modell zu trainieren. Dadurch konnte der Algorithmus Kombinationen von Kategorien erlernen, die in der Baumstruktur des Kategoriensystems von targenio gar nicht auswählbar sind.

Um dieses Problem zu heilen, haben wir uns eine Funktion der Modelle zunutze gemacht, dass nämlich die Modelle eine Wahrscheinlichkeit für alle möglichen Kategorien der jeweiligen Kategorienebene ausgeben. Diese Wahrscheinlichkeitsangaben haben wir einfließen lassen, indem wir für Gesamtvorhersagen diejenige Kategorisierung wählen, die größtmögliche Gesamtwahrscheinlichkeit (das Produkt der fünf einzelnen Wahrscheinlichkeiten) hat und gleichzeitig mit dem Kategorienbaum konsistent ist. Dieser Abgleich der Vorhersagen mit dem Kategoriensystem machte die KI als Ganzes robuster.

Nach dem Abgleich mit dem targenio Kategorienbaum und der Ausweitung der Lerndaten haben wir die Optimierung des Modells realisiert. Das führte dazu, dass die KI weit über 80% der Kundentexte richtig (in Sinne: entspricht der vom Sachbearbeiter vorgenommenen Kategorisierung) klassifiziert hat.

Beantwortung der Forschungsfrage, Lessons learned und Perspektive

Unser Projekt hat gezeigt, dass wir mit der heute verfügbaren Machine Learning Technologie unstrukturierte Kundentexte auf ein umfangreiches Kategoriensystem mappen können. Hierbei stimmen die Ergebnisse der KI zu mehr als 80 % mit den von Sachbearbeitern erfassten Kategorisierung überein.

Sind > 80 % Übereinstimmung ausreichend, um ML produktiv im Kundenservice einzusetzen und die Mitarbeiter bei der Bearbeitung von Kundenanliegen zu entlasten? Ist die Qualität der ML Algorithmen also hoch genug?

Nach unserer Meinung ein eindeutiges JA!

Dieses “JA” stützt sich auf Überlegungen und Erkenntnissen, die wir im Laufe des Projekts und mit der intensiven Beschäftigung der Daten gesammelt haben:

• Der verwendete Kategorienbaum ist in sich nicht eindeutig und widerspruchsfrei. Zudem ist er nicht ausreichend ausgewogen und “überbetont” bestimmte Sachverhalte bei gleichzeitigem Negligieren ganzer Bereiche.
• Die Anwendung des Kategorienbaums erfolgt durch eine große Anzahl von Sachbearbeitern mit unterschiedlichen Skills und Erfahrungen. Von daher ist nicht anzunehmen, dass ein- und derselbe Kundentext durch verschiedene Mitarbeiter identisch klassifiziert wird.
• Selbst bei gleich hoher Qualifikation und Motivation der Mitarbeiter verbleiben Zweifelsfälle, die legitimerweise unterschiedlich interpretiert und ausgelegt werden können.

Stellt man diese Überlegungen der aktuell ermittelten Übereinstimmung von 80 % gegenüber, dann ergibt sich ein akzeptables Niveau, zumal die KI Texte neutral, reproduzierbar und in gleichförmig klassifiziert.

Welche sonstigen Erkenntnisse haben wir durch unser Projekt gewonnen?

Wie zu erwarten, bestimmt die Menge und Qualität der Daten die Leistungsfähigkeit der KI. So konnten wir durch eine Erhöhung der Lerndaten von 100.000 auf 400.000 Datensätze eine signifikante Verbesserung der Ergebnisse erzielen. Die eingesetzten, frei verfügbaren open source Modelle erlauben einen wirtschaftlichen Einsatz von künstlicher Intelligenz für Aufgabenstellungen im Kundenservice. Durch geeignete Maßnahmen können die Ansprüche des Datenschutzes eingehalten werden.

Wie sind nun die Perspektiven?

Künstliche Intelligenz und Machine Learning sind bereit für den produktiven Einsatz. Die Treffsicherheit unseres ML Modells ist ausreichend hoch, um damit die nächste Ebene der Automatisierung zu erreichen und neue Use Cases umzusetzen. Welche das sind, zeigen wir in unserem nächsten Artikel dieser Serie auf.

Beim Designen von Prozessen muss nicht nur der Inhalt der Aufgabe und der Aufgabenträger bestimmt werden. Es muss auch der Termin bestimmt werden, bis zu dem die Aufgabe erledigt werden soll. Die Notwendigkeit, Aufgaben und Prozesse mit Terminen zu versehen, kann aus unterschiedlichen Gründen bestehen:

• Gesetz: Es sind gesetzliche oder regulatorische Vorgaben einzuhalten. So sehen etwa die europäischen Fluggastrecht vor, dass Passagiere innerhalb von sieben Tagen die Kosten für ihr Flugticket erstattet werden muss, sollte die Verbindung von der Fluggesellschaft storniert werden.
• Prozesse: Wertschöpfungsketten und interbetriebliche Abläufe kommen zum Stillstand, wenn Aufgaben nicht zu vereinbarten Terminen erledigt werden.
• Kunde: Gegenüber Kunden gegebene Serviceversprechen („Sie erhalten Ersatzlieferung innerhalb von 24 Stunden“) können ansonsten nicht eingehalten werden.
• Steuerung: Die Performance von Dienstleistern soll gemonitort werden. So erfolgt beispielsweise die Abrechnung von Leistungen externer Service- oder Call-Center auf Basis von Zeitvorgaben, die in Service Level Agreements geregelt sind.
• Produktivität: Termine sind auch Ansporn für die Anwender und helfen ein hohes Produktivitätsniveau zu halten.
• Verbesserung: Informationen zu Bearbeitungszeiten sind Grundlage für Prozessoptimierungen und helfen Verschwendung zu identifizieren.

Welche Bereiche sollen mit Terminen versehen werden?

Abhängig vom verfolgten Zweck und dem konkreten Einzelfall ist festzulegen, „was“ überhaupt mit einem Termin versehen und wie das Einhalten von Terminen bzw. Zeiträume gemessen werden sollen. Hierbei muss zunächst bestimmt werden, ob für

• eine Aufgabe,
• einen Teilprozess,
• oder für den gesamten Vorgang

ein Termin definiert werden soll.

Vier Grundlinien für die Festlegung von Terminen

In unserer Praxis haben sich einige Grundlinien für die Festlegung von Terminen herausgebildet, die bezüglich dieser schwierigen Fragen eine erste Orientierung geben:

• Soll mit einem Termin ein Serviceversprechen gegenüber den Kunden sichergestellt werden, dann ist es sinnvoll, einen Termin für den Abschluss des Gesamtprozesses zu definieren. Hier kann etwa festgelegt werden, dass mit Eingang des Anliegens im Kundenservice die Zeit zu laufen beginnt und sich danach der Termin für die abschließende Bearbeitung berechnet. Ein besonderes Augenmerk ist dabei darauf zu legen, dass der Abschluss der Bearbeitung aus Kundensicht bestimmt wird. Ansonsten besteht die Gefahr, dass Vorgänge vorschnell „zugemacht werden“, nur um den gesetzten Termin einzuhalten. Dieses Vorgehen provoziert in der Regel Folgekontakte, da das Anliegen aus Sicht den Kunden nicht zufriedenstellend gelöst worden ist.
• Ist hingegen beim Bearbeiten eines Vorgangs immer eine bestimmte Organisationseinheit einzubeziehen (z.B. Einholen einer Stellungnahme bei Produktionsstätte A, B oder C), dann hat es sich bewährt, diese konkrete Aktivität (Stellungnahme abgeben durch Produktionsstätte) mit einem Termin zu versehen. So kann sichergestellt werden, dass die Bearbeitung nicht ins Stocken gerät, weil die Rückmeldung aus Produktion nicht vorliegt.
• Sind die Vorgänge sehr unterschiedlich und weicht die Bearbeitung der Einzelfälle sehr stark voneinander ab, dann empfiehlt es sich den Bearbeitungsworkflow zu abstrahieren und für jeden Abschnitt dieses Metaprozesses Termine festzulegen. Dieses Vorgehen ist insbesondere dann immer richtig, wenn unterschiedliche Organisationseinheiten an einem Vorgang arbeiten und die Verantwortung für die Bearbeitung wechselt.
• Bei Prozessanalyse sollen Schwachstellen und Ineffizienzen identifiziert werden. Hier liegt der Schwerpunkt in Regel auf der Messung von Liege- und Bearbeitungszeiten, um hieraus Optimierungen ableiten zu können.

Termine bei (länderübergreifenden) Zusammenarbeit

Wenn das Festlegen von Terminen schon schwierig ist und gut überlegt werden muss, ergeben sich weitere komplizierte Fragen, wenn die Bearbeitung durch verschiedene Akteure erfolgt – insbesondere, wenn diese in verschiedenen Zeitzonen arbeiten.

Was passiert mit einem Termin, wenn ein Mitarbeiter in einem Service-Center an der amerikanischen Westküste feststellt, dass für die Bearbeitung zwingend die Stellungnahme eines Kollegen aus Deutschland erforderlich ist? Findet in diesem Fall eine Neuberechnung des ursprünglichen Termins statt oder erfolgt eine Berücksichtigung erst im Reporting? Diese und weitere Fragen können auch nur mit Blick auf den verfolgten Zweck beantwortet werden. Liegt der Fokus auf dem Einhalten eines Serviceversprechens gegenüber einem Kunden, dann wird die Zeitverschiebung keinen Einfluss auf den Termin haben – denn: dem Kunden ist es egal, ob die internen Abläufe eine Einbindung eines Kollegen aus einer anderen Zeitzone erfordert. Sollen mit der Terminsetzung schwerpunktmäßig die internen Abläufe koordiniert werden, dann ist eine Neuberechnung des Termins sinnvoll.

Reporting: in-time/out-of-time und Zeiträume 

Das Einhalten von Terminen ist regelmäßig Bestandteil von Performance-Reports. Hier wird häufig angegeben, wie viele Vorgänge,  Prozessabschnitte oder Aktivitäten den definierten Termin eingehalten haben oder nicht (in-time/out-of-time).

Diese binäre Betrachtung wird häufig erweitert, indem zum Beispiel in-time/out-of-time des Gesamtprozesses in Beziehung gesetzt wird zu in-time/out-of-time eines Prozessabschnitts. Auswertungen dieser Art haben ein hohes Konfliktpotential, da sie leicht finger-pointing ermöglicht („Ich konnte den Termin nicht halten, weil Du den Termin nicht gehalten hast“). Die hierbei zu lösende Herausforderung ist es, allen Beteiligten verständlich zu machen, dass bei ineinandergreifenden Aufgabenverteilungen jeder in der Verantwortung für das Einhalten der Termine ist.  

Neben Reports zu in-time/out-of-time treten Reports über die Bearbeitungsdauer. Die Definition der auszuwertenden Messstrecken kann sehr komplex werden und bedarf der Beantwortung vieler Fragen, wie zum Beispiel:

• Sollen Wochenenden / regionale Feiertage bei der Berechnung der Dauer berücksichtigt werden?
• Erfolgt die Berechnung unter Berücksichtigung von definierten Kernarbeitszeiten oder rein kalendarisch?  (Beispiel: Kunde schickt spätabends eine E-Mail. Ist der Startpunkt für die Messung der Eingang der E-Mail oder der Beginn der Regelarbeitszeit am nächsten Tag?)
• Wie erfolgt die Berechnung, wenn die Art der Bearbeitung eines Vorgangs sehr stark von der modellierten Soll-Bearbeitung abweicht (Soll-Prozess sieht lediglich das Einholen einer Stellungnahme vor; im konkreten Vorgang mussten zwölf Stellungnahmen eingeholt werden)?
• Wie wird mit „Langläufern“ umgegangen, die die Werte bei einer Durchschnittsbetrachtung erheblich beeinflussen? Langläufer können etwa entstehen, wenn für den Abschluss eines Vorgangs das Feedback des Kunden notwendig ist, der allerdings nicht reagiert.
• Welche Auswertungscluster (0 bis 2h, >2h bis 6h etc.) sollen gebildet werden?

Auch diesen Fragen können nur unter Berücksichtigung der konkreten Auswertungsinteressen entschieden werden. Ihre Beantwortung sind Voraussetzung, damit der gesamte Komplex „Termine“ durch Software optimal unterstütz werden kann.