Automatisierte Erhebung relevanter Kontextinformationen aus Twitterunterhaltungen

Abstract

Twitter bietet einen direkten Kommunikationskanal zwischen Benutzer und Hersteller einer Software. Anstatt komplizierte Kontaktformulare oder Supporttickets auszufüllen, können Benutzer Probleme direkt und öffentlich wirksam in die Timeline des Hersteller schreiben. Wie können Hersteller mit diesem Feedback umgehen? Welche Informationen sind wichtig für sie und welche können sie direkt aus der Meldung des Benutzers lesen? In dieser vorliegenden Ausarbeitung wurde die Kommunikation zwischen Benutzern und Herstellern auf Twitter mit einem Twittercrawler erfasst und ausgewertet. Insgesamt wurden 5 Millionen Tweets von 19 unterschiedlichen Twitter-Accounts gesammelt und zu Truthsets mit mehr als 2.4 Millionen Tweets von Benutzern normalisiert. In Anlehnung an das Konferenzpapier ’Extracting and Analyzing Context Information in User-Support Conversations on Twitter’ der Autoren Maleej und Martens [21] wurde eine Auswahl von vielversprechenden Context Items bestimmt und mit herstellerspezifischen Belegungen erfasst. Für das Context Item der Gerätebezeichnung wurden zusätzliche Belegungen mithilfe eines FastText-Modells ermittelt, welches mit den Tweets des Truthsets trainiert wurde. Für zwei ausgewählte Gruppen mit Herstellern für IDE-Software und mobiler Anwendungen wurden händisch annotierte Tweetssets erstellt. Der implementierte Extractor wurde auf seine Performance geprüft, wobei dieser für die Mehrzahl der Context Items eine Precision von 68-98 % erreichte. Die Kontrollgruppe Mobile dient zur Validierung der Herangehensweise des Konferenzpapiers, während die Kontrollgruppe IDE eine mögliche Erweiterbarkeit des Ansatzes untersucht. Diese Erweiterung zeigt grundlegende Probleme hinsichtlich Mehrdeutigkeit und Überschneidungen der individuellen Context Items, wobei die ursprüngliche Kontrollgruppe mit minimalen Abweichungen bestätigt werden konnte.

Twitter provides a direct communication channel between the user and the vendor of a software. Instead of filling out complicated contact forms or support tickets, users can post problems directly and publicly to the timeline of the vendor. What information is important to them and what can they read directly from the user’s message? In this paper, the communication between users and vendors on Twitter was captured and analyzed using a Twittercralwer. A total of 5 million tweets from 19 different Twitter accounts were collected and normalized into truthsets with more than 2.4 million tweets from users. Following the conference paper ’Extracting and Analyzing Context Information in User-Support Conversations on Twitter’ by authors Maleej and Martens [21], a selection of promising context items and with vendor-specific valid assignments were captured. For the context item of device name, additional assignments were determined using a FastText model trained with the tweets from the truthsets. Manually-annotated tweetsets were created for two selected groups from IDE-Software and mobile application vendors. The implemented extractor was tested for its performance, achieving a precision of 68-98 % for the majority of context items. used to validate the approach of the conference paper, while the IDE control group investigates a possible extensibility of the approach. This extension shows fundamental problems regarding ambiguity and overlap of the individual context items, while the original control group could be validated withminimal deviations.