Deep Learning Based News Recommendation Using Text and Metadata

Abstract

Empfehlungssysteme (RS) sind weit verbreitet und werden in vielen Bereichen eingesetzt, z.B. bei der Empfehlung von Artikeln im elektronischen Handel, beim Musik und Videostreaming oder in Nachrichten-portalen. In dieser Arbeit wird ein proprietärer Datensatz für Nachrichtenempfehlungen vorgestellt, für den eine Basis an Messergebnissen erstellt und verschiedene Fragen behandelt werden, z.B. ob die Schlagzeile, der Teasertext oder der vollständige Artikeltext für Nachrichtenempfehlungen geeignet sind. Ein immer größerer Teil der RS-Forschung befasst sich mit Deep Learning (DL), daher wird sich diese Arbeit auf diesen Bereich von RS konzentrieren. Um ein geeignetes Empfehlungsmodell auszuwählen und festzustellen, welche Methoden zur Darstellung des Artikelinhalts verwendet werden können, wird eine breite Auswahl an aktuellen DL-basierten Sprachmodellen (LM) und RS betrachtet. Im Zuge der Implementierung des Modells und der Verarbeitungspipeline werden die Schwierigkeiten im Umgang mit einem großen realen Nachrichtendatensatz untersucht. Es stellte sich heraus, dass für das gewählte Modell der Teaser-Text am besten für Nachrichtenempfehlungen geeignet ist. Es hat sich ebenfalls gezeigt, dass bei der Verarbeitung eines realen Datensatzes die große Datenmenge und die hohe Dimensionalität der Daten die größte Herausforderung darstellten. Schlussendlich hat die Analyse der Daten das große Potenzial für personalisierte Nachrichtenempfehlungen aufgezeigt, da die meisten Artikel nur wenige Seitenaufrufe haben und viele Nutzer nur ein bis zwei Artikel ansehen. Daher könnten sehr gezielte Empfehlungen die Anzahl der Seitenaufrufe vieler Artikel, die eine sehr kleine Zielgruppe haben, erheblich steigern.

Recommendation systems (RS) are widely used and prevalent in many areas like recommending items in e-commerce, music and video streaming, as well as news portals. In this thesis, a proprietary news recommendation dataset is introduced for which a baseline will be established and several questions will be approached, like whether the headline, teaser text or full article text is suitable for news recommendation. An ever growing amount of RS research is going in the direction of deep learning (DL), so this work will focus on this domain of RS. To select an appropriate recommendation model and determine which methods can be used to represent the article content, a broad selection of current DL based language models (LM) and RS are reviewed. In the course of implementing the model and the processing pipeline, the difficulties in handling a large real world news dataset are examined. It turns out, that for the selected model, the teaser text worked best for news recommendation. Also it has shown, that in handling a real world dataset, the large amount of data and the high dimensionality of the data posed the biggest challenge. Lastly, the analysis of the data unveiled the great potential for personalized news recommendation, as most articles have just a few pageviews and many users just view one to two articles. So very targeted recommendations could significantly rise the pageview count of many articles, which have a very niche target audience.