Language Agnostic News Recommendations Using Deep Learning Based Causal Transformer Decoder

Abstract

Machine learning is currently widely used for recommender systems. Previous work often represents users using unordered feature vectors while ignoring the sequential nature of users’ actions. In addition, classification models are often used which are limited by the time that they are trained. User history has grown exponentially since the age of Big Data, which implies the need to constantly retrain classification models. This thesis proposes a method which uses representations of users as time-series of embeddings, replacing inflexible standard feature vectors and considering the sequential nature of users’ actions. These user representations are then used to train a causal transformer decoder regression model which outputs the embedding of the next entry in the timeseries, making it unnecessary to constantly retrain the model. The A/B testing results show that the proposed method works.

Maschinelles Lernen wird heutzutage häufig in Empfehlungssystemen verwendet. Bisherige Arbeiten haben die Benutzer oftmals als nicht sortierte Feature-Vektoren dargestellt. Dies ignoriert die sequentielle Verhaltensweise eines Benutzers. Ebenfalls werden in vielen Fällen Klassifikationsmodelle verwendet, welche durch den Zeitpunkt des Trainings beschränkt sind. Seit Big Data steigt die Anzahl der Interaktionen von Benutzern exponentiell. Diese Tatsache impliziert, dass Klassifikationsmodelle konstant neu trainiert werden müssen. In dieser Arbeit wird eine Methode vorgestellt, die Benutzer als eine Zeitreihe von Einbettungen repräsentiert. Diese Zeitreihen ermöglichen es nicht flexible Feature-Vektoren zu ersetzen sowie die sequentielle Verhaltensweise eines Benutzers mit einzubeziehen. Die erwähnten Zeitreihen werden verwendet, um ein kausales Transformer Dekodierer Regressions Modell zu trainieren, welches die jeweils nächste Einbettung vorhersagt. Hierdurch wird verhindert, dass das Modell konstant neu trainiert werden muss. Die A/B-Tests demonstrieren, dass die vorgestellte Methode funktioniert.