Recommendation engine : Collaborative filtering based on customer behavior on an e-commerce website

Abstract

This thesis examined how ratings can be derived from clickstream data to generate good recommendations by using it as an input for collaborative filtering. More and more people buy their products online on an e-commerce platform. Consequently, product recommendations on these platforms are becoming increasingly important for the success of a company as better recommendations increase the chances of sales. Collaborative filtering can be used to generate recommendations. It tries to find similar customers/products for each customer/product based on customer ratings. Ratings can be given directly by a rating system or derived indirectly, for example, using clickstream data. Subsequently, the ratings can be used as an input for user-based and item-based collaborative filtering to generate recommendations. This thesis demonstrates this with clickstream data provided by novomind AG. Furthermore, the recommendations were evaluated and compared offline. For the offline evaluation, a small percentage of customers’ reviews of purchased products were removed beforehand. The resulting new rating dataset was then used as a test dataset and as an input for collaborative filtering. The results showed that the derived ratings are reliable and suitable for collaborative filtering. The offline evaluation showed that customers received recommendations for products they had already purchased, where their ratings had been previously removed from the rating dataset. This implies that the recommendations are relevant to the customers. It was also shown that item-based collaborative filtering performs better than user-based as an item is more frequently rated than a customer rates an item and therefore the item rating vector is less sparse in general.

können, um damit gute Empfehlungen zu generieren, indem diese als Eingabe für kollaboratives Filtern dienen. Immer mehr Menschen kaufen ihre Produkte online auf einer E-Commerce-Plattform. Deshalb werden die Produkt-Empfehlungen auf diesen Plattformen immer entscheidender für den Erfolg eines Unternehmens, denn desto besser die Empfehlungen, desto höher sind die Verkaufschancen. Um Empfehlungen zu generieren kann kollaborativem Filtern verwendet werden. Es versucht für jeden Kunden/Produkt ähnliche Kunden/Produkte zu finden basieren auf den Kundenbewertungen. Die Bewertungen können direkt durch ein Bewertungssystem gegeben werden oder indirekt abgeleitet werden, beispielsweise von Clickstream-Daten. Danach dienen die Bewertungen als Eingabe für kundenbasiertes und produktbasiertes kollaboratives Filtern, welches Empfehlungen generiert. Diese Arbeit hat das demonstriert mit Clickstream-Daten von novomind AG. Außerdem wurden die Empfehlungen offline evaluiert und verglichen. Dafür wurde vorher ein kleiner Prozentsatz der Bewertungen von Kunden zu ihren gekauften Produkte entfernt. Der daraus resultierende neue Bewertungsdatensatz wurde dann als Test-Datensatz für das kollaboratives Filtern verwendet. Die Ergebnisse zeigten, dass die extrahierten Bewertungen aus den Clickstream-Daten verlässlich sind und passend für das kollaborative Filtern. Die Offline-Evaluation zeigte, dass die Kunden Empfehlungen erhielten für Produkte, die sie bereits gekauft hatten, wo jedoch die Bewertungen für diese Produkte vorher aus dem Bewertungsdatensatz entfernt wurden. Daraus lässt sich ableiten, dass relevante Empfehlungen generiert werden können. Außerdem wurde gezeigt, dass produktbasiert kollaboratives Filtern besser ist als kundenbasiertes, weil ein Produkt öfter bewertet wird als ein Kunde ein Produkt bewertet. Damit hat der Bewertungsvektor eines Produktes generell eine größere Informationsdichte.