Optimization of Probabilistic Deep Neural Networks for Football Result Prediction

Abstract

Die Vorhersage von Fußballergebnissen ist ein wesentlicher Bestandteil des Bereichs der Fußballanalytik. Da der Fußball ein großer Wirtschaftszweig ist, besteht nicht nur ein akademisches, sondern auch ein wirtschaftliches Interesse an diesem Studienbereich. Die Fußballergebnisvorhersage ist hauptsächlich ein Anwendungsbereich für Bayes’sche Modelle, da sie Vorteile wie probabilistische Ergebnisse bieten, wodurch ein höherer Informationsgehalt vorliegt. In dieser Arbeit werden verschiedene Methoden zur Erstellung von DNNs mit probabilistischen Ergebnissen, wie Ensembling, Bootstrap und Controlled Monte Carlo Dropout, in Kombination mit verschiedenen DNN-Architekturen wie MLP, CNN und LSTM eingesetzt. Diese Modelle und Methoden werden untereinander und mit einem Bayes’schen Regressionsmodell hinsichtlich ihrer Fähigkeit, in der Realität beobachtete Muster darzustellen, sowie ihrer Vorhersagegenauigkeit verglichen. Es ist gelungen, mit allen Modellen und Methoden probabilistische Ergebnisse zu erzeugen, wobei diese in der Qualität variieren. Besonders die Ergebnisse eines Mischmodells, das sich aus den Ergebnissen eines MLP-Modells und den Ergebnissen eines LSTM-Modells zusammensetzt, sind sehr vielversprechend. Das Mischmodell erreicht hinsichtlich der Fähigkeit, die Realität abzubilden und der Vorhersagegenauigkeit vergleichbare Ergebnisse wie das Bayes’sche Modell.

Football result prediction is an essential part of the field of football analytics. With football being a massive industry, there is not only academic but also economic interest in this field of study. Football result prediction is generally a field of application for Bayesian models as they offer advantages like probabilistic results, resulting in more information. This thesis implements different methods to create DNNs with probabilistic outputs, like Ensembling, Bootstrap and Controlled Monte Carlo Dropout, in combination with different DNN architectures like MLP, CNN and LSTM. Those models and methods are compared to each other and to a Bayesian Regression model, regarding their ability to represent observed patterns, as well as their prediction accuracy. It was possible to create probabilistic results for all models and methods, with varying results. Especially the results of a mixture model, composed of the results of a MLP model and the results of the LSTM model, are very promising. The mixture model achieves results comparable to the Bayesian model, in regard to the ability to reflect the reality and the prediction accuracy.