Maschinelles Lernen: Vergleich von Monte Carlo Tree Search und Reinforcement Learning am Beispiel eines Perfect Information Game

Abstract

Inhalt dieser Arbeit ist der Vergleich von zwei Verfahren aus dem Bereich des maschinellen Lernens: Monte Carlo Tree Search (MCTS) und Q-Learning. Dafür sind zwei künstliche Intelligenzen mit diesen Verfahren entwickelt worden und in dem Spiel Vier Gewinnt gegeneinander angetreten. Es wird gezeigt, dass bei überschaubaren Zustandsräumen das Lernverfahren Q-Learning bessere Ergebnisse liefert, wohingegen MCTS auch bei zu großen Zustandsräumen noch gute Ergebnisse durch Berechnung zur Laufzeit und Aufspannen eines Suchbaums liefern kann.

The content of this work is the comparison of two techniques in the eld of machine learning: Monte Carlo Tree Search (MCTS) and Q-Learning. To achieve that two arti cial intelligences with these techniques were constructed and then competed against each other in the game of Connect Four. It is shown that in manageable state spaces the learning method Q-Learning provides better results, while MCTS can still provide good results even in the case of oversized state spaces by calculating during runtime and building a search tree.