Entwicklung einer Simulationsumgebung und eines Deep-Reinforcement-Learning Agenten für das Brettspiel Aqualin basierend auf Proximal Policy Optimization

Abstract

Künstliche Intelligenz hat in den letzten Jahren gelernt, viele klassische Brettspiele auf höchstem Niveau zu spielen. Diese Bachelorarbeit widmet sich einer neuen Herausforderung: dem asymmetrischen Zwei-Spieler-Spiel Aqualin. Ziel der Arbeit war es, ein neuronales Netz zu entwickeln, das die Regeln und komplexen Strategien des Spiels völlig selbstständig erlernt, ohne auf menschliches Vorwissen zurückzugreifen. Die wesentlichen Hürden von Aqualin (gegensätzliche Spielziele sowie ein enormer Aktionsraum durch den zweiphasigen Spielzug) wurden durch eine maßgeschneiderte Simulationsumgebung bewältigt. Die Asymmetrie wurde durch eine rollenspezifische Sichtweise (Semantic Vision) gelöst, während der komplexe Spielzug für das Netz in handhabbare Einzelschritte zerlegt wurde. Der Lernprozess basierte auf dem Proximal Policy Optimization (PPO)-Algorithmus. In Millionen von Trainingspartien gegen einen vielfältigen Gegner-Pool wurde der Agent schrittweise (Curriculum Learning) an komplexe Situationen herangeführt. Die abschließenden Evaluierungen und eine Mensch-Maschine-Studie zeigen, dass das System das Spielprinzip erfolgreich erlernt und ein kompetitives Leistungsniveau erreicht hat, mit dem es menschliche Spieler besiegen kann.

In recent years, artificial intelligence has learned to play many classic board games at the highest level. This bachelor thesis focuses on a new challenge: the asymmetric two-player game Aqualin. The goal of this work was to develop a neural network that independently learns the rules and complex strategies of this game, without relying on human prior knowledge. The main hurdles of Aqualin (opposing player objectives and an enormous action space caused by the two-phase turn) were overcome through a custom-built simulation environment. The asymmetry was resolved by providing the agent with a role-specific perspective (Semantic Vision), while the complex turn was internally divided into manageable steps. The learning process was based on the Proximal Policy Optimization (PPO) algorithm. Through millions of training matches against a diverse pool of opponents, the agent was gradually introduced to increasingly complex situations (Curriculum Learning). The final evaluations, including a human-machine study, demonstrate that the developed system has successfully learned the game mechanics and achieved a competitive level of play, capable of defeating human players.