Application of Transformer-based Methods to Latin Text Analysis

Abstract

Textzusammenfassung ist ein etabliertes Problem im NLP-Bereich. Der rasch anwachsende Erfolg von deep learning Algorithmen führte zur Entwicklung des attention Mechanismus, welcher wiederum die Grundlage für die Transformer Architektur bildet. Die Transformer Architektur ist ein transfer learning Ansatz NLP Probleme zu lösen. BERT, ein pre-trained Transformer Modell, hat herausragende Ergebnis beim Lösen verschiedener NLP-Probleme erzielt. In dieser Abschlussarbeit wird BertSum, eine Erweiterung BERTs spezialisiert auf extrahierende Textzusammenfassung, auf neuronale Textzusammenfassung von lateinischen und deutschen Texten angewandt. Dies stellt eine besondere Herausforderung dar, denn die Texte wurden zu einer Zeit verfasst, in der noch keine festgeschriebene Orthographie, Morphologie und Semantik existierte.

Text summarization is an established problem in the field of NLP. The rapidly growing success of deep learning algorithms in solving NLP problems has led to the attention mechanism, which is the foundation for the Transformer architecture, a transfer learning approach for NLP tasks. BERT, a pre-trained Transformer model, has performed exceptionally well on various NLP tasks. This thesis applies BertSum, an enhancement of BERT specialized for extractive text summarization, to the neural text summarization of Latin and German texts. The distinctiveness of the chosen corpus is that it consists of medieval documents. This poses a challenge because the documents were written in a time where orthography, morphology, and semantics were not well defined.