Imputation Strategies in Time Series based on Language Models

Abstract

Diese Arbeit untersucht die Eignung von Large Language Models zur Imputation von Zeitreihen. Innerhalb eines Versuchsaufbaus werden Open-Source-Modelle miteinander verglichen und mit PEFT-Methoden an die Imputation angepasst. Die Ergebnisse der Versuche zeigen, dass die Leistungsfähigkeit der Modelle von der Anzahl der Modellparameter sowie der Art des Pre-Trainings eines Modells abhängig ist. Dies hat zur Folge, dass die großen Sprachmodelle zwar auf einem Teil der Datensätze führende Ergebnisse erzielen, kleinere Modelle aber je nach Art des Pre-Trainings gleichwertig sind.

This paper investigates the suitability of large language models for time series imputation. Within an experimental setup, open-source models are compared and adapted to the imputation task using PEFT methods. The results of the experiments show that the performance of the models depends on the number of model parameters and the nature of a model’s pre-training. As a result, while the large language models achieve leading results on part of the datasets, smaller models are equally effective depending on their type of pre-training.