Design and Implementation of a Library for Recurring ETL Imports of Reference Data in Ruby

Abstract

Viele der heutigen Informationssysteme benötigen Stammdaten von Drittanbietern für den reibungslosen Betrieb. In vielen Fällen müssen diese Daten beim Importieren an das Datenbankschema des Informationssystems angepasst werden. Wenn dieser Import zusätzlich auch regelmäßig (z.B. jede Nacht) erfolgt, ist es nötig die neuen Daten mit den bereits importierten zusammenzuführen, um die Konsistenz des Datenbestandes nicht zu verletzen. BeetleETL, die Softwarebibliothek, die in dieser Thesis erarbeitet und implementiert wird, ermöglicht es Nutzern diese Schematransformationen in SQL zu verfassen und übernimmt die Aufgabe des Zusammenführen der Daten.

Many of today’s information systems require third party generated reference or master data in order to operate properly. Oftentimes this data needs to be transformed into a di erent database schema when imported into the system and in case this import happens regularly (e.g. every night), it is necessary to properly merge existing data with the newly imported dataset in order to ensure consistency. BeetleETL, the library designed and implemented in this thesis, relieves users of the complex task of merging data and enables them to express the import of third party entities if the form of SQL transformation queries.