Framework zur Bewertung von Open- und Closed-Source-LLMs in der Klassifikation von Nachrichtenmeldungen für das Supply-Chain-Riskmanagement

Abstract

Diese Arbeit stellt ein Framework zur systematischen Vergleichsanalyse offener und proprietärer Large Language Models (LLMs) für die Relevanzklassifikation von Nachrichten im Supply-Chain-Risk-Management vor. Es ermöglicht Modellvergleiche ohne annotierte Referenzdaten und liefert quantitative und qualitative Einsichten in Konsistenz, Robustheit und Eignung verschiedener Modelle. In einer exemplarischen Anwendung wurde das Framework genutzt, um 22 LLMs anhand der Relevanzklassifikation von 15.000 Nachrichtenartikeln im Kontext der Automobilindustrie zu analysieren. Die Ergebnisse zeigen, dass leistungsfähige Open-Source-Modelle in Einzelfällen mit kommerziellen Systemen vergleichbar sind und unterstreichen die Bedeutung kontinuierlicher Modellwahl und -evaluation für den praktischen Einsatz.