Untersuchung der Auswirkung von Skalierung vor dem SoftMax Layer auf die Robustheit eines Neuronalen Netzes

Abstract

Vergleich von drei verschiedenen Ansätzen zur Stabilisierung neuronaler Netze gegen zwei unterschiedliche Arten von inkorrekt gelabelten Trainingsdaten. Dabei wollen alle drei Ansätze durch Abgrenzung von Logits ein besseres Trainingsergebnis erzielen. Zwei der Ansätze enthalten extra Schritte um Vanishing Gradients vorzubeugen.

Comparison of three different approaches to stabilize neural networks against two different types of incorrectly labeled training data. All three approaches aim to achieve a better training result by better differentiating logits. Two of the approaches include extra steps to prevent vanishing gradients.