Training ist der Prozess, bei dem ein neuronales Netz anhand grosser Datenmengen seine internen Parameter schrittweise anpasst, um Muster zu erkennen und Vorhersagen zu verbessern.
Bei einem Sprachmodell läuft das Training in mehreren Phasen ab: Im Pre-Training lernt das Modell auf Basis riesiger, allgemeiner Textmengen grundlegende Sprachmuster und Weltwissen. Im anschliessenden Fine-Tuning und insbesondere durch Reinforcement Learning from Human Feedback (RLHF) wird das Modell darauf trainiert, hilfreiche, sichere und den menschlichen Erwartungen entsprechende Antworten zu geben.
Während jedes Trainingsschritts vergleicht das Modell seine Vorhersage mit dem tatsächlichen, korrekten nächsten Wort und passt seine Parameter minimal in Richtung einer besseren Vorhersage an – dieser Vorgang wird über Milliarden von Beispielen wiederholt.
Das Training grosser Modelle erfordert enorme Rechenressourcen (oft tausende spezialisierter Chips über Wochen bis Monate) und ist damit einer der teuersten Schritte in der Entwicklung eines LLMs.
