Parameter sind die internen, wahrend des Trainings angepassten Zahlenwerte eines neuronalen Netzes, die zusammen bestimmen, wie das Modell Eingaben verarbeitet und Ausgaben erzeugt.
Die Anzahl der Parameter gilt als grober Indikator für die "Grösse" und potenzielle Leistungsfähigkeit eines KI-Modells – moderne LLMs haben oft mehrere Milliarden bis mehrere hundert Milliarden Parameter.
Mehr Parameter bedeuten grundsätzlich eine höhere Kapazität, komplexe Muster und Zusammenhänge zu erfassen, gehen aber auch mit deutlich höherem Rechenaufwand für Training und Inference sowie höherem Speicherbedarf einher.
Die reine Parameterzahl ist jedoch kein alleiniges Gütekriterium: Trainingsdatenqualität, Trainingsmethodik und Architektur beeinflussen die tatsächliche Leistungsfähigkeit eines Modells mindestens ebenso stark wie seine Grösse – kleinere, gut trainierte Modelle können grössere, schlechter trainierte Modelle bei bestimmten Aufgaben durchaus übertreffen.
