Wie LLMs entstehen / Glossar

Parameter (Modellgewichte)

Parameter, auch Gewichte genannt, sind die verstellbaren Zahlen in einem KI-Modell. Das Training stellt sie so ein, dass die Vorhersagen besser werden, und zusammen speichern sie alles, was das Modell gelernt hat.

Ein Sprachmodell ist eine riesige Rechnung. Text geht als Zahlen hinein, wird mit den Parametern des Modells multipliziert und addiert, und heraus kommt eine Vorhersage. Vor dem Training sind die Parameter zufällig; das Training stupst jeden einzelnen, bis die Vorhersagen gut sind.

Die Größe eines Modells wird meist in Parametern angegeben. GPT-3 hatte 175 Milliarden davon, und viele Modelle, die auf einem Laptop laufen, haben ein paar Milliarden. Mehr Parameter können mehr Muster speichern, brauchen aber auch mehr Speicher, mehr Rechenleistung und mehr Trainingsdaten.

Parameter brauchen echten Platz: Mit 16 Bit pro Gewicht braucht ein Modell mit 7 Milliarden Gewichten etwa 14 GB, nur um geladen zu werden. Deshalb sind Tricks wie die Quantisierung, die jedes Gewicht mit weniger Bits speichert, so wichtig für Modelle auf Handys und Laptops.