Wie LLMs entstehen / Glossar

Quantisierung

Quantisierung macht ein KI-Modell kleiner und schneller, indem jedes Gewicht mit weniger Bits gespeichert wird, zum Beispiel 4 statt 16, und dafür ein kleiner Rundungsfehler in Kauf genommen wird.

Jedes Gewicht ist eine Zahl, und sie genau zu speichern kostet Platz. Quantisierung rundet die Gewichte auf eine kleinere Menge von Werten. Ein Modell mit 7 Milliarden Gewichten braucht bei 16 Bit pro Gewicht etwa 14 GB, bei 4 Bit etwa 3,5 GB.

Sorgfältig gemacht, kostet sie erstaunlich wenig Qualität: Forschende ließen Modelle mit bis zu 175 Milliarden Parametern mit 8-Bit-Gewichten laufen, ohne Leistung zu verlieren. Rundet man zu stark, auf sehr wenige Bits, leidet die Qualität aber.

Quantisierung ist ein Hauptgrund, warum fähige Modelle heute auf Laptops und Handys laufen. Sie wird oft mit Destillation kombiniert, bei der ein kleineres Modell lernt, ein größeres nachzuahmen.