Zum Inhalt springen
DE

Lektion 3 von 6 · 6 Min. · +100 XP

Wie wird ein großes Sprachmodell klein genug fürs Handy?

Zwei Haupttricks verkleinern ein Sprachmodell. Quantisierung speichert jedes seiner Milliarden Gewichte mit weniger Bits, zum Beispiel 4 statt 16. So wird die Datei um ein Vielfaches kleiner und schneller, mit wenig Qualitätsverlust, bis zu stark gerundet wird. Destillation trainiert ein kleines Schülermodell, die Antworten eines großen Lehrermodells nachzuahmen.

▶ Probier es aus

Warum das wichtig ist

Die größten Modelle brauchen ganze Regale voller Chips. Durchs Verkleinern läuft KI auf Laptop oder Handy, günstiger, schneller und sogar offline. Und es erklärt, warum kleine Modelle trotzdem gut sein können.

In 6 Minuten kannst du

  • Die Größe eines Modells sind vor allem seine Gewichte mal die Bits pro Gewicht.
  • Bis etwa 4 Bits sinkt die Qualität meist nur wenig; deutlich darunter zerfallen die Antworten.
  • Kleine Modelle auf dem Gerät laufen offline und lassen deinen Text auf deinem Gerät.

Das übst du

  1. Warum ein Modell verkleinern?

    Tipp auf jede Karte.

    📦 Wie groß ist ein Modell?
    Ein Modell besteht aus Milliarden Zahlen, den Gewichten. Mit je 16 Bits füllt ein Modell mit 7 Milliarden Gewichten etwa 14 GB.
    📱 Warum auf dem Gerät?
    Es läuft offline, antwortet ohne Umweg über einen Server, und dein Text kann auf deinem Gerät bleiben.
    ⚡ Warum ist kleiner schneller?
    Für jedes Token muss der Chip die Gewichte aus dem Speicher lesen. Weniger Bytes heißt mehr Tokens pro Sekunde.
    💸 Warum ist das Laboren wichtig?
    Millionen Menschen zu bedienen kostet Chips und Strom. Ein kleineres Modell, das fast genauso gut antwortet, ist viel günstiger.

  2. Schrumpf Vireo fürs Handy

    Schieb die Genauigkeit nach unten und beobachte Gewichte, Größe und Qualität. Bring es aufs Handy, wenn es passt und noch funktioniert. Größen, Tempo und Werte sind zur Veranschaulichung.

    Vireo · 7B

    • 32 Bit: 28 GB · 2 Tok/s · Qualität 100% · Die Hauptstadt von Australien ist Canberra.
    • 16 Bit: 14 GB · 5 Tok/s · Qualität 100% · Die Hauptstadt von Australien ist Canberra.
    • 8 Bit: 7 GB · 9 Tok/s · Qualität 99% · Die Hauptstadt von Australien ist Canberra.
    • 4 Bit: 3,5 GB · 16 Tok/s · Qualität 96% · Australiens Hauptstadt ist Canberra.
    • 2 Bit: 1,75 GB · 21 Tok/s · Qualität 38% · Die Hauptstadt Hauptstadt von Austral ist ist Sydberra berra

    Vireo Mini · 1B

    • 32 Bit: 4 GB · 12 Tok/s · Qualität 89% · Canberra ist die Hauptstadt von Australien.
    • 16 Bit: 2 GB · 24 Tok/s · Qualität 89% · Canberra ist die Hauptstadt von Australien.
    • 8 Bit: 1 GB · 44 Tok/s · Qualität 88% · Canberra ist die Hauptstadt von Australien.
    • 4 Bit: 0,5 GB · 70 Tok/s · Qualität 85% · Canberra ist Australiens Hauptstadt.
    • 2 Bit: 0,25 GB · 84 Tok/s · Qualität 31% · Canberra die die von Hauptstadt Aus Aus

    1. Bring Vireo in die 4 GB, die auf dem Handy frei sind, mit einer Qualität von 90 % oder mehr.

      ✓ 4 Bits pro Gewicht: ein Achtel der ursprünglichen Größe und fast genauso gut. Darum sind 4-Bit-Modelle auf Laptops und Handys so beliebt.

    2. Selbst mit 2 Bits hat das 7B-Modell 1,75 GB und ist kaputt. Wie bekommst du ein viel kleineres Modell, das trotzdem gut antwortet?

      • ✓ Ein kleines Schülermodell trainieren, die Antworten des großen nachzuahmen: Das ist Destillation. Der Schüler lernt die vollen Wahrscheinlichkeiten des Lehrers für jedes Wort, nicht nur richtig oder falsch, und lernt so viel aus wenig.
      • ✗ Zufällig die meisten Schichten des großen Modells löschen: Zufällig Schichten zu streichen zerstört, was das Modell gelernt hat. Destillation erhält das Wissen, indem sie gezielt ein kleineres Modell unterrichtet.
      • ✗ Ein kleines Modell von Grund auf mit wenig Daten trainieren: Ein kleines Modell, allein mit wenig Daten trainiert, lernt viel weniger. Die Antworten eines großen Lehrers nachzuahmen verschafft ihm einen Vorsprung.

      Ein günstigeres Handy hat nur 0,8 GB frei. Bring den Schüler mit einer Qualität von 80 % oder mehr darauf.

      ✓ Erst Destillation, dann Quantisierung: Ein Modell, das mit 28 GB anfing, antwortet jetzt gut in einem halben Gigabyte. Labore kombinieren beide Tricks ständig.

  3. Welcher Trick ist das?

    Ist das Quantisierung, Destillation, oder macht es ein Modell größer?

    • Jedes Gewicht mit 4 statt 16 Bits speichern → Quantisierung
    • Ein 1B-Modell, trainiert auf den Antworten eines 70B-Modells → Destillation
    • Bei jedem Gewicht 0,73914 auf 0,74 runden → Quantisierung
    • Doppelt so viele Schichten hinzufügen → Macht es größer
    • Die Wahrscheinlichkeiten des Lehrers für jedes nächste Wort nachahmen → Destillation
    • Mit zehnmal mehr Text und mehr Gewichten trainieren → Macht es größer

Merk dir

Quantisierung rundet jedes Gewicht auf weniger Bits; Destillation bringt einem kleinen Modell bei, ein großes nachzuahmen. Beides bringt KI auf kleinere Geräte.

Gewichte auf weniger Bits zu runden macht ein Modell viel kleiner bei wenig Verlust, bis es zu weit geht. Ein Schülermodell kann von einem Lehrer lernen.

Die wichtigsten Fakten

  • Wissensdestillation, also ein kleines Modell auf den abgeschwächten Ausgaben eines großen zu trainieren, wurde durch ein Paper von 2015 bekannt. · Quelle: Hinton, Vinyals and Dean, Distilling the Knowledge in a Neural Network, Google, 2015
  • DistilBERT war 40 % kleiner und 60 % schneller als das BERT-Modell, von dem es lernte, und behielt 97 % seines Sprachverständnisses. · Quelle: Sanh et al., DistilBERT, Hugging Face, 2019
  • Mit Gewichten in 8 Bit konnten Forschende Modelle mit bis zu 175 Milliarden Parametern ohne Leistungsverlust ausführen. · Quelle: Dettmers et al., LLM.int8(), 2022
  • Mit 4-Bit-Gewichten haben Forschende ein Modell mit 65 Milliarden Parametern auf einer einzigen Grafikkarte mit 48 GB feinabgestimmt. · Quelle: Dettmers et al., QLoRA, 2023
  • Ein Modell mit 7 Milliarden Gewichten braucht bei 16 Bits pro Gewicht etwa 14 GB, bei 4 Bits etwa 3,5 GB.

Aktualisiert:

Häufige Fragen

Was ist Quantisierung bei LLMs?

Quantisierung speichert die Gewichte eines Modells mit weniger Bits, zum Beispiel 4 statt 16. Das Modell wird um ein Vielfaches kleiner und schneller, meist mit nur geringem Qualitätsverlust.

Was ist Modell-Destillation?

Destillation trainiert ein kleines Schülermodell, die Ausgaben eines großen Lehrermodells nachzuahmen, auch wie wahrscheinlich es jedes mögliche nächste Wort findet. Der Schüler wird so viel besser als ein allein trainiertes kleines Modell.

Kann man ein LLM auf dem Handy laufen lassen?

Ja. Kleine Modelle mit wenigen Milliarden Gewichten oder weniger, oft auf 4 Bits quantisiert, laufen auf modernen Handys und Laptops, sogar ohne Internetverbindung.

Macht Quantisierung ein Modell schlechter?

Ein wenig. Bis etwa 8 oder 4 Bits ist der Verlust meist klein, aber bei sehr geringer Genauigkeit wie 2 Bits häufen sich die Rundungsfehler, und Antworten können zerfallen.

Verwandte Begriffe