Zum Inhalt springen
DE

Lektion 1 von 6 · 6 Min. · +100 XP

Wie werden KI-Sprachmodelle getestet und bewertet?

Neue Sprachmodelle werden mit Benchmarks getestet: festen Fragensammlungen mit prüfbaren Antworten, etwa Matheaufgaben, Programmieraufgaben mit Tests oder Multiple-Choice-Prüfungen. Dazu kommen Sicherheitstests und blinde Vergleiche durch Menschen. Ein Ergebnis sagt nur dann etwas aus, wenn die Fragen nicht in den Trainingsdaten standen und alle Modelle nach denselben Regeln getestet wurden.

▶ Probier es aus

Warum das wichtig ist

Jeder Launch kommt mit großen Zahlen. Wenn du weißt, wie die Tests funktionieren, erkennst du echten Fortschritt, undichte Tests und unfaire Vergleiche.

In 6 Minuten kannst du

  • Benchmarks sind feste Fragensammlungen mit prüfbaren Antworten, von Mathe über Programmieren bis Sicherheit.
  • Ergebnisse täuschen, wenn Testfragen ins Training gelangt sind oder die Regeln zwischen Modellen abweichen.
  • Achte auf blinde Vergleiche, externe Ergebnisse und Tests mit Aufgaben wie deinen.

Das übst du

  1. Fairer oder undichter Test?

    Kannst du dem Ergebnis dieses Tests trauen?

    • Fragen, die erst nach dem Sammeln der Trainingsdaten geschrieben wurden → Fairer Test
    • Ein Mathetest, der seit Jahren online steht, samt Lösungen → Ergebnis nicht vertrauenswürdig
    • Programmieraufgaben, geprüft durch echtes Ausführen des Codes → Fairer Test
    • Das Team optimiert das Modell, bis es genau diesen Test glänzend besteht → Ergebnis nicht vertrauenswürdig
    • Menschen vergleichen zwei Antworten, ohne zu wissen, welches Modell sie schrieb → Fairer Test
    • Unser Modell hat 10 Versuche pro Frage, die Konkurrenz nur 1 → Ergebnis nicht vertrauenswürdig

  2. Prüf die Launch-Versprechen

    Halcyon AI, ein erfundenes Konkurrenzlabor, hat gerade Halcyon 2 vorgestellt. Wähl für jede Behauptung die passende Prüfung, sieh dir das Ergebnis an und vergib dann einen Stempel.

    Du: Was ist neu an Halcyon 2?
    Halcyon AI: Das ist Halcyon 2, unser bisher bestes Modell!Es erreicht 92 % bei MathBench, einem öffentlichen Test mit 1.000 Schulmatheaufgaben.Es schlägt Vireo 3 beim Programmieren: 71 % gegen 64 %.In Blindtests wurden seine Antworten 6 von 10 Mal bevorzugt.Es ist das sicherste Modell, das je gebaut wurde.Es erreicht 89 % bei neuen Fragen, die nach Ende seines Trainings geschrieben wurden.Probier es noch heute aus!
    1. Es erreicht 92 % bei MathBench, einem öffentlichen Test mit 1.000 Schulmatheaufgaben.

      Auf Lecks prüfen · Testdetails lesen · Ein beliebter öffentlicher Test kann ins Netz und von dort in die Trainingsdaten gelangt sein. Prüf das zuerst.

      Technischer Bericht zu Halcyon 2 · Abschnitt Daten: MathBench ist seit 2021 online, und die Trainingsdaten enthalten Forenseiten, die Fragen und Lösungen kopieren.

      → Irreführend: Hat das Modell Fragen und Lösungen im Training gesehen, sind 92 % vielleicht Gedächtnis statt Mathekönnen.

    2. Es schlägt Vireo 3 beim Programmieren: 71 % gegen 64 %.

      Gleiches mit Gleichem vergleichen · Testdetails lesen · Zwei Zahlen nebeneinander bedeuten nur etwas, wenn beide Modelle den Test gleich gemacht haben.

      Technischer Bericht zu Halcyon 2 · Fußnote 4: Halcyon 2 hatte 10 Versuche pro Aufgabe und galt als erfolgreich, wenn einer bestand. Die 64 % von Vireo 3 gelten für einen einzigen Versuch.

      → Irreführend: Zehn Versuche gegen einen ist kein faires Rennen. Mit gleichen Regeln könnte der Abstand schrumpfen oder verschwinden.

    3. In Blindtests wurden seine Antworten 6 von 10 Mal bevorzugt.

      Externe Ergebnisse suchen · Testdetails lesen · Solche Aussagen lassen sich leicht prüfen, wenn auch andere verglichen haben. Such nach unabhängigen Ergebnissen.

      Eine unabhängige Bewertungsseite · blinde Stimmen: 4.200 blinde Stimmen: Die Antwort von Halcyon 2 wurde in 58 % der Vergleiche bevorzugt.

      → Hält stand: Blind, viele Stimmen, von jemand anderem durchgeführt, und 58 % liegen nah an der Behauptung. Das hält stand.

    4. Es ist das sicherste Modell, das je gebaut wurde.

      Gesunder Menschenverstand · Testdetails lesen · Eine pauschale Behauptung ohne Zahl sollte dich stutzig machen. Welcher Test könnte „je“ überhaupt beweisen?

      Technischer Bericht zu Halcyon 2 · Abschnitt Sicherheit: Keine Sicherheitstests genannt, keine Ergebnisse, keine externen Tester erwähnt.

      → Nicht prüfbar: Nichts zeigt, dass es falsch ist, aber nichts stützt es. Ohne genannte Tests und Ergebnisse lässt es sich nicht prüfen.

    5. Es erreicht 89 % bei neuen Fragen, die nach Ende seines Trainings geschrieben wurden.

      Testdetails lesen · Auf Lecks prüfen · Lies, wie der Test entstand: wer die Fragen schrieb, wann und ob sie öffentlich sind.

      Technischer Bericht zu Halcyon 2 · Abschnitt Evaluation: Fragen von beauftragten Fachleuten, geschrieben nach dem Sammeln der Trainingsdaten und unter Verschluss gehalten.

      → Hält stand: Neue, geheime Fragen können nicht ins Training gelangt sein. Genau das macht einen fairen Test aus.

  3. Das Zeugnis lesen

    1. Jedes neue Modell erreicht bei einer alten Prüfung über 95 %. Was sagt dir das?

      • Die Prüfung ist zu leicht, um Modelle zu unterscheiden (Antwort)
      • KI kann jetzt alles aus dieser Prüfung perfekt

    2. Warum halten manche Testmacher ihre Fragen geheim?

      • Damit die Fragen nicht in Trainingsdaten gelangen (Antwort)
      • Damit sich niemand über die Fragen beschweren kann

    3. Vireo glänzt in einem schweren Programmier-Benchmark. Was solltest du trotzdem prüfen, bevor du ihm dein Projekt anvertraust?

      • Wie es bei Aufgaben wie deinen abschneidet, und seinen Code testen (Antwort)
      • Nichts: Der Benchmark hat es schon bewiesen

Merk dir

Ein Benchmark-Ergebnis ist nur so gut wie der Test: neue Fragen, gleiche Regeln für jedes Modell und Ergebnisse, die andere prüfen können.

Ein Benchmark-Ergebnis ist nur so gut wie der Test: neue Fragen, gleiche Regeln für alle und Ergebnisse, die andere prüfen können.

Die wichtigsten Fakten

  • MMLU, ein viel genutzter Wissens-Benchmark, enthält Multiple-Choice-Fragen aus 57 Fächern, von Mathe bis Jura. · Quelle: Hendrycks et al., Measuring Massive Multitask Language Understanding, ICLR 2021
  • HumanEval testet Programmieren mit 164 handgeschriebenen Aufgaben; der Code des Modells wird jeweils mit Unit-Tests geprüft. · Quelle: Chen et al., Evaluating Large Language Models Trained on Code, OpenAI, 2021
  • GSM8K umfasst rund 8.500 Mathe-Textaufgaben auf Grundschulniveau und testet schrittweises Denken. · Quelle: Cobbe et al., Training Verifiers to Solve Math Word Problems, OpenAI, 2021
  • Das GPT-3-Paper prüfte, wie viele Benchmark-Fragen in die Trainingsdaten gelangt waren, ein Problem namens Kontamination. · Quelle: Brown et al., Language Models are Few-Shot Learners, OpenAI, 2020
  • Chatbot Arena erstellt Ranglisten aus blinden Vergleichen vieler Menschen: Sie vergleichen zwei anonyme Antworten und wählen die bessere. · Quelle: Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena, 2023

Aktualisiert:

Häufige Fragen

Was ist ein LLM-Benchmark?

Ein Benchmark ist eine feste Sammlung von Aufgaben mit prüfbaren Antworten, etwa Prüfungsfragen, Matheaufgaben oder Programmieraufgaben. Laufen verschiedene Modelle über denselben Benchmark, werden ihre Ergebnisse vergleichbar.

Was bedeutet Kontamination bei Benchmarks?

Kontamination heißt, dass Testfragen oder Lösungen in den Trainingsdaten eines Modells gelandet sind. Das Modell punktet dann durch Erinnern statt Nachdenken, und das Ergebnis überschätzt sein Können.

Sind KI-Benchmarks zuverlässig?

Nützlich, aber begrenzt. Vertrau ihnen mehr, wenn die Fragen neu oder geheim sind, alle Modelle dieselben Regeln haben und unabhängige Gruppen ähnliche Ergebnisse finden.

Wie entstehen KI-Ranglisten?

Manche mitteln Ergebnisse über mehrere Benchmarks. Andere sammeln blinde Stimmen: Menschen vergleichen zwei anonyme Antworten auf denselben Prompt und wählen die bessere, daraus entsteht die Rangliste.

Verwandte Begriffe