Wie LLMs entstehen / Glossar

KI-Benchmark

Ein KI-Benchmark ist ein fester Satz von Aufgaben mit prüfbaren Lösungen, etwa Prüfungsfragen, Matheaufgaben oder Programmieraufgaben, mit dem man misst und vergleicht, wie gut Modelle abschneiden.

Bekannte Benchmarks sind MMLU mit Multiple-Choice-Fragen aus 57 Fächern, HumanEval mit 164 Programmieraufgaben, die per Testlauf geprüft werden, und GSM8K, eine Sammlung von etwa 8.500 Mathe-Textaufgaben auf Grundschulniveau.

Eine Punktzahl sagt nur unter fairen Bedingungen etwas aus. Sind Benchmark-Fragen in die Trainingsdaten gerutscht, ein Problem namens Kontamination, erinnert sich das Modell vielleicht einfach an die Lösungen. Außerdem muss jedes Modell mit denselben Prompts und Regeln getestet werden.

Benchmarks nutzen sich ab: Erreichen die besten Modelle fast die Höchstpunktzahl, kann ein Test sie nicht mehr unterscheiden, und neue, schwerere Tests entstehen. Labore ergänzen blinde Vergleiche durch Menschen und Sicherheitstests, denn eine hohe Punktzahl beweist nicht, dass ein Modell nützlich oder sicher ist.