Jak powstają modele językowe / Słowniczek

Model bazowy

Model bazowy to model językowy prosto po pretreningu. Kontynuuje tekst zamiast wykonywać polecenia, więc potrzebuje dalszego treningu, zanim zadziała jako asystent.

Zadaj modelowi bazowemu pytanie, a może odpowiedzieć kolejnymi pytaniami, bo w sieci po liście pytań często następują dalsze pytania. Nauczył się kontynuować dokumenty, a nie pomagać osobie, która pisze.

Modele bazowe i tak dużo wiedzą. GPT-3 pokazał, że model bazowy potrafi wykonać nowe zadania na podstawie kilku przykładów wstawionych do promptu, tzw. few-shot prompting, o ile tekst wygląda jak dokument, w którym zaraz pada odpowiedź.

Wiele laboratoriów wydaje zarówno model bazowy, na którym mogą budować badacze i deweloperzy, jak i wersję dostrojoną do poleceń, do rozmowy. Późniejszy trening asystenta używa dużo mniej danych i kształtuje głównie zachowanie modelu.