Przejdź do treści
PL

Lekcja 1 z 6 · 6 min · +100 XP

Czym jest dostrajanie do poleceń (instruction tuning) dużych modeli językowych?

Dostrajanie do poleceń (instruction tuning), nazywane też nadzorowanym dostrajaniem (SFT), zamienia model bazowy w asystenta. Model trenuje dalej na tysiącach przykładów napisanych przez ludzi: każdy to prośba i wzorowa odpowiedź. Uczy się schematu „prośba, potem pomocna odpowiedź”, więc zamiast dopisywać ciąg dalszy twojego tekstu, odpowiada na niego.

▶ Wypróbuj

Dlaczego to ważne

Świeżo wytrenowany model tylko dopisuje tekst: zadaj mu pytanie, a dopisze pięć kolejnych. Kilka tysięcy dobrych przykładów uczy go kształtu pomocnej odpowiedzi.

W 6 minut nauczysz się

  • Model bazowy dopisuje tekst. Nie wie, że powinien ci odpowiedzieć.
  • Dostrajanie do poleceń trenuje go dalej na prośbach połączonych z wzorowymi odpowiedziami.
  • Model wiernie kopiuje przykłady, więc najważniejsze są ich jakość, różnorodność i ton.

Co przećwiczysz

  1. Autouzupełnianie czy asystent?

    Prośba brzmiała: „Daj mi 3 rady, jak lepiej spać”. Kto napisał każdą odpowiedź: model bazowy czy dostrojony asystent?

    • Daj mi 3 rady, jak lepiej jeść. Daj mi 3 rady, jak więcej się ruszać. → Model bazowy
    • 1. Kładź się o stałej porze. 2. Godzinę przed snem odłóż ekrany. 3. Bez kawy wieczorem. → Dostrojony asystent
    • …był najczęściej czytanym wpisem na naszym forum w marcu. Odpowiedź nr 1: → Model bazowy
    • Jasne! Spróbuj chłodnego, ciemnego pokoju, stałej pory wstawania i łóżka bez telefonu. → Dostrojony asystent
    • Chętnie pomogę. Trudniej ci zasnąć czy przespać noc? → Dostrojony asystent

  2. Zobacz, jak zmieniają się szanse

    Bądź Vireo i wybierz kolejne słowo przed dostrojeniem i po nim. Procenty są poglądowe, wymyślone, by pokazać zasadę.

    1. [Model bazowy, przed dostrojeniem]
      Wymień trzy owoce.       ___

      • Wymień: 34% (najbardziej prawdopodobne)
      • Podaj: 12%
      • Jabłko: 8%
      • Banany: 4%
      • inne słowa: 42%
      Przed dostrojeniem najbardziej prawdopodobne jest kolejne polecenie z ćwiczeń, np. „Wymień trzy warzywa”. Listy pytań są w sieci bardzo częste.

    2. [Vireo, po dostrojeniu]
      Użytkownik: Wymień trzy owoce.
      Vireo:       ___

      • Jabłko: 55% (najbardziej prawdopodobne)
      • Jasne: 25%
      • Wymień: 1%
      • inne słowa: 19%
      Po tysiącach par prośba–odpowiedź zaczęcie odpowiedzi jest zdecydowanie najbardziej prawdopodobne. Nawyk dopisywania pytań prawie zniknął.

    3. [Vireo, po dostrojeniu]
      Użytkownik: Powiedz „dzień dobry” po hiszpańsku.
      Vireo:       ___

      • Buenos: 70% (najbardziej prawdopodobne)
      • Jasne: 15%
      • Dzień: 5%
      • Powiedz: 1%
      • inne słowa: 9%
      Przykłady obejmowały wiele rodzajów zadań: listy, tłumaczenia, streszczenia. Dlatego Vireo wykonuje też nowe prośby, których nigdy nie widział słowo w słowo.

  3. Wybierz przykłady treningowe

    Tomás buduje zestaw do dostrajania Vireo. Które przykłady powinny do niego trafić? Zaznacz wszystkie dobre.

    • Streść tego maila w jednym zdaniu → jasne, jednozdaniowe streszczenie
    • Ile to 15% z 80? → „12”, z pokazanym obliczeniem
    • Napisz wierszyk na urodziny babci → ciepły, krótki wiersz
    • Pomóż mi włamać się na konto mojego ex → życzliwe, jasne „nie”
    • Jaka jest stolica Kanady? → „Toronto”
    • Przypadkowa strona internetowa, bez żadnej prośby
    • Wyjaśnij dziecku, skąd deszcz → 900 słów żargonu

Zapamiętaj

Dostrajanie do poleceń pokazuje modelowi bazowemu tysiące par prośba–odpowiedź, więc odpowiadanie staje się jego najbardziej prawdopodobnym ruchem.

Dostrajanie do poleceń pokazuje modelowi pary prośba–odpowiedź, aż odpowiadanie stanie się jego najbardziej prawdopodobnym ruchem.

Najważniejsze fakty

  • W badaniu InstructGPT ludzie woleli odpowiedzi modelu z 1,3 mld parametrów dostrojonego do wykonywania poleceń od odpowiedzi GPT-3 ze 175 mld parametrów, czyli modelu ponad 100 razy większego. · Źródło: Ouyang et al., Training language models to follow instructions with human feedback, OpenAI, 2022
  • Dostrajanie modelu na wielu różnych zadaniach zapisanych jako polecenia poprawia jego wyniki w nowych zadaniach, na których nigdy nie był dostrajany. · Źródło: Wei et al., Finetuned Language Models Are Zero-Shot Learners (FLAN), Google, 2021
  • W badaniu LIMA duży model dostrojono na zaledwie 1000 starannie wybranych przykładów i i tak zachowywał się jak dobry asystent, co sugeruje, że jakość liczy się bardziej niż ilość. · Źródło: Zhou et al., LIMA: Less Is More for Alignment, Meta, 2023
  • Dostrajanie do poleceń często nazywa się nadzorowanym dostrajaniem (SFT, supervised fine-tuning), bo każdy przykład treningowy zawiera odpowiedź, jaką model powinien dać.

Aktualizacja:

Częste pytania

Czym różni się model bazowy od modelu dostrojonego do poleceń?

Model bazowy nauczył się tylko dopisywać tekst, więc na pytanie może odpowiedzieć kolejnymi pytaniami. Model dostrojony do poleceń trenowano dalej na parach prośba–odpowiedź, więc reaguje na to, o co prosisz.

Co to jest nadzorowane dostrajanie (SFT)?

To dodatkowy trening na przykładach, z których każdy zawiera poprawny wynik. W modelach czatowych są to prośby połączone ze wzorowymi odpowiedziami, napisanymi lub sprawdzonymi przez ludzi.

Ile danych potrzeba do dostrajania do poleceń?

Dużo mniej niż do pretreningu: od tysięcy do setek tysięcy przykładów zamiast bilionów słów. Badania takie jak LIMA sugerują, że mały zestaw świetnych przykładów potrafi bardzo dużo.

Kto pisze dane do dostrajania do poleceń?

Zwykle przeszkoleni autorzy i eksperci dziedzinowi zatrudniani przez laboratoria AI, czasem z pomocą innych modeli. Ich przykłady wyznaczają styl asystenta, dlatego dostają szczegółowe wytyczne.

Powiązane pojęcia