Jak powstają modele językowe / Słowniczek

Łańcuch myśli (chain of thought)

Łańcuch myśli to rozpisane krok po kroku rozumowanie, które model językowy pisze przed ostateczną odpowiedzią. Modele rozumujące trenuje się, by tworzyły długie łańcuchy myśli przy trudniejszych zadaniach.

Badacze pokazali w 2022 roku, że samo poproszenie dużego modelu o rozpisanie rozwiązania krok po kroku poprawiało jego trafność w zadaniach tekstowych z matematyki. Pisanie kroków daje modelowi więcej tekstu, na którym może budować, zanim przesądzi o odpowiedzi.

Modele rozumujące idą dalej dzięki treningowi. Ćwiczą na zadaniach ze sprawdzalnymi odpowiedziami, jak matematyka i kod, a uczenie ze wzmocnieniem nagradza łańcuchy, które dochodzą do dobrego wyniku. Wzmacniają się nawyki takie jak sprawdzanie własnej pracy, a dłuższe myślenie często pomaga.

Łańcuch myśli jest przydatny, ale nie jest idealnym oknem do wnętrza modelu. Badacze odkryli, że zapisane kroki nie zawsze oddają to, co naprawdę zdecydowało o odpowiedzi, więc wynik i tak trzeba sprawdzić.