Jak modele rozumujące AI uczą się myśleć krok po kroku?
Modele rozumujące trenuje się metodą uczenia ze wzmocnieniem na zadaniach, których wynik da się sprawdzić, np. z matematyki i programowania. Model pisze wiele prób, każdą jako łańcuch kroków myślenia, a automatyczny sprawdzacz nagradza tylko te z poprawnym wynikiem. Z czasem utrwalają się staranne nawyki, takie jak praca krok po kroku i sprawdzanie własnych obliczeń.
▶ Wypróbuj
Dlaczego to ważne
Niektóre odpowiedzi da się sprawdzić automatycznie, bez człowieka. Dzięki temu model ćwiczy na milionach zadań i uczy się, które sposoby myślenia naprawdę prowadzą do dobrego wyniku.
W 6 minut nauczysz się
- Wyniki z matematyki i kodu da się sprawdzić automatycznie, więc model może ćwiczyć na milionach zadań.
- Uczenie ze wzmocnieniem nagradza łańcuchy myśli, które prowadzą do dobrego wyniku.
- Nawyki takie jak dzielenie zadań i sprawdzanie obliczeń rosną, bo się opłacają. Ważne odpowiedzi i tak sprawdzaj.
Co przećwiczysz
Sprawdź łańcuchy
Przy każdej próbie stuknij pierwszy błędny krok albo „Bez błędu”. Potem uruchom sprawdzacz i patrz na słupki.
Zadanie: 17 × 24 = ? → 408
- Strzela wynik: Wygląda na ok. 400 → [✗ Czyli: 398] → 398 ✗
- Kroki, bez sprawdzenia: 17 × 20 = 340 → [✗ 17 × 4 = 58] → 340 + 58 = 398 → 398 ✗
- Kroki i sprawdzenie: 17 × 20 = 340 → 17 × 4 = 68 → 340 + 68 = 408 → Sprawdzenie: 17 × 25 − 17 = 408 ✓ → 408 ✓
Zadanie: Koszulka za 40 zł jest 25% taniej. Ile płacisz? → 30 zł
- Kroki, bez sprawdzenia: 25% z 40 = 10 → 40 − 10 = 30 → 30 zł ✓
- Strzela wynik: [✗ 25% taniej, czyli 25 zł] → 25 zł ✗
- Kroki i sprawdzenie: 25% = jedna czwarta → 40 : 4 = 10 → 40 − 10 = 30 → Sprawdzenie: 30 to 75% z 40 ✓ → 30 zł ✓
Zadanie: Maja jest o 3 lata starsza od Kuby. Razem mają 21 lat. Ile lat ma Maja? → 12
- Kroki i sprawdzenie: Kuba = x, Maja = x + 3 → 2x + 3 = 21 → x = 9, więc Maja = 12 → Sprawdzenie: 12 + 9 = 21 ✓ → 12 ✓
- Kroki, bez sprawdzenia: Kuba = x, Maja = x + 3 → 2x + 3 = 21 → x = 9 → [✗ Czyli Maja ma 9 lat] → 9 ✗
- Strzela wynik: Mniej więcej połowa z 21 → [✗ Czyli Maja ma 10 lat] → 10 ✗
Zadanie: Pociąg odjeżdża o 9:47, a podróż trwa 2 h 38 min. O której przyjeżdża?
9:47 + 2 h = 11:47 → 11:47 + 38 min = 11:85 → Chwila: 85 min to nie godzina. 85 min = 1 h 25 min → 11:00 + 1 h 25 min = 12:25 → Sprawdzenie: 9:47 → 12:25 to 2 h 38 min ✓ → 12:25 ✓Czy sprawdzacz to oceni?
Ten trening wymaga odpowiedzi, które program potrafi sprawdzić. Które zadania się nadają?
- Rozwiąż: 3x + 5 = 20 → Sprawdzacz to oceni
- Napisz miłą kartkę do nowej sąsiadki → Potrzebny ludzki osąd
- Popraw ten kod, żeby przeszedł wszystkie testy → Sprawdzacz to oceni
- Czy to wyjaśnienie jest jasne dla 12-latka? → Potrzebny ludzki osąd
- Ile dni jest od 3 marca do 1 kwietnia? → Sprawdzacz to oceni
- Który z dwóch wierszy bardziej porusza? → Potrzebny ludzki osąd
Które nawyki dostały nagrodę?
Nikt nie zaprogramował stylu myślenia Vireo. Jakie nawyki zwykle rozwija nagradzanie dobrych wyników? Zaznacz wszystkie pasujące.
- Dzielenie zadania na małe kroki
- Sprawdzanie wyniku drugim sposobem
- Próba innej drogi po ślepym zaułku
- Dłuższe myślenie nad trudniejszymi zadaniami
- Brzmienie bardziej pewnie
- Używanie dłuższych słów
Zapamiętaj
Modele rozumujące ćwiczą na zadaniach z wynikami, które da się sprawdzić. Nagradzanie dobrych wyników sprawia, że staranne myślenie krok po kroku staje się bardziej prawdopodobne.
Nagradzaj dobry wynik wystarczająco często, a dobre nawyki myślenia wyrosną same.
Najważniejsze fakty
- Samo poproszenie dużego modelu, by rozpisał rozwiązanie krok po kroku (tzw. chain-of-thought prompting), poprawiało jego trafność w zadaniach tekstowych z matematyki. · Źródło: Wei et al., Chain-of-Thought Prompting Elicits Reasoning in Large Language Models, Google, 2022
- OpenAI podało, że jego model o1 radzi sobie lepiej zarówno przy dłuższym treningu metodą uczenia ze wzmocnieniem, jak i przy dłuższym myśleniu przed odpowiedzią. · Źródło: OpenAI, Learning to Reason with LLMs, 2024
- DeepSeek podał, że uczenie ze wzmocnieniem z prostymi, regułowymi nagrodami za poprawne wyniki sprawiło, że jego model R1-Zero zaczął długo rozumować i sam się sprawdzać, bez przykładów rozumowania pisanych przez ludzi. · Źródło: DeepSeek-AI, DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning, 2025
- Zadania z weryfikowalnymi odpowiedziami, jak wyniki z matematyki czy kod, który musi przejść testy, pasują do tego treningu, bo nagrodę da się obliczyć automatycznie, bez ludzkiego oceniającego.
Aktualizacja:
Częste pytania
Co to jest model rozumujący?
To model językowy wytrenowany, by przed odpowiedzią przejść przez zadanie łańcuchem kroków myślenia. Zwykle trenuje się go metodą uczenia ze wzmocnieniem na zadaniach, których wyniki da się sprawdzić.
Co to jest łańcuch myśli (chain of thought)?
To rozpisane krok po kroku rozumowanie, które model pisze w drodze do odpowiedzi, jak pokazywanie obliczeń na matematyce. Często poprawia trafność w zadaniach wieloetapowych.
Dlaczego modele rozumujące odpowiadają wolniej?
Przed odpowiedzią końcową piszą wiele kroków myślenia, a trudniejsze zadania dostają ich więcej. Każdy krok kosztuje czas i moc obliczeniową, ale zwykle poprawia trafność.
Czy modele rozumujące wciąż się mylą?
Tak. Rzadziej robią pomyłki w zadaniach, które da się sprawdzić, ale mogą rozumować od błędnego faktu albo stworzyć przekonujący, lecz wadliwy łańcuch. Ważne odpowiedzi sprawdzaj.
Powiązane pojęcia