Jak powstają modele językowe / Słowniczek

Temperatura (AI)

Temperatura to ustawienie, które decyduje, jak przewidywalny albo różnorodny jest tekst modelu językowego. Niska temperatura trzyma się najbardziej prawdopodobnych tokenów, wysoka częściej wybiera mniej prawdopodobne.

Dla każdego kolejnego tokenu model ocenia każdą opcję, zamienia oceny na szanse i losuje jedną. Temperatura dzieli oceny przed tym krokiem: poniżej 1 faworyt staje się jeszcze silniejszy, powyżej 1 szanse się wyrównują.

Niska temperatura pasuje do faktów, kodu i wyciągania danych, gdzie chcesz tej samej, pewnej odpowiedzi. Wyższa pasuje do burzy mózgów i twórczego pisania, ale przesadzona sprawia, że tekst robi się dziwny albo mniej sensowny.

Temperaturę często łączy się z innymi zasadami losowania, np. top-k, które losuje tylko spośród k najbardziej prawdopodobnych tokenów, albo top-p, które losuje tylko z najmniejszego zbioru tokenów obejmującego większość szans.