Temperatura AI

Temperatura to parametr inferencji, który mówi modelowi, jak bardzo może „ryzykować" przy wyborze kolejnego tokenu. Każdy model AI, przewidując następne słowo, przypisuje prawdopodobieństwa wszystkim możliwym kontynuacjom. Temperatura zmienia rozkład tych prawdopodobieństw: niska temperatura faworyzuje najbardziej prawdopodobne tokeny, wysoka temperatura wyrównuje szanse również tych mniej typowych.

Działa to przez mechanizm SoftMax: model generuje surowe wagi (logity) dla każdego potencjalnego tokenu, a funkcja SoftMax zamienia je na prawdopodobieństwa sumujące się do 1. Temperatura jest dzielnikiem w funkcji SoftMax – im wyższa wartość, tym bardziej „spłaszcza" rozkład, dając szansę również mniej oczywistym wyborom.

Skala temperatury różni się między dostawcami. W API Anthropic (Claude) zakres wynosi 0.0–1.0 z domyślną wartością 1.0. W OpenAI (GPT) zakres to 0.0–2.0 z domyślną wartością 1.0. W Google Gemini – analogicznie 0.0–2.0. Wartość 0.0 nie gwarantuje deterministycznych odpowiedzi (sprzętowe zaokrąglenia i optymalizacje GPU mogą wprowadzać drobne różnice), ale w praktyce odpowiedzi są niemal identyczne.

Praktyczne zastosowania. Do zadań wymagających precyzji – kod, analiza danych, ekstrakcja faktów, generowanie JSON, pisanie formalnych dokumentów – używaj temperatury 0.0–0.3. Do contentu marketingowego, postów na social media, wariantów nagłówków i burzy mózgów – 0.7–1.0. Do pisania kreatywnego, generowania metafor i nieszablonowych pomysłów – 1.0. Claude z temperaturą 0.0 świetnie sprawdza się jako asystent kodu i analityk; z temperaturą 1.0 – jako partner do pisania.

Temperatura a Top-P (nucleus sampling). To osobne parametry, ale często używa się ich zamiennie. Top-P określa, jaki procent skumulowanego prawdopodobieństwa ma być brany pod uwagę (np. Top-P 0.9 = bierz tokeny składające się na 90% szans). W praktyce nie warto zmieniać obu naraz – wybierz jeden. Temperatura jest prostsza i wystarcza w większości przypadków. Top-P przydaje się, gdy chcesz wyeliminować zupełnie niszowe tokeny bez spłaszczania prawdopodobieństw w środku rozkładu.

Ograniczenia. Temperatura nie zmienia wiedzy modelu ani jego stylu – tylko to, które tokeny są wybierane. Nie sprawi, że model nagle zacznie dobrze rozumieć Twoją branżę, jeśli nie masz dobrego system prompta ani kontekstu. Badanie "Is Temperature the Creativity Parameter of Large Language Models?" (Peeperkorn i in., 2024) wskazuje, że temperatura wpływa raczej na różnorodność niż na jakość kreatywności – wysoka temperatura daje więcej wariantów, ale nie gwarantuje, że będą lepsze.

Dla soloprzedsiębiorcy budującego własny system AI temperatura to narzędzie do szybkiego prototypowania treści: ustaw wysoką, wygeneruj 5 wariantów nagłówka, wybierz najlepszy. Potem obniż do 0.2 i każ AI go rozwinąć w spójny akapit. W automatyzacjach (np. agent researchujący konkurencję) trzymaj temperaturę niską – nie chcesz, żeby agent wymyślał dane.