Budżet tokenów w systemie AI

Budżet tokenów to zaplanowana liczba tokenów, które system AI może zużyć na wejściu i wyjściu podczas konkretnego zadania. Obejmuje nie tylko pytanie użytkownika, lecz także instrukcję systemową, opis firmy, historię rozmowy, wyniki wyszukiwania, definicje narzędzi i dokumenty dołączone do żądania. Po stronie wyjścia trzeba uwzględnić odpowiedź modelu, a w części modeli również tokeny rozumowania rozliczane jako użycie wyjściowe. Nie jest to to samo co okno kontekstowe. Okno mówi, ile model technicznie pomieści, a budżet mówi, ile Twój proces celowo dopuszcza, aby zadanie pozostało opłacalne i przewidywalne.

Dla eksperta lub soloprzedsiębiorcy budżet tokenów jest prostym sposobem zamiany mglistych kosztów AI w decyzję operacyjną. Zamiast pozwalać agentowi za każdym razem czytać całą historię marki, wszystkie notatki klientów i wielostronicową ofertę, określasz zakres danych potrzebnych do danego kroku. Generator briefu może dostać aktualną ofertę i formularz klienta. Agent researchowy może dostać tylko pytanie, kryteria źródeł oraz limit wyników. Dzięki temu odróżniasz kontekst konieczny od „może się przyda”. Mniej tokenów nie jest celem samym w sobie. Celem jest wystarczający kontekst przy koszcie i czasie, które akceptujesz.

Budżet warto rozpisać osobno dla wejścia i wyjścia. Wejście rośnie od stałych instrukcji, historii, plików i odpowiedzi narzędzi. Wyjście kontrolujesz parametrem maksymalnej długości odpowiedzi, ale zostawiasz margines dla zadania. Krótka klasyfikacja leada nie potrzebuje tej samej rezerwy co analiza dokumentu lub plan kampanii. Jeżeli model kończy odpowiedź w połowie albo zwraca sygnał osiągnięcia limitu, nie podnoś automatycznie sufitu. Sprawdź najpierw, czy zadanie nie miesza kilku celów i czy wynik nie powinien mieć struktury, na przykład JSON z krótkimi polami zamiast długiej narracji.

Praktyczny przykład: automatyzacja po formularzu konsultacji ma przygotować wewnętrzne podsumowanie leada. Ustal stały szablon z sześcioma polami: problem, cel, etap biznesu, ryzyko, pytanie doprecyzowujące i rekomendowany następny krok. Do modelu przekazuj dane formularza, aktualne kryteria kwalifikacji i krótkie definicje pól. Nie przekazuj całego CRM ani historii wszystkich rozmów. Po serii testów mierz średnie i wysokie zużycie tokenów, czas odpowiedzi oraz odsetek podsumowań zaakceptowanych bez poprawki. Dopiero na tej podstawie ustawiasz limit wejścia, limit wyjścia i alert, gdy wywołanie odbiega od normalnego zakresu.

Liczenie „na oko” jest zawodne. Token nie jest słowem ani znakiem, a podział zależy od tokenizera i modelu. Oficjalne narzędzia OpenAI i Anthropic pozwalają policzyć lub oszacować zużycie dla konkretnego żądania przed wysłaniem go do modelu. Anthropic zaznacza, że wynik endpointu jest estymacją, a realne użycie może nieznacznie się różnić. Dlatego budżet buduje się na danych z logów produkcyjnych, nie na obietnicy typu „ten prompt ma tylko dwie strony”. Zapisuj model, wersję promptu, liczbę tokenów wejściowych i wyjściowych, koszt, czas oraz typ zadania. Bez tego nie wiesz, co właściwie optymalizujesz.

Najczęstszy błąd to cięcie kontekstu bez sprawdzenia jakości. Gdy usuniesz zasady oferty, aktualny cennik lub kryterium bezpieczeństwa, agent może być tańszy, lecz zacznie generować błędne deklaracje. Drugi błąd to wrzucanie wszystkiego do jednego promptu, bo model ma duże okno kontekstowe. Długi kontekst zwiększa koszt i może utrudnić modelowi znalezienie istotnej informacji. Lepszy wzorzec to selekcja danych do zadania, ustrukturyzowane wyjście, testy regresji na reprezentatywnych przypadkach oraz kompaktowanie historii, kiedy rozmowa przestaje mieścić się w rozsądnym limicie.

Budżet tokenów łączy się z decyzjami o architekturze. Powtarzalny, stabilny prefiks może korzystać z cache promptów. Długie procesy można rozbić na etapy, aby każdy agent dostawał tylko dane potrzebne teraz. Tanie zadania klasyfikacyjne mogą trafić do innego modelu niż analiza strategiczna, pod warunkiem że wynik przejdzie walidację. Gdy zmieniasz model, narzędzia albo tokenizer, zmierz ten sam zestaw testowy od nowa. Ten sam tekst może kosztować inaczej i inaczej mieścić się w kontekście. Budżet jest więc żywą regułą procesu, a nie liczbą raz wpisaną do kodu.