Kompaktowanie kontekstu AI

Kompaktowanie kontekstu AI polega na zastąpieniu rozbudowanej historii rozmowy lub pracy agenta krótszym zapisem jej istotnego stanu. Agent nie dostaje już wszystkich dawnych wiadomości i wyników narzędzi, lecz ich uporządkowane podsumowanie plus to, co wydarzyło się później. To potrzebne, ponieważ okno kontekstowe modelu jest ograniczone, a nadmiar informacji może zwiększać koszt, opóźnienie i ryzyko, że model przeoczy ważny szczegół. Kompaktowanie nie jest zwykłym skracaniem tekstu. Ma zachować dane potrzebne do kontynuacji zadania.

Długi kontekst często powstaje w agentach, które czytają wiele dokumentów, wykonują serię wywołań narzędzi albo pracują nad zadaniem przez wiele tur. Przykładem jest agent przygotowujący analizę rynku: zbiera źródła, porównuje oferty, notuje wnioski i tworzy draft. Po pewnym czasie stare wyniki wyszukiwania nie są już potrzebne w całości. Wystarczą ich źródła, uzgodnione fakty, otwarte pytania oraz decyzje. Dokumentacja Anthropic podkreśla, że kontekst jest zasobem skończonym, a nieistotne treści pogarszają skupienie modelu.

Dobre streszczenie kompaktujące ma strukturę. Powinno zawierać cel zadania, zatwierdzone ustalenia, wykonane kroki, użyte źródła, nierozstrzygnięte kwestie i następny krok. Nie należy zapisywać jako faktów domysłów modelu ani usuwać informacji o pochodzeniu kluczowej decyzji. Przy pracy nad ofertą można zachować: personę, problem klienta, aktualny zakres, zatwierdzone elementy i pytania do Bartek. Nie trzeba zachowywać każdego roboczego zdania, które agent wygenerował po drodze.

Praktyczny przykład: automatyzacja tworzy briefing do newslettera z rozmowy, notatek i researchu. Po zebraniu materiału zapisuje kompakt: cel wydania, trzy potwierdzone tezy wraz z linkami, cytat do użycia, ograniczenia i listę braków. Kolejny agent tworzy draft na podstawie kompaktu oraz źródła prawdy marki, nie na podstawie pełnego logu. Jeśli trzeba sprawdzić kontrowersyjną tezę, wraca do pierwotnego linku. Taki podział przyspiesza pracę, ale nie zamienia streszczenia w niekontrolowaną bazę faktów.

Kompaktowanie różni się od pamięci i cache promptu. Pamięć przechowuje informacje między sesjami, a cache może obniżać koszt ponownego użycia podobnego prefiksu promptu. Kompaktowanie zarządza przede wszystkim tym, co aktualnie trafia do modelu w długiej pracy. OpenAI udostępnia dla Responses API mechanizm compact, który zwraca skompaktowany stan do użycia w następnej turze. To implementacja techniczna, nie zwolnienie z decyzji, które dane wolno skracać, a które muszą zostać w systemie źródłowym.

Największym ryzykiem jest utrata szczegółu, który później okaże się ważny. Streszczenie może zgubić warunek cenowy, zastrzeżenie klienta, ograniczenie prawne albo wynik narzędzia, od którego zależy następny krok. Dlatego nie stosuj kompaktowania bez kontroli w procesach wymagających dokładnego odtworzenia historii, w rozliczeniach lub decyzjach wysokiego ryzyka. Zachowaj dostęp do pełnych danych poza kontekstem modelu, oznaczaj datę i wersję kompaktu oraz testuj, czy agent po kompakcji nadal wykonuje zadanie zgodnie z kryteriami.

Zacznij od prostego progu: po zakończeniu etapu researchu lub gdy historia przekracza ustalony rozmiar, utwórz streszczenie według stałego szablonu. Przed kolejnym etapem sprawdź je na dwóch lub trzech realnych przypadkach. Mierz nie tylko liczbę tokenów, ale też czy agent zachował właściwą decyzję, umie wskazać źródło i zgłasza brak danych. Jeśli streszczenie nie daje się zweryfikować, jest tylko elegancko brzmiącym ryzykiem. W systemie biznesowym kompakt ma służyć ciągłości pracy, nie ukrywać utratę wiedzy.