Cache promptów AI (prompt caching)

Cache promptów AI, nazywany prompt caching, pozwala dostawcy modelu ponownie wykorzystać już przetworzony początek zapytania. Gdy wiele wywołań API ma identyczny długi prefiks, na przykład instrukcje systemowe, opis marki, definicje narzędzi lub stały zestaw dokumentów, model nie musi za każdym razem odczytywać go od zera. Efektem może być niższa latencja i niższy koszt wejściowych tokenów.

Najważniejsze słowo to identyczny prefiks. Część wspólna powinna znaleźć się na początku promptu, a zmienne dane użytkownika później. Jeśli w środku długiej instrukcji za każdym razem zmieniasz datę, nazwę klienta albo kolejność bloków, cache może nie zostać wykorzystany. Dlatego projekt promptu dla powtarzalnego workflow przypomina porządkowanie systemu: stałe reguły najpierw, aktualne dane i pojedyncze zadanie na końcu.

Dostawcy implementują tę funkcję inaczej. Anthropic pozwala użyć automatycznego cache lub jawnych punktów cache w żądaniu. OpenAI wykorzystuje automatyczne dopasowanie wspólnych prefiksów w obsługiwanych modelach i raportuje użyte tokeny cache w danych o użyciu. Zanim policzysz oszczędność, sprawdź aktualne warunki modelu, minimalną długość prefiksu, czas życia cache i sposób rozliczania zapisu oraz odczytu.

Praktyczny przykład: system przygotowuje odpowiedzi do pytań klientów. W każdym zapytaniu otrzymuje ten sam opis oferty, politykę komunikacji, FAQ i format odpowiedzi, a zmienia się tylko wiadomość klienta. Te stałe materiały umieszczasz w niezmiennym prefiksie, potem wysyłasz wiadomość klienta. Po logach API sprawdzasz, czy pojawiają się tokeny z cache i czy realnie spada czas lub koszt serii zapytań.

Cache nie jest pamięcią rozmowy ani firmową bazą wiedzy. Nie gwarantuje, że model będzie pamiętał wcześniejsze decyzje poza warunkami danego wywołania, nie aktualizuje dokumentów i nie sprawdza ich prawdziwości. Nie należy też zakładać, że cache jest wieczny albo współdzielony między kontami. Gdy zmieniasz kluczową instrukcję albo politykę marki, traktuj to jako nową wersję kontekstu i ponownie testuj wyniki.

Dla małego systemu AI cache ma sens dopiero po zmierzeniu powtarzalności. Zacznij od logowania liczby wejściowych tokenów, tokenów odczytanych z cache, czasu odpowiedzi i kosztu dla jednego workflow. Następnie ustabilizuj stały kontekst, wykonaj serię porównawczą i sprawdź, czy oszczędność jest większa niż koszt utrzymania bardziej rygorystycznej struktury promptu. Jeśli każde zapytanie jest inne, optymalizacja nie będzie priorytetem.