Cache semantyczny dla LLM

Cache semantyczny dla LLM to warstwa pamięci podręcznej, która przechowuje pytanie, jego reprezentację wektorową oraz gotową odpowiedź modelu. Przy kolejnym żądaniu system najpierw zamienia nowe pytanie na embedding i szuka w pamięci odpowiedzi o wystarczająco podobnym znaczeniu. Jeżeli znajdzie bezpieczne dopasowanie, zwraca zapisaną odpowiedź bez kolejnego wywołania modelu. To różni się od zwykłego cache, gdzie trafienie następuje dopiero przy identycznym kluczu tekstowym. Pytania „Jak odzyskać hasło?” i „Nie pamiętam hasła, co zrobić?” mogą mieć inne znaki, ale tę samą intencję.

Dla eksperta, który sprzedaje wiedzę lub prowadzi automatyzację, ta technika ma sens tam, gdzie wiele osób pyta o stabilne informacje. Przykłady to odpowiedzi o programie kursu, zasadach konsultacji, podstawowych krokach wdrożenia albo statusach procesu. Cache semantyczny może skrócić odpowiedź z kilku sekund do czasu odczytu z bazy i ograniczyć zużycie tokenów. Nie jest jednak sposobem na „tańsze AI wszędzie”. Wartość powstaje tylko wtedy, gdy pytania powtarzają się, a poprawna odpowiedź nie zależy od prywatnego kontekstu, aktualnej ceny, danych klienta lub zmiennego stanu zamówienia.

Technicznie wpis cache zawiera zwykle treść pytania, embedding, odpowiedź, datę utworzenia, czas wygaśnięcia oraz metadane. Metadane są równie ważne jak wynik podobieństwa: język, marka, wersja oferty, kanał, identyfikator organizacji i poziom uprawnień. Najpierw filtrujesz rekordy według twardych granic, a dopiero potem porównujesz znaczenie. Nie wolno porównywać pytań klientów z różnych firm w jednym wspólnym zbiorze tylko dlatego, że mają podobną treść. Podobieństwo wektorowe nie rozumie zasad dostępu ani poufności. Te reguły musi narzucić architektura aplikacji.

Kluczową decyzją jest próg podobieństwa. Zbyt wysoki daje mało trafień, więc koszt niemal się nie zmienia. Zbyt niski może zwrócić odpowiedź do innego problemu, na przykład informację o konsultacji 1:1 dla pytania o warsztat grupowy. Nie ma jednego bezpiecznego progu dla wszystkich procesów. Buduje się zestaw realnych pytań, oznacza poprawne i błędne pary, a następnie mierzy trafienia oraz fałszywe trafienia dla różnych progów. Każdy hit warto logować z wynikiem podobieństwa, wersją odpowiedzi i możliwością szybkiego zgłoszenia błędu przez operatora.

Praktyczny przykład: na stronie oferty działa asystent przed zakupem. Najpierw odpowiada na pytania o zakres, format i wymagania techniczne. Dla odpowiedzi zatwierdzonych przez Bartka zapisujesz pytanie, odpowiedź, język „pl”, wersję oferty i TTL, na przykład siedem dni. Pytanie „Czy muszę umieć programować?” może dostać odpowiedź z cache, jeśli jest podobne do sprawdzonego pytania „Czy to jest dla osoby nietechnicznej?”. Pytania o indywidualną wycenę, dane z CRM i aktualną dostępność terminów zawsze omijają cache lub korzystają z danych pobranych na żywo. Po tygodniu porównujesz hit rate, liczbę zgłoszonych błędów, czas odpowiedzi i koszt na rozmowę.

Cache semantyczny nie jest RAG. RAG wyszukuje fragmenty dokumentów, a następnie przekazuje je modelowi, aby stworzył nową odpowiedź. Cache semantyczny przechowuje całą wcześniejszą odpowiedź i przy trafieniu pomija generowanie. Nie jest też cache promptów oferowanym przez dostawcę modelu. Cache promptów obniża koszt powtarzalnego prefiksu, lecz model nadal wykonuje wywołanie i generuje wynik. Te mechanizmy można łączyć: najpierw bezpieczny cache semantyczny dla powtarzalnej intencji, później RAG dla nowych pytań, a po stronie modelu cache stabilnego kontekstu.

Największe ryzyka to nieaktualność, błędna personalizacja i wyciek między segmentami. Ustal TTL, unieważniaj wpisy przy zmianie oferty lub polityki, przechowuj wersję źródła i nie zapisuj w cache odpowiedzi zawierających dane osobowe, sekrety albo jednorazowe decyzje. Odpowiedzi o zdrowiu, prawie, finansach i bezpieczeństwie wymagają szczególnie restrykcyjnych reguł, a często całkowitego wyłączenia tej warstwy. Dodaj też limit szybkości dla ścieżki po chybieniu. Gdy cache przestanie działać, tysiące żądań nie powinny jednocześnie przeciążyć modelu. Cache jest akceleratorem kontrolowanego procesu, nie substytutem jakości odpowiedzi.