Dryf modelu AI

Dryf modelu AI oznacza, że system po zmianie środowiska przestaje zachowywać się tak, jak w sprawdzonym wcześniej wariancie. W aplikacjach opartych na dużych modelach językowych nie chodzi wyłącznie o klasyczny dryf danych znany z modeli predykcyjnych. Zmianę może wywołać nowy identyfikator modelu, aktualizacja modelu pod tą samą nazwą, inne narzędzie, nowa wersja promptu systemowego, modyfikacja bazy wiedzy albo inny rozkład pytań klientów. Efekt jest praktyczny: agent, który dotąd dobrze przygotowywał briefy, nagle skraca odpowiedzi, ignoruje polecenie o cytatach albo częściej wybiera niewłaściwe narzędzie.

Nie każda różnica w dwóch odpowiedziach jest dryfem. Modele językowe są niedeterministyczne, więc ten sam prompt może dać kilka poprawnych wariantów. Dryf staje się problemem wtedy, gdy na powtarzalnej próbce zmienia się istotna dla biznesu cecha: poprawność, kompletność, zgodność z ofertą, format JSON, bezpieczeństwo, koszt lub czas odpowiedzi. Dlatego nie oceniaj go przez pojedynczy zaskakujący wynik z czatu. Porównuj serię takich samych zadań według wcześniej ustalonych kryteriów i zachowaj wynik bazowy z wersji, której ufasz.

Najprostszy mechanizm kontroli to mały zestaw kontrolny. Zbierz 20 do 30 realnych przypadków: pytanie klienta o cenę, szkic posta w Twoim głosie, klasyfikację leada, ekstrakcję danych do formularza oraz zadanie, w którym agent ma odmówić ryzykownej akcji. Przy każdym zapisz oczekiwany fakt, wymagany format albo warunek zaliczenia. Uruchamiaj ten sam zestaw przed zmianą modelu, promptu, narzędzia lub indeksu RAG. OpenAI w dokumentacji evals zaleca budowanie testów na reprezentatywnych danych i używanie ich do obserwowania regresji promptów, zamiast polegać na subiektywnej ocenie pojedynczych odpowiedzi.

Praktyczny przykład: automatyzacja po rozmowie sprzedażowej tworzy podsumowanie, proponuje follow-up i zapisuje dane w CRM. Po zmianie modelu część wiadomości nadal brzmi naturalnie, ale agent przestaje zaznaczać, że klient nie podał budżetu. To dryf w kompletności, niekoniecznie błąd językowy. Test kontrolny powinien zawierać kilka rozmów bez budżetu i jawny warunek: brak informacji ma zostać oznaczony jako brak, a nie uzupełniony domysłem. Jeśli warunek przestaje przechodzić, najpierw zatrzymaj automatyczne wysłanie follow-upów, potem porównaj model, prompt, dane i wywołania narzędzi z ostatnią działającą wersją.

Warto monitorować więcej niż jakość tekstu. Dla workflowu eksperta znaczenie mają też odsetek poprawnych ustrukturyzowanych odpowiedzi, liczba nieudanych wywołań narzędzi, opóźnienie, zużycie tokenów oraz przypadki wymagające ręcznej poprawki. Model może poprawić styl, a jednocześnie zwiększyć koszt lub czas odpowiedzi na tyle, że automatyzacja przestanie być opłacalna. Zapisuj przy każdym uruchomieniu wersję modelu, promptu, schematu danych, narzędzi i zestawu dokumentów. Bez tego nie odróżnisz prawdziwej zmiany zachowania od błędu w integracji albo zmiany danych wejściowych.

Dostawcy modeli potwierdzają, że zarządzanie wersjami jest realnym obowiązkiem produkcyjnego systemu. Anthropic publikuje harmonogramy wycofań modeli, instrukcje migracji i zaleca audyt użycia przed przejściem na następcę. Nie oznacza to, że każda aktualizacja musi być blokowana. Oznacza, że nie należy zmieniać jej w ciemno na produkcji. Przetestuj następcę równolegle na swoim zestawie kontrolnym, porównaj wyniki oraz sprawdź krytyczne ścieżki: zapis do CRM, generowanie oferty, odpowiedź na pytanie o warunki i odmowę działania bez uprawnień.

Najczęstsza pomyłka to próba leczenia każdego dryfu jednym lepszym promptem. Jeżeli winny jest stary dokument w RAG, zmiana promptu go nie naprawi. Jeśli nowy model nie spełnia schematu JSON, problem może leżeć w kontrakcie wyjścia albo walidatorze. Zmieniaj jeden element naraz i uruchamiaj test ponownie. Dobrą praktyką jest wersjonowanie promptów oraz możliwość szybkiego powrotu do ostatniego wariantu, który przeszedł testy. W systemach o wysokim ryzyku dodaj akceptację człowieka, gdy kryterium nie jest spełnione, zamiast automatycznie wysyłać wynik do klienta.

Dla małej firmy wystarczy lekki rytm: zestaw kontrolny po każdej istotnej zmianie, przegląd kilku prawdziwych rozmów raz w tygodniu i alert dla krytycznej metryki, na przykład błędnego formatu albo spadku kompletności. Dryf nie jest dowodem, że AI jest bezużyteczne. Jest argumentem za tym, by traktować agenta jak system, który potrzebuje wersji, testów i obserwacji. Dzięki temu aktualizujesz model wtedy, kiedy widzisz korzyść, a nie wtedy, gdy marketing dostawcy obiecuje poprawę.