Testy A/B promptów

Testy A/B promptów polegają na porównaniu dwóch wariantów instrukcji dla modelu AI w możliwie tych samych warunkach. Wariant A może być aktualnym promptem do pisania follow-upów, a wariant B jego wersją z wyraźniejszą strukturą, przykładami i kryteriami tonu. Celem nie jest znalezienie najbardziej efektownej pojedynczej odpowiedzi. Chodzi o sprawdzenie, który wariant częściej dowozi wynik potrzebny w realnej pracy. W systemie AI prompt jest elementem procesu, więc jego zmianę warto traktować jak zmianę oferty, formularza lub automatyzacji: postawić hipotezę, zmierzyć efekt i zachować decyzję.

Najpierw zdefiniuj jedno konkretne zadanie i kryterium sukcesu. Dla asystenta sprzedaży może to być poprawne wyciągnięcie następnego kroku z notatki po rozmowie. Dla systemu contentu będzie to szkic posta zgodny z tonem marki, zawierający wskazany argument i bez niepotwierdzonych obietnic. Dokumentacja Anthropic podkreśla, że kryteria powinny być konkretne, mierzalne, osiągalne i powiązane z potrzebą użytkownika. „Lepszy tekst” nie jest kryterium. „W 90% przypadków zawiera CTA, nie wymyśla faktów i mieści się w limicie znaków” już nim jest.

Rzetelny test potrzebuje reprezentatywnego zestawu wejść. Nie porównuj promptów wyłącznie na jednym idealnym briefie, bo model może przypadkiem wygenerować dobry wynik. Zbierz przykłady z normalnej pracy oraz sytuacje trudne: niepełne dane, sprzeczne ustalenia, krótka notatka, długi materiał źródłowy i prośba wykraczająca poza zakres. Ten zestaw nie musi być ogromny na starcie. Dwadzieścia realnych, zanonimizowanych przypadków da lepszy sygnał niż setka wymyślonych. Nie zmieniaj jednocześnie modelu, danych i promptu, bo nie będziesz wiedzieć, co spowodowało różnicę.

Porównuj warianty na tych samych wejściach oraz przy tych samych ustawieniach modelu. Zapisuj wersję modelu, temperaturę, narzędzia, źródła kontekstu i datę uruchomienia. Wynik oceń metodą pasującą do zadania. Format JSON, obecność wymaganej informacji i limit długości można sprawdzić regułą. Ton, użyteczność lub zgodność z briefem wymagają rubryki człowieka albo przetestowanego oceniającego LLM. OpenAI wskazuje, że raport z ewaluacji powinien pokazywać wyniki według kryteriów, nie tylko jeden zbiorczy wynik. Dzięki temu widzisz, czy nowy prompt poprawił styl kosztem faktów albo skrócił odpowiedź kosztem kompletności.

Praktyczny przykład: tworzysz automatyzację, która zamienia notatkę z konsultacji w wiadomość podsumowującą. Wariant A prosi ogólnie o „miłego follow-upa”. Wariant B nakazuje wypisać ustalenia, następny krok, termin oraz oznaczyć braki jako pytania, bez dopowiadania faktów. Przygotuj 20 prawdziwych, zanonimizowanych notatek. Dla każdego wyniku sprawdź cztery pola: zgodność z notatką, kompletność następnego kroku, ton oraz brak zmyślonych deklaracji. Jeśli B wygrywa w trzech kryteriach, ale częściej produkuje zbyt długie maile, nie odrzucaj go intuicyjnie. Dodaj limit długości i uruchom kolejną, jasno opisaną wersję.

Test A/B nie usuwa zmienności modeli językowych. Ten sam prompt może zwrócić inne odpowiedzi, szczególnie przy wyższej temperaturze, zmienionym kontekście lub po aktualizacji modelu. Mały zestaw przypadków może też premiować wariant dopasowany do testu, a nie do klientów. Uważaj na metrykę próżności, na przykład samą długość odpowiedzi, oraz na ocenianie przez model bez sprawdzenia jego zgodności z ludzką rubryką. W zadaniach ryzykownych, takich jak ceny, zobowiązania wobec klienta czy dane osobowe, test jakości nie jest zgodą na automatyczną publikację. Nadal potrzebujesz ograniczeń i człowieka w pętli.

Zacznij od jednego promptu, którego wynik powtarzasz przynajmniej kilka razy w tygodniu. Zapisz aktualny wariant jako A. Dla B zmień tylko jedną rzecz, na przykład dodaj kryterium źródłowe lub szablon wyjścia. Ułóż krótką tabelę testową z wejściem, wynikiem A, wynikiem B i oceną według trzech kryteriów. Po teście zachowaj zwycięską wersję wraz z datą, zakresem i powodem decyzji. To łączy testy A/B z wersjonowaniem promptów i buduje historię wiedzy, zamiast kolejnej anonimowej instrukcji w czacie.