Obserwowalność systemów AI (AI observability)

Obserwowalność systemów AI oznacza, że z sygnałów zapisanych przez system potrafisz zrozumieć jego zachowanie. Przy agencie nie wystarczy wiedzieć, że workflow zakończył się statusem „sukces”. Trzeba umieć sprawdzić, jaki prompt i kontekst otrzymał, który model odpowiedział, jakie narzędzie wywołał, ile trwały kroki, jaki był koszt oraz jaki wynik trafił do kolejnego etapu. Taki ślad nazywa się często trace, czyli trasą wykonania.

Monitoring odpowiada przede wszystkim na pytanie, czy usługa działa: czy endpoint jest dostępny, ile jest błędów i jakie są opóźnienia. Obserwowalność idzie dalej: pomaga ustalić, dlaczego agent zaproponował złą odpowiedź, dlaczego koszt wzrósł albo dlaczego workflow użył niewłaściwego dokumentu. W systemach generatywnych przyczyna może leżeć w danych wejściowych, wersji promptu, wyniku wyszukiwania, narzędziu albo modelu, więc sama liczba błędów HTTP nie wystarcza.

Minimalny zapis dla automatyzacji eksperta obejmuje identyfikator wykonania, czas, wersję workflowu i promptu, wejście w formie bezpiecznej dla prywatności, model, wywołane narzędzia, status każdego kroku oraz wynik lub kod błędu. Nie loguj bezrefleksyjnie pełnych maili, danych wrażliwych i sekretów API. Najpierw ustal, co jest potrzebne do diagnozy, a następnie maskuj lub pomijaj dane, których nie trzeba przechowywać.

Praktyczny przykład: agent przygotowuje podsumowanie rozmowy i zapisuje je w CRM. Gdy klient zgłasza, że podsumowanie pomyliło ofertę, nie zgadujesz. Otwierasz ślad: widzisz wersję instrukcji, fragmenty źródłowej transkrypcji, wynik wyszukiwania i moment zapisu. Możesz ustalić, czy problemem był stary dokument, zbyt luźny prompt czy błędne mapowanie pola. Następnie zmieniasz jedną rzecz i sprawdzasz ją na tych samych przykładach w ewaluacji.

Nie warto zaczynać od zbierania wszystkiego. Duże logi bez właściciela i pytań diagnostycznych szybko stają się kolejną bazą danych, której nikt nie czyta. Zacznij od trzech sygnałów powiązanych z realnym ryzykiem: błędów zapisu, czasu wykonania i liczby zadań wymagających ręcznej korekty. Dopiero gdy workflow jest używany, dołóż metryki kosztu, jakości odpowiedzi i ślady poszczególnych wywołań narzędzi.

Obserwowalność nie zastępuje ewaluacji ani barier ochronnych. Ślad pozwala zdiagnozować, co się wydarzyło po fakcie. Ewaluacja sprawdza przed wdrożeniem, czy system daje dobry wynik na reprezentatywnych przykładach, a guardrails ograniczają niedozwolone działania. Razem tworzą prostą pętlę: mierz rzeczywiste wykonanie, wykryj wzorzec błędów, przetestuj poprawkę i dopiero wtedy wypuść ją szerzej.