Langfuse

Langfuse odpowiada na problem, którego nie rozwiązuje historia czatu: co dokładnie stało się wewnątrz aplikacji AI. Gdy agent dostaje dane, wywołuje model, korzysta z narzędzia i zwraca wynik, po błędzie zwykle zostaje tylko skarga użytkownika. Langfuse zapisuje trace, czyli uporządkowany ślad wejścia, odpowiedzi, czasu, kosztu i kolejnych kroków. Dzięki temu można sprawdzić, czy problem był w nieaktualnym kontekście, promptcie, źródle danych, narzędziu czy samym modelu. To fundament do odpowiedzialnego rozwijania systemu, a nie dekoracyjny dashboard.

Najbardziej sensowny start to jeden agent o realnym wpływie, nie pełna instrumentacja wszystkiego. Przykładem jest workflow, który odbiera formularz, klasyfikuje temat i przygotowuje notatkę dla sprzedaży. Zarejestruj wejście po anonimizacji, nazwę wersji promptu, model, czas, koszt oraz wynik. Potem oznacz ręcznie kilkanaście przypadków jako poprawne lub błędne. Już taki mały zestaw pokazuje, czy agent myli kategorie, traci instrukcję albo generuje odpowiedź, której nie da się wykorzystać. Najpierw obserwuj. Dopiero potem optymalizuj.

Dokumentacja Langfuse opisuje trace’y dla wywołań LLM i logiki pomocniczej, sesje dla procesów wieloetapowych oraz grafy agentów. To szczególnie ważne, gdy wynik nie powstaje z jednego promptu. Agent może wyszukać dane, użyć narzędzia, wykonać drugi modelowy krok i dopiero wtedy podsumować rezultat. Bez śladu trudno wskazać, który fragment zawiódł. Nie loguj jednak bezmyślnie wszystkiego. Dane klientów, sekretne klucze, prywatne treści i materiały wrażliwe wymagają redakcji, polityki retencji oraz dostępu ograniczonego do osób odpowiedzialnych za proces.

Druga warstwa to zarządzanie promptami. Langfuse pozwala wersjonować prompty, testować je w playgroundzie, łączyć z trace’ami i porównywać wyniki. To zamienia zmianę z „wydaje mi się, że jest lepiej” w prosty eksperyment. Przygotuj stały zestaw reprezentatywnych wejść: zwykłe przypadki, wyjątki i trudne pytania. Zdefiniuj, co oznacza dobry wynik, na przykład poprawny JSON, wskazanie źródła albo zakaz wymyślania ceny. Dopiero po porównaniu starej i nowej wersji promuj zmianę do produkcji. Ten nawyk jest ważniejszy niż liczba użytych modeli.

Langfuse oferuje poziom Hobby bez karty dla proof of concept, a także płatne plany i opcję self-hostingu. Cennik oraz limity jednostek, retencji i współpracy trzeba sprawdzić przed podpięciem większego ruchu. W praktyce koszt narzędzia obserwowalności powinien być porównany z kosztem błędu. Jeśli agent tylko tworzy wewnętrzny szkic posta, rozbudowany monitoring może nie mieć sensu. Jeśli automatycznie dotyka leadów, dostępów lub danych klienta, brak widoczności jest znacznie droższy. Zacznij od jednego środowiska testowego i dopiero potem rozszerzaj zakres.

Najczęstsza pułapka to traktowanie trace’ów jako celu. Duża liczba logów nie poprawia jakości, jeśli nikt ich nie przegląda i nie podejmuje decyzji. Ustal właściciela procesu, cotygodniowy przegląd błędów oraz jasną decyzję po każdym eksperymencie: zostawiamy, cofamy albo testujemy dalej. Dla systemu AI budowanego dla eksperta Langfuse jest warstwą odpowiedzialności. Umożliwia powiedzenie nie tylko „agent działa”, ale też „wiemy, na jakich przypadkach działa, ile kosztuje i kiedy powinien przekazać sprawę człowiekowi”.