Reranking w RAG

Reranking, czyli ponowne rangowanie, to etap po pierwszym wyszukiwaniu w systemie RAG. Wyszukiwarka wektorowa lub hybrydowa najpierw pobiera pulę kandydatów, na przykład 20 fragmentów. Reranker porównuje każde z nich bezpośrednio z pytaniem i układa wyniki ponownie według trafności. Do modelu generującego odpowiedź trafia wtedy krótka lista najlepszego kontekstu, a nie cała początkowa pula.

To rozwiązuje typowy problem wyszukiwania semantycznego: fragment może być podobny do pytania na poziomie słów i tematu, ale nie odpowiadać na jego właściwą intencję. Zapytanie „jak odwołać konsultację?” może znaleźć tekst o konsultacjach, regulamin i potwierdzenie zakupu. Reranking ma pomóc podnieść sekcję z procedurą odwołania nad ogólny opis oferty. Jest więc filtrem jakości kontekstu, a nie kolejną warstwą generowania tekstu.

Technicznie etap pierwszy musi zostać szeroki, aby nie pominąć dobrego materiału. Etap drugi może być bardziej wymagający obliczeniowo, bo ocenia już ograniczoną liczbę kandydatów. Dokumentacja Cohere opisuje reranking jako uporządkowanie listy dokumentów od najbardziej do najmniej semantycznie istotnego wobec zapytania. Microsoft nazywa podobny mechanizm rankingiem drugiego poziomu po wynikach BM25 lub hybrydowych.

Praktyczny przykład dla eksperta: agent odpowiada na pytania o ofertę, proces i materiały. Najpierw pobiera 15 fragmentów z aktualnego źródła prawdy, filtrowanych po języku i rodzaju usługi. Następnie reranker wybiera trzy najlepiej pasujące do pytania „co dostanę po audycie?”. Model dostaje tylko te trzy fragmenty oraz instrukcję, by nie dopowiadał ceny, terminu ani rezultatu, których nie ma w kontekście.

Reranking ma sens przede wszystkim przy większej bazie wiedzy, wieloznacznych pytaniach i podobnych dokumentach. Przy małym, dobrze uporządkowanym FAQ może zwiększać koszt oraz opóźnienie bez zauważalnego zysku. Zanim go wdrożysz, porównaj odpowiedzi bez tej warstwy i z nią na zestawie pytań klientów. Zmierz nie tylko ocenę modelu, ale też to, czy człowiek znajduje prawidłowe źródło i czy odpowiedź nie miesza różnych wersji oferty.

Nie traktuj wyniku rerankera jako prawdy. Model rankujący może preferować źle opisany, nieaktualny albo zbyt ogólny fragment, szczególnie bez metadanych i dobrego chunkingu. Reranking nie wykryje też, że w bazie brakuje odpowiedzi. Utrzymuj właściciela źródła prawdy, daty aktualizacji, odnośniki do materiału źródłowego i próg zaufania, poniżej którego agent powinien uczciwie powiedzieć, że nie ma danych.