Wyszukiwanie semantyczne (Semantic Search)

Tradycyjne wyszukiwanie (keyword search) porównuje ciągi znaków: szukasz „dom", system znajduje dokumenty zawierające słowo „dom". Nie znajdzie artykułu o „nieruchomościach", „mieszkaniach" czy „budynkach", chyba że te słowa też tam występują. To działa przy katalogowaniu, ale zawodzi przy pytaniach koncepcyjnych — a właśnie takie zadają użytkownicy systemów AI.

Wyszukiwanie semantyczne rozwiązuje ten problem przez embeddingi. Embedding to wektor (lista liczb) reprezentujący znaczenie tekstu w przestrzeni wielowymiarowej — zazwyczaj od 384 do 3072 wymiarów. Dwa teksty o podobnym znaczeniu mają embeddingi, które są blisko siebie (mierzona odległością cosinusową). Model embeddingowy (np. text-embedding-3-small od OpenAI, voyage-3-lite od Anthropic/Voyage AI) zamienia każde zdanie, akapit czy dokument na taki wektor.

Jak to działa krok po kroku. (1) Wszystkie dokumenty w bazie wiedzy są przepuszczane przez model embeddingowy i zapisywane jako wektory w bazie wektorowej (np. Pinecone, Qdrant, Supabase pgvector). (2) Gdy użytkownik zadaje pytanie, ono też jest zamieniane na embedding. (3) Baza wektorowa znajduje N najbliższych dokumentów według odległości cosinusowej. (4) Te dokumenty są przekazywane do LLM jako kontekst — model odpowiada na podstawie znalezionych treści, a nie z pamięci. To jest właśnie fundament RAG (Retrieval-Augmented Generation).

Modele embeddingowe — co wybrać. OpenAI oferuje text-embedding-3-small (tani, 1536 wymiarów) i text-embedding-3-large (droższy, 3072 wymiarów, lepsza jakość). Voyage AI (rekomendowane przez Anthropic) ma voyage-3-lite i voyage-3. Są też darmowe opcje lokalne: all-MiniLM-L6-v2 (384 wymiary, bardzo szybki) czy multilingual-e5-large (dla treści wielojęzycznych). Dla polskich tekstów najlepiej sprawdzają się modele wielojęzyczne — text-embedding-3-small od OpenAI dobrze radzi sobie z polskim od 2024 roku.

Hybrid search — połączenie sił. W praktyce produkcyjnej rzadko używa się czystego wyszukiwania semantycznego. Lepsze wyniki daje hybrid search: równoległe wyszukiwanie (1) semantyczne (przez embeddingi) i (2) pełnotekstowe (BM25), a następnie połączenie wyników algorytmem Reciprocal Rank Fusion (RRF). Dzięki temu dokument, który zawiera dokładnie szukaną frazę, nie zostanie pominięty na rzecz semantycznie podobnego, ale mniej trafnego. Supabase, Pinecone i Qdrant wspierają hybrid search natywnie.

Chunking — dlaczego ma znaczenie. Jeden embedding reprezentuje jeden fragment tekstu (chunk). Jeśli wrzucisz cały 50-stronicowy dokument jako jeden chunk, embedding będzie zbyt ogólny i nie znajdziesz konkretnego akapitu. Jeśli chunk będzie za mały (1 zdanie), stracisz kontekst. Optymalny rozmiar to 500–1500 znaków na chunk z overlapem (nakładką) 10–20% między sąsiednimi fragmentami. Narzędzia jak LangChain, LlamaIndex czy n8n mają wbudowane splittery do chunkowania.

Dla soloprzedsiębiorcy wyszukiwanie semantyczne to kluczowy komponent Mapy Kontekstu — bazy wiedzy, która zasila wszystkie prompty i agenty. Zamiast za każdym razem wklejać cały kontekst do promptu (co kosztuje tokeny i spowalnia), system sam znajduje tylko te fragmenty wiedzy, które są istotne dla danego zadania. To różnica między promptem o długości 50 tys. tokenów a trafnym promptem o długości 5 tys. — oszczędność czasu, pieniędzy i jakość odpowiedzi.