RAGRetrieval-Augmented Generation

Co to jest RAG

Model językowy sam z siebie nie zna procedur, cenników ani umów waszej firmy. Można by je wkleić do każdego pytania, ale dokumentów jest zwykle za dużo. RAG rozwiązuje ten problem w dwóch krokach. Najpierw system wyszukuje w bazie dokumentów fragmenty, które pasują do pytania. Potem przekazuje je modelowi razem z pytaniem i poleceniem, żeby odpowiedział tylko na ich podstawie.

W ten sposób asystent odpowiada z waszej wiedzy, a nie z ogólnej wiedzy modelu, i może wskazać dokument, z którego pochodzi odpowiedź. To najważniejsza różnica między ogólnym czatem a asystentem na firmowej wiedzy.

Jak działa RAG krok po kroku

• Przygotowanie dokumentów: procedury, instrukcje, umowy, FAQ dzieli się na mniejsze fragmenty i zapisuje w bazie, w której można je wyszukiwać według znaczenia, a nie tylko słów.
• Wyszukiwanie: pytanie użytkownika trafia do bazy, która zwraca kilka najbardziej pasujących fragmentów.
• Odpowiedź: model dostaje pytanie i znalezione fragmenty, a w prompcie polecenie, by odpowiadał tylko na ich podstawie i podawał źródło.
• Aktualizacja: gdy dokument się zmienia, jego fragmenty w bazie są odświeżane.

Jak to wygląda w praktyce

To przykład ilustracyjny. Serwisant w terenie pyta asystenta, jaki moment dokręcenia podaje producent dla danego modelu urządzenia. System znajduje odpowiedni fragment instrukcji serwisowej, model formułuje odpowiedź i podaje nazwę dokumentu oraz stronę. Serwisant może sprawdzić źródło jednym kliknięciem. Podobnie działa asystent dla działu kadr z regulaminami albo dla handlowców z cennikami i warunkami. Szerzej o tym w artykule AI dla serwisantów.

RAG a halucynacje

RAG wyraźnie ogranicza halucynacje, ale ich nie eliminuje. Gdy wyszukiwanie zwróci złe fragmenty albo dokumenty są sprzeczne, odpowiedź też będzie błędna. Dlatego dobre wdrożenie pokazuje źródło przy każdej odpowiedzi, każe modelowi przyznać, że nie zna odpowiedzi, gdy brak jej w dokumentach, i regularnie sprawdza jakość na zestawie pytań testowych.

RAG a fine-tuning

Fine-tuning, czyli dotrenowanie modelu na danych firmy, zmienia sposób, w jaki model pisze, ale słabo nadaje się do przekazywania mu aktualnej wiedzy. Każda zmiana w dokumentach wymagałaby ponownego trenowania. RAG pozwala zaktualizować wiedzę przez podmianę dokumentu i pokazać źródło odpowiedzi. Dlatego w asystentach na firmowej wiedzy zwykle zaczyna się od RAG.

Od czego zależy jakość

• Porządek w dokumentach: nieaktualne wersje i duplikaty dają sprzeczne odpowiedzi. Zanim powstanie asystent, warto przygotować dane pod AI.
• Podział na fragmenty: zbyt małe gubią kontekst, zbyt duże rozmywają wyszukiwanie.
• Uprawnienia: asystent powinien pokazywać tylko dokumenty, do których dana osoba ma dostęp.

Asystentów opartych na RAG wdrażamy w usłudze asystent AI na firmowej wiedzy.