A RAG két lépésből áll. Előbb egy keresés fut a saját anyagaidon — szerződéseken, kézikönyveken, jegyzőkönyveken —, és kiválasztja a kérdéshez illő néhány bekezdést. Aztán a modell ezt a néhány bekezdést kapja meg a kérdés mellé, és ebből fogalmazza meg a választ. A modellt magát nem tanítod újra, és semmi nem kerül bele véglegesen.
A hatása nagy és mérhető. Egy 910 kérdéses mérésben ugyanaz a modell 48,1% pontosságot ért el alapállapotban, 50,4%-ot finomhangolás után, és 87,5%-ot RAG-gel. Új tudásnál tehát nem egy a lehetőségek közül: nagyságrenddel jobb, mint a finomhangolás — ami egy másik modellnél kifejezetten rontott.
A leggyakoribb tévhit, hogy a RAG megszünteti a hallucinációt. Nem szünteti meg: csökkenti, mert a modellnek van mire támaszkodnia, de ha a keresés rossz részletet hoz, a válasz magabiztosan téves lesz. A minőség nagyobb része a keresésen múlik, nem a modellen.
Hogy hogyan épül fel egy működő RAG, és hol szokott elromlani, arról a RAG magyarázatacímű írás szól. A közvetlenül kapcsolódó fogalmak: chunking, embedding és hybrid search.