A Retrieval-Augmented Generation (RAG) olyan AI-megközelítés, amelyben a generatív modell a válasz elkészítése előtt külső forrásokból releváns információkat keres vissza, majd ezeket kontextusként felhasználja a válasz generálásához. Így a modell nem kizárólag a betanítás során megszerzett, paramétereiben tárolt tudására támaszkodik.
A RAG alapgondolatát Patrick Lewis és szerzőtársai 2020-as Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks tanulmánya tette széles körben ismertté. A megközelítés a modell belső, úgynevezett parametrikus tudását külső, visszakereshető tudásforrással egészíti ki.
Egy tipikus RAG-rendszerben a dokumentumokat feldolgozzák és kereshetővé teszik. Amikor érkezik egy kérdés, a rendszer megkeresi a hozzá leginkább releváns információkat, ezeket hozzáadja a modell számára biztosított kontextushoz, majd az LLM ezek alapján generál választ. A gyakori megvalósítások embeddingeket és vektoradatbázist használnak a szemantikailag releváns szövegrészletek megtalálására, de a RAG fogalma nem korlátozódik kizárólag erre a technikai megoldásra.
A RAG nem ugyanaz, mint a fine-tuning. Fine-tuning során magának a modellnek a paramétereit módosítják további tanítással. RAG esetén a modell a válasz elkészítésekor kap külső információt, ezért például friss vagy vállalatspecifikus tudás bevonásához nem szükséges minden változás után újratanítani a modellt.
Konkrét példa
Egy webshop belső AI-asszisztense RAG segítségével hozzáférhet a kereskedő aktuális termékkatalógusához és dokumentációjához. Ha valaki megkérdezi, hogy „melyik alaplap kompatibilis ezzel a processzorral?”, a rendszer először visszakeresheti a releváns termék- és kompatibilitási adatokat, majd ezeket átadhatja az LLM-nek a válasz elkészítéséhez.
Miért fontos?
A RAG segítségével egy vállalkozás saját, akár folyamatosan változó információit is bevonhatja egy generatív AI-rendszer működésébe anélkül, hogy ezeknek eredetileg szerepelniük kellett volna a modell tanítási adataiban. Ez különösen fontos lehet termékadatok, vállalati dokumentáció, ügyfélszolgálati tudás vagy más domain-specifikus információ használatakor.
A RAG ugyanakkor önmagában nem garantálja a helyes választ: ha a rendszer rossz vagy irreleváns információt keres vissza, a generált eredmény is hibás lehet. A retrieval minősége és a felhasznált tudásforrások megbízhatósága ezért a RAG-rendszer teljesítményének lényeges része.
Kapcsolódó fogalmak
Large Language Model (LLM)
Grounding
Vector Database
Embeddings
Semantic Search