Az embedding egy adat – például szöveg, kép vagy hang – többdimenziós numerikus reprezentációja, amelyet egy gépi tanulási modell úgy állít elő, hogy az adat bizonyos jelentésbeli vagy tartalmi jellemzői matematikailag összehasonlíthatóvá váljanak. Az embeddingek jellemzően számsorokból álló vektorok, amelyeknél a hasonló tartalmak reprezentációi közelebb helyezkedhetnek el egymáshoz az úgynevezett embedding térben.
Egy szöveges embedding modell például egy mondatot vagy dokumentumot egy több száz vagy több ezer dimenzióból álló vektorrá alakíthat. Ezeknek az egyes számértékeknek általában nincs egyszerű, ember által olvasható jelentésük; a teljes vektor együtt reprezentálja a modell által megtanult jellemzőket.
Az embeddingek egyik legfontosabb tulajdonsága, hogy lehetővé teszik a szemantikai hasonlóság matematikai mérését. Ha két szöveg jelentése hasonló, embeddingjeik is közel kerülhetnek egymáshoz akkor is, ha nem ugyanazokat a szavakat használják. A hasonlóság mérhető például cosine similarity, dot product vagy euklideszi távolság segítségével, az adott embedding modell és alkalmazás függvényében.
Ez különbözteti meg az embedding-alapú keresést a pusztán kulcsszóegyezésre épülő megközelítéstől. Egy szemantikai keresőrendszer például megtalálhat egy „hogyan válasszak notebookot munkához?” témájú dokumentumot a „laptop irodai használatra” keresésre akkor is, ha a két szöveg szóhasználata jelentősen eltér.
Konkrét példa
Egy webshop több ezer vásárlási útmutatójának minden szövegrészletéhez embeddinget készít és ezeket eltárolja.
Ha a vásárló megkérdezi, hogy „milyen laptop kell 4K videók szerkesztéséhez?”, a kérdésből szintén készíthető embedding. A rendszer ezután vector search segítségével megkeresheti azokat a dokumentumrészleteket, amelyek embeddingje a legközelebb áll a kérdéséhez.
Ezek a találatok ezután például egy Retrieval-Augmented Generation (RAG) rendszerben átadhatók egy LLM-nek a válasz elkészítéséhez.
Miért fontos?
Az embeddingek számos modern AI-rendszer alapvető technikai építőelemei. Használhatók szemantikai kereséshez, ajánlórendszerekhez, klaszterezéshez, osztályozáshoz és hasonlósági kereséshez, valamint fontos szerepet játszanak sok RAG-megoldásban.
E-commerce környezetben például lehetővé tehetik, hogy egy rendszer ne kizárólag pontos kulcsszóegyezés, hanem a vásárlói kérés és a termékek vagy tartalmak jelentésbeli hasonlósága alapján keressen.
Kapcsolódó fogalmak
Vector Database
Vector Search
Semantic Search
Retrieval-Augmented Generation (RAG)
Large Language Model (LLM)