A prompt engineering a kérdés megfogalmazásáról szól. A context engineering arról, hogy a kérdés mellé mi kerül be: melyik dokumentumrészlet, melyik korábbi üzenet, melyik eszközleírás, milyen sorrendben. Egy éles AI-rendszerben ez a nagyobbik munka, mert a modell mindig csak azt látja, ami benne van az ablakban.
Miért számít? Mert a modellek nem használják egyenletesen a kontextusukat. Egy 18 modellen végzett mérésben, ahol a feladat nehézségét állandóan tartották és csak a bemenet hosszát változtatták, minden modellcsaládnál a fókuszált, 300 tokenes prompt nyert a 113 ezer tokenes, mindent tartalmazó változattal szemben — ugyanarra a kérdésre, ugyanazzal a válasszal mindkettőben.
A leggyakoribb tévhit, hogy a nagy context window feleslegessé tette ezt a munkát. Nem tette: a hirdetett ablakméret nem a használható ablakméret, és a romlás nem a legvégén kezdődik. A kevesebb, de pontosabb kontextus mérhetően jobb válasz.
Hogy ez a gyakorlatban mit jelent egy saját rendszernél, arról a context engineering című írás szól. A közvetlenül kapcsolódó fogalmak: context window, prompt engineering és RAG.