Helyi modellfuttatók: melyiket válaszd?

Ez a cikk platformneveket használ

A blog általában nem nevez meg gyártót — de ez a poszt kifejezetten eszközök összehasonlítása, ott pedig a név maga az információ. Minden állapot 2026. szeptember 13-i, ellenőrzött.

Ki él, ki halt meg

A lista alja a legfontosabb: a GPT4All 19 hónapja nem kapott kiadást. Egy 2025 augusztusi, máig válasz nélküli hibajegy szó szerint azt írja, hogy nincs támogatás az újabb modellekhez. Ha valahol GPT4All-t ajánlanak neked 2026-ban, az az útmutató is régi.

Három névváltozás, amit ismerni kell:

1. Az LM Studio szétvált. Ma az „LM Studio" a desktop alkalmazás; a fejnélküli háttérszolgáltatás llmster; a parancssori eszköz lms; és van egy Bionic nevű agent is. Aki 2026-ban „LM Studióról" ír, annak meg kell mondania, melyikről.
2. A llamafile nem a Mozillánál van, hanem 2025 októbere óta a mozilla.ai szervezetben. A meglévő felhasználóknak nem változott semmi.
3. Az Ollama már nem csak helyi. 2026 júliusában 65 millió dolláros befektetést kapott (összesen 88 millió), van felhős szolgáltatása GPU-idő alapú árazással, és a saját közlésük szerint havi 8,9 millió fejlesztőt szolgálnak ki. A név 2026-ban két dolgot jelent, és csak az egyik helyi.

Amiben tényleg különböznek

A vLLM az egyetlen, ami architekturálisan más — és az egyetlen, ami sokfelhasználós kiszolgálásra készült. A többi ugyanaz a motor, más csomagolásban.

Az alapértelmezések, amik megfognak

Ez a cikk leghasznosabb része. Ezek mind elsődleges dokumentációból származnak.

Ollama:

llama.cpp szerver: a kontextusablak alapértéke 0, ami azt jelenti: „a modellből betöltve".

Itt a legjobb szembeállítás az egész cikkben:

AZ OLLAMA alapból 4096 tokenre VÁG,
akkor is, ha a modell 256 ezret tudna.
-> A szöveged CSENDBEN elveszik.

A LLAMA.CPP alapból a modell TELJES hirdetett
kontextusát próbálja lefoglalni.
-> Ha nincs rá memória, HANGOSAN elszáll.

Két ellentétes alapértelmezés,
két ellentétes hibamód.

A csendes az alattomosabb: a modell nem hibázik, csak hirtelen nem emlékszik arra, ami három lépéssel korábban volt. Az ember a modellt hibáztatja, nem a beállítást.

LM Studio: a szerver a 1234-es porton figyel; a betöltött modell 60 percig marad a memóriában; és az „Auto-Evict" alapból be van kapcsolva, tehát egyszerre legfeljebb egy modell van betöltve. Kereskedelmi használathoz 2025 júliusa óta nem kell licenc.

text-generation-webui: a 2026 májusi kiadási jegyzet szerint a böngészős hozzáférés korlátozása „mostantól alapból csak a helyi gépre" van beállítva. Vagyis addig nem így volt — aki régebbi verziót futtat, annak az API-ja bármelyik weboldalról elérhető lehetett.

Van mért sebességkülönbség?

Igen, de nem ott, ahol keresik.

Egy felhasználónál alig. Egy összehasonlításban ugyanazon a hardveren, ugyanazzal a modellel a vLLM 793 token/másodpercet ért el, az Ollama 41-et — de kizárólag párhuzamos terhelés alatt. Egyfelhasználós módban mindkettő 130-180 token/mp körül volt, gyakorlatilag azonosan. A tizenkilencszeres rés a folyamatos kötegelésből jön, nem a motorból: párhuzamos kérésnél a kötegelés nélküli futtató sorba állítja a kéréseket, és a teljes áteresztőképessége a felhasználók között oszlik el.

Macen viszont van valódi rés, és akadémiai mérésből. Egy 2026-os vizsgálat egységes memóriájú gépen, négybites modellekkel:

Macen az MLX-alapú futtatók 20-90%-kal gyorsabbak — a rés nem egyenletes, a legnagyobb a legkisebb modellnél volt. A magyarázat az egységes memória natív kezelése és a másolás nélküli tenzorműveletek.

És a háttérkönyvtár is számít. Egy másik gyártó hardverén, ugyanazon a gépen, ugyanazzal a modellel a két elérhető háttérkönyvtár között 2,6-szeres különbség volt a prompt feldolgozásában — és nyolcezer tokenes kontextuson megfordult a sorrend a generálásban.

A „melyik futtató gyorsabb" kérdés tehát gyakran valójában azt jelenti: „melyik háttérkönyvtárat fordították bele".

Amiről kevesebb szó esik: a biztonság

A futtatóválasztásnak van egy elhallgatott dimenziója.

• Minden llama.cpp-alapú futtató örökli a modellformátum feldolgozójának hibáit. 2024, 2025 és 2026 folyamán is találtak súlyos sebezhetőséget, köztük olyat, ami kódfuttatáshoz vezethet.
• Az Ollama konténerképe alapból minden hálózati felületen figyel — szemben a natív telepítéssel, ami csak a saját gépről érhető el. Egy 2024-es sérülékenységnél pont ez volt a súlyosbító körülmény, és több mint ezer kitett példányt találtak.
• A modellfájl kód, nem adat. 2025 elején két rosszindulatú modellt találtak egy népszerű megosztón, a biztonsági ellenőrző megkerülésével.
• Az Ollama telemetriájára vonatkozó nyilvános kérdés 2024 februárja óta válasz nélkül nyitva van. A dokumentáció annyit mond, hogy a promptokat nem látják — ez nem ugyanaz, mint hogy semmit nem küldenek.

Erről bővebben a privát AI című írás szól.

Melyiket válaszd?

"CSAK MŰKÖDJÖN"
-> Ollama. Egy parancs, és fut.
   Az első dolgod: állítsd át a kontextusablakot.

GUI KELL, ÉS MACEN VAGY
-> LM Studio. MLX-támogatással, ami Macen
   mérhetően gyorsabb.

MINDEN KAPCSOLÓT ÁLLÍTANI AKARSZ
-> llama.cpp. A motor maga, közvetlenül.

MÁSOKNAK SZOLGÁLSZ KI (több felhasználó)
-> vLLM. A párhuzamos terhelésnél 19-szeres
   különbség - ez az egyetlen, ami erre való.

EGY APPBAN AKARSZ HELYIT ÉS FELHŐST
-> Jan.

MÁR KONTÉNEREZEL
-> Docker Model Runner.

Az indulási ellenőrzőlista

Hat pont, mindegyik elsődleges dokumentációból következik:

1. ÁLLÍTSD BE A KONTEXTUSABLAKOT
   Az alapérték vagy túl kicsi (4096), vagy túl
   nagy ("a modellből"). Egyik sem az, amit akarsz.

2. KV CACHE 8 BITRE, HA HOSSZÚ A KONTEXTUS
   Feleannyi memória, mérhetetlen minőségromlás.

3. NÉZD MEG, MIRE KÖT A SZERVER
   A natív telepítés loopbackre, a konténerkép
   MINDEN felületre. Ez a különbség komoly.

4. NÉZD MEG A KIRAKÁSI IDŐT
   5 perc vagy 60 perc. Ez dönti el, hogy az
   első kérés lassú lesz-e.

5. FRISSÍTSD A FUTTATÓT
   A modellformátum feldolgozójában több súlyos
   sebezhetőség volt 2024 és 2026 között.

6. CSAK MEGBÍZHATÓ FORRÁSBÓL TÖLTS MODELLT
   A modellfájl végrehajtható kódot tartalmazhat.

Az első pont öt másodperc, és a leggyakoribb csalódást előzi meg.

Tipikus félreértések

• „Az X futtató gyorsabb, mint az Y." Egyfelhasználós módban a legtöbb ugyanazt a motort futtatja, és mérésben gyakorlatilag azonosan teljesítenek. A különbség párhuzamos terhelésnél és Macen jelentkezik.
• „A GPT4All jó kezdés." 2025 februárja óta nem kapott kiadást, és nincs támogatás az újabb modellekhez.
• „Az Ollama helyi, tehát privát." A név 2026-ban egy helyi futtatót és egy felhős szolgáltatást is jelent. Csak az egyik helyi.
• „A gyári beállítással jó lesz." Az egyik futtató 4 096 tokenre vág, a másik a teljes kontextust foglalná. Egyik sem az, amit akarsz.
• „A kontextusablak mérete a modellen múlik." A modell képessége igen. Amit ténylegesen használsz, azt a futtató beállítása dönti el.
• „A letöltött modell csak adat." Dokumentált eset szerint tartalmazhat végrehajtható kódot, ami a betöltéskor lefut.

Amit érdemes elvinni

A futtatóválasztás nem sebességdöntés, mert a mezőny nagy része ugyanazt a motort használja. Becsomagolás-, alapértelmezés- és munkastílus-döntés.

Három dolog, ami tényleg számít: Macen az MLX-alapú futtató mérhetően gyorsabb (20-90%); több felhasználóhoz külön szoftver kell (párhuzamos terhelésnél tizenkilencszeres a különbség); és a kontextusablak alapértéke mindenhol rossz — vagy túl kicsi, vagy túl nagy.

Ha egyetlen dolgot csinálsz meg a telepítés után: állítsd be a kontextusablakot. Ez az öt másodperc többet ér, mint a futtatók közti választás. A méretezésről a hardver a local LLM-hez című írás szól, a kvantálásról pedig a quantization témájú poszt.