Hogyan működnek a nagy nyelvi modellek?

Mi az a nagy nyelvi modell?

Egy nagy nyelvi modell (large language model, LLM) a felszínen megtévesztően egyszerű dolgot csinál: adott szövegkezdet után megjósolja a következő szövegdarabot. Kap egy tokensorozatot — „A macska felmászott a” —, és kimenetként egy valószínűség-eloszlást ad a szótára összes lehetséges következő tokenjére: „fára” 62%, „fa” 11%, „kerítésre” 7% (szemléltető számok), és így tovább több tízezer további lehetőségre. A szöveg generálása ennek az egyetlen műveletnek az ismétlése: a modell húz egy tokent az eloszlásból, hozzáfűzi a szöveghez, majd a meghosszabbodott szövegre kiszámítja a következő token eloszlását. A gyakorlatban a korábbi számítások egy része gyorsítótárból újrahasználható; erről az inferenciáról szóló fejezetben lesz szó. Ezt hívjuk autoregresszív generálásnak. A tananyag elsősorban az ilyen, szöveget tokenenként előállító, autoregresszív transzformermodellek működését mutatja be.

Ami ebből a definícióból nem látszik: ahhoz, hogy a következő tokent jól jósold meg, implicit módon nagyon sok mindent kell „tudni”. A „Párizs Franciaország fővárosa, Berlin pedig …” folytatásához földrajzi tényeket; a „ha 3 alma 600 Ft, akkor 7 alma …” folytatásához aritmetikát; egy félbehagyott Python-függvény folytatásához programozást. A következő token jóslása tehát nem egy szűk feladat: sokféle nyelvi és tartalmi összefüggés megtanulása lehet hasznos hozzá. A tanítás során a modell paraméterei olyan belső mintázatokká rendeződhetnek, amelyek nyelvtant, tényeket, stílust és következtetési mintázatokat reprezentálnak, mert ezek javítják a jóslást. Egyes vizsgálatok a feladat világára vonatkozó belső reprezentációkat is kimutattak: például egy táblajáték állását egy csak lépéssorozatokon tanított modellben, vagy helyekre és időpontokra vonatkozó irányokat nagy nyelvi modellekben (Li et al., 2023; Gurnee & Tegmark, 2024). Ebből azonban nem következik, hogy minden modell egységes vagy emberi értelemben vett világmodellt alakít ki.

Miért „nagy”?

A „nagy” a paraméterek számára utal: a modell viselkedését meghatározó tanult számokra. Egy modern LLM-ben ezekből milliárdok vannak — a nyílt modellek jellemzően a ~1 milliárdtól a több száz milliárdig terjedő tartományban mozognak, a legnagyobb rendszerek ezt is meghaladják. A paraméterek túlnyomó része néhány óriási mátrixban ül (embedding-, attention- és MLP-súlyok, lásd a 4. fejezetet). A méret nem öncélú: az 5.6. szakaszban látni fogjuk, hogy a teljesítmény meglepően szabályos skálázási törvényeket követ — a több paraméter és több adat kiszámíthatóan jobb jóslást ad.

A modell életciklusa

Egy modern LLM két nagy szakaszban készül. Az előtanítás (pretraining) során a modell hatalmas, több billió tokenes szövegkorpuszon tanulja a következő token jóslását — itt jön létre a nyers képesség (5. fejezet). Ezután az utótanítás (post-training) formálja használható asszisztenssé: felügyelt finomhangolás, preferencia-alapú tanítás (RLHF, DPO) és biztonsági tréning (6. fejezet). A kész modellt futtatni — inferencia — önálló mérnöki terület a maga trükkjeivel (7. fejezet). Végül a 8. fejezet arról szól, amit a kutatók ma még csak részben értenek: mi történik valójában odabent.

Tokenizáció: a szövegből számsorozat

A neurális háló nem betűket lát, hanem számokat. Az első lépés tehát a szöveg feldarabolása egy rögzített szótár (vocabulary) elemeire — ezek a tokenek —, majd minden darab lecserélése a szótárbeli sorszámára. A kérdés: mekkorák legyenek a darabok?

Két szélsőség kínálkozik, és mindkettő rossz. Ha karakterenként tokenizálunk, a szótár apró (néhány száz elem), de a sorozatok nagyon hosszúak lesznek, és a modellnek minden szó jelentését karakterekből kellene minden alkalommal összeraknia. Ha szavanként, a sorozatok rövidek, de a szótár robbanásszerűen nő (a magyar ragozás miatt a „ház, házam, házaimban, házaitokból…” mind külön elem lenne), és minden ismeretlen szó — új név, elgépelés, ritka összetétel — kezelhetetlen. A gyakorlati megoldás a kettő közötti részszó-tokenizáció (subword): a gyakori szavak egyetlen tokent kapnak, a ritkák értelmes darabokra esnek szét. A domináns algoritmus a byte-pair encoding (BPE).

A BPE alapötlete tömörítési elv: ami gyakran fordul elő együtt, azt vonjuk össze egy szimbólummá. A szótárat nem kézzel írjuk, hanem adatból tanuljuk: karakterekből (pontosabban bájtokból) indulunk, és ismételten összeolvasztjuk a korpuszban leggyakrabban szomszédos párokat, amíg a szótár el nem éri a kívánt méretet — jellemzően 32 000 és 260 000 közötti elemszámot.

A szótár és a speciális tokenek

A kész szótár tanult részszavakat és fenntartott speciális tokenazonosítókat is tartalmazhat: szövegvég, szerephatárok, eszközhívás-jelölők. A felhasználó által beírt jelölőszöveg és a valódi vezérlőtoken nem ugyanaz. A tokenizer API-ja és a chat-formátum feldolgozója szabályozza, mikor engedélyezett speciális token előállítása; ez nem a BPE önmagában garantált tulajdonsága. A nem megbízható bemenetet tartalomként kell kódolni, nem szerephatárként. Ez önmagában nem szünteti meg a prompt injectiont. Példa: tiktoken allowed_special / disallowed_special. A nagyobb szótár rövidebb sorozatokat adhat, de növeli az embedding-tábla méretét.

# korpusz: bájtsorozatok; cél: V méretű szótár
szótár = {mind a 256 bájt}
merge_szabályok = []
while |szótár| < V:
    pár = a korpuszban leggyakoribb szomszédos (x, y) tokenpár
    új_token = concat(x, y)
    szótár.add(új_token)
    merge_szabályok.append((x, y) → új_token)
    korpusz = minden (x, y) előfordulás cseréje új_token-re

Embeddingek: a jelentés mint irány egy vektortérben

A token-ID-k önmagukban semmitmondó sorszámok: a 9042-es token semmivel sem „hasonlóbb” a 9043-ashoz, mint az 517-eshez. A hálónak olyan reprezentáció kell, amelyben a hasonlóság számolható. Ezért minden tokenhez egy tanult vektort rendelünk — egy több ezer dimenziós számsorozatot —, és ettől kezdve a modell nem tokenekkel, hanem ezekkel a vektorokkal dolgozik. Ezt a hozzárendelést hívjuk embeddingnek.

A döntő pont: az embeddingeket nem kézzel tervezzük, hanem a modell tanulja, ugyanazzal a gradiens-módszerrel, mint minden más paraméterét. A tanítás nyomása alatt a geometria jelentést kezd hordozni: azok a tokenek, amelyek hasonló környezetekben fordulnak elő — és ezért hasonló jóslásokhoz kell hasonlóan hozzájárulniuk —, egymáshoz közeli vektorokat kapnak. A „kutya” és a „macska” vektora közel kerül egymáshoz; a „kutya” és az „integrál” távol. Sőt, az irányok is jelentést hordoznak: bizonyos irányba elmozdulva a nyelvtani szám, a nem, az idő vagy éppen a formalitás változik.

Mekkora ez a tér?

Az embedding-vektorok hossza a modell rejtett dimenziója, d_model — kis modelleknél néhány száz, nagyoknál 4 000–20 000 körüli érték. Az összes token embeddingje egyetlen táblázatot alkot: egy V × d_model méretű mátrixot (V a szótárméret). Egy 128k-s szótár és 8 192-es dimenzió mellett ez önmagában több mint egymilliárd paraméter. Fontos előretekintés: ez a vektor csak a kiindulópont — a token szótári jelentése. A transzformer rétegei (4. fejezet) ezt a vektort fokozatosan a szövegkörnyezetbeli jelentéssé írják át: a „vár” token vektora a rétegeken áthaladva mássá válik az „a vár fokán” és a „rám vár” kontextusban.

A transzformer architektúra

4.1 · A blokk: attention és MLP

A transzformer a modern LLM-ek motorja. Szerkezete meglepően ismétlődő: ugyanaz a blokk ismétlődik egymás után néhány tucatszor vagy százszor. Minden blokk két alegységből áll: egy attention (figyelem) rétegből, amely a tokenek közötti információáramlásért felel — ez az egyetlen hely, ahol ugyanazon szekvencia pozíciói „beszélgethetnek” egymással —, és egy MLP-rétegből, amely minden pozíciót önmagában, de nagy kapacitással dolgoz fel. A kettő munkamegosztása az egész architektúra veleje: az attention mozgatja az információt, az MLP feldolgozza.

4.2 · A residual stream: az architektúra gerince

Mielőtt az attention részleteibe mennénk, érdemes rögzíteni a legjobb mentális modellt az egészről. Minden token-pozícióhoz tartozik egy d_model-dimenziós vektor, amely a rétegeken át rétegenként additív frissítéseket kap — ez a residual stream (reziduális folyam). A blokkok nem „feldolgozzák és továbbadják” az adatot, mint egy futószalag: ehelyett minden alegység kiolvassa a stream aktuális tartalmát, kiszámol belőle valami hasznosat, és az eredményt hozzáadja a streamhez. A kimenet felé haladva a stream egyre több réteg hozzájárulását hordozza összegként. A hozzáadás azonban ki is olthat korábbi összetevőket: az információ nem feltétlenül csak gyűlik vagy javul.

Ez az apróságnak tűnő tervezési döntés — a reziduális kapcsolat — három szempontból alapvető. Tanulhatóság: az összeadás identitáságat ad a gradiensnek, ami segíti a mély hálók optimalizálását; önmagában nem garantál stabil tanítást. Fokozatos módosítás: minden alegység a meglévő állapothoz ad frissítést, amely erősíthet vagy kiolthat korábbi összetevőket. Értelmezhetőség: az additív szerkezet segít elkülöníteni a komponensek hozzájárulását; ez a 8. fejezet egyik fontos elemzési eszköze.

4.3 · Attention: melyik token honnan olvasson?

Az attention információt mozgat a tokenek között, de a kauzális irány számít. Az „A daru fészkén ült” mondatban a „daru” pozíciója még nem láthatja a későbbi „fészkén” szót. A „fészkén” és az utána következő pozíciók viszont már összekapcsolhatják a korábbi „daru” tokent a madárra utaló környezettel. Az attention ezt tanult kereséssel segítheti. Minden pozíció három szerepben lép fel:

• Query (lekérdezés) — „mit keresek?”: a token megfogalmazza, milyen információra van szüksége.
• Key (kulcs) — „mit kínálok?”: minden token hirdetést ad fel arról, milyen információt tud nyújtani.
• Value (érték) — „mit adok át, ha választanak?”: a ténylegesen továbbítandó tartalom.

A mechanizmus: a token query-vektorát összevetjük az összes korábbi token key-vektorával (skalárszorzattal: q · k = ‖q‖ ‖k‖ cos θ, tehát az irány és a két vektor hossza egyaránt számít). Ahol nagy az egyezés, oda nagy súly kerül; a súlyokat softmax normálja eloszlássá; végül a token a value-vektorok súlyozott átlagát kapja meg és adja hozzá a saját streamjéhez. Nem egy címzettől olvas tehát, hanem mindenkitől egyszerre, a relevancia arányában.

Kauzális maszk és multi-head

Két fontos kiegészítés. Először: mivel a feladat a következő token jóslása, egy pozíció csak a múltból olvashat — a jövőbeli tokenekre irányuló figyelmet a kauzális maszk tiltja le (a softmax előtt −∞-t írunk a jövőbeli pozíciók pontszámába). Ezért tudja a tanítás minden pozíción egyszerre gyakorolni a jóslást: a t-edik pozíció kimenete csak az első t tokentől függ, így egyetlen előrefuttatás T darab tanítópéldát ad.

Másodszor: nem egy attention fut, hanem párhuzamosan sok — ez a multi-head attention. Minden fej (head) saját query/key/value-vetítésekkel dolgozik egy kisebb altérben, így különböző fejek különböző relációkra szakosodhatnak: az egyik a közvetlen előző tokenre figyel, a másik a mondat alanyára, a harmadik az azonos szó korábbi előfordulásaira (ez lesz a 8.3 induction headje). A fejek kimenetei egymás mellé fűzve, egy közös kimeneti vetítésen át kerülnek vissza a streambe.

4.4 · Az MLP-réteg: a feldolgozó- és tudásegység

A blokk másik fele, az MLP (multi-layer perceptron, más néven feed-forward réteg) minden pozíción külön-külön, azonos súlyokkal fut — a pozíciók között itt közvetlenül nem áramlik új információ. Szerkezete egyszerű: a streamvektort egy nagy mátrix felvetíti egy jóval bővebb térbe (tipikusan a modell-dimenzió ~4-szeresébe), ott egy elemenkénti nemlinearitás hat rá, majd egy másik mátrix visszavetíti az eredeti dimenzióba. A paraméterek többsége — durván kétharmada — ezekben a mátrixokban ül.

Mire jó ez? A hagyományos, két vetítésből álló MLP-ben az aktiváció elhagyásával a két vetítés egyetlen affin leképezéssé vonható össze (bias nélkül lineárissá). Ez az MLP saját kifejezőerejét csökkenti; az egész transzformer továbbra is nemlineáris, mert az attention és a normalizálás is az marad. A kapuzott változatokban a szorzás is nemlinearitást ad. Az eredeti architektúra ezeket külön részegységekként írja le. Szemléletesebben: az MLP kulcs–érték memóriaként is olvasható. A lent használt sorvektoros jelölésben a felvetítő mátrix minden oszlopa egy mintázatdetektor (kulcs): mennyire van jelen a bemenetben egy adott jellemzőkombináció? A nemlinearitás küszöböl — a gyengén illeszkedő detektorok elhallgatnak —, a visszavetítő mátrix megfelelő sora (érték) pedig a bekapcsolt detektorokhoz tartozó tartalmat írja a streambe. Sok tényszerű asszociáció — „Eiffel-torony → Párizs” — kimutathatóan a középső rétegek MLP-iben tárolódik.

A kulcs–érték felírás algebrailag pontos, de az emberi jelentés hozzárendelése már értelmezés. A neuronok bemeneti súlyvektorai a mátrixban konkrétan megvannak; ettől még egy neuron több eltérő mintázatra válaszolhat, és egy fogalom több komponensben is eloszolhat. A szuperpozíció ennek egyik kutatott magyarázata. Nem szabad összekeverni a képletbeli „kulcsot” az egyedi, emberi fogalommal.

4.5 · Normalizálás: a jel karbantartása

A normalizálás segít szabályozni az alegységek bemeneti skáláját. A LayerNorm kivonja a komponensek átlagát, majd √(variancia + ε)-nal oszt; az RMSNorm központosítás nélkül √(átlag(x²) + ε)-nal oszt. Tanult elemenkénti skála, LayerNormnál rendszerint bias is követi. A pre-norm az alegység elé, a residual mellékágba helyezi ezt a műveletet. Így a közvetlen residual út identitás marad, ami kedvezhet a gradiensáramlásnak. Xiong és mtsai. bizonyos beállításoknál warmup nélkül is jó eredményt kaptak; ez nem általános stabilitási garancia, a warmup szükségessége a teljes tanítási recepttől függ.

4.6 · Pozíciókódolás: honnan tudja a modell, mi hol van?

Pozíciójel és maszk nélkül a self-attention permutáció-ekvivariáns: a bemeneti sorokat felcserélve a kimeneti sorok is ugyanúgy cserélődnek. A súlymátrix sorai és oszlopai együtt rendeződnek át, tehát nem marad ugyanaz a mátrix. Ezért explicit pozíciókódolással adjuk meg a helyet vagy távolságot. A kauzális maszk már önmagában is sorrendi aszimmetriát vezet be: meghatározza, mely pozíciók elérhetők.

Az első generációs megoldások a pozíciót vektorként adták hozzá az embeddinghez (rögzített szinuszos minta vagy tanult pozíció-embedding). A mai standard a RoPE (rotary position embedding), amely elegánsabb: nem a tartalomhoz ad hozzá semmit, hanem a query- és key-vektorokat elforgatja a pozíciójukkal arányos szöggel. Két elforgatott vektor skalárszorzata a pozíciótól kizárólag a két elforgatási szög különbségén keresztül függ — formálisan ⟨R_mq, R_nk⟩ = ⟨q, R_n−mk⟩ —, vagyis az attention-pontszám automatikusan a tokenek relatív távolságát érzékeli, nem az abszolút helyüket. (A skalárszorzat értéke természetesen magától a két vektortól is függ; az állítás lényege az, hogy a pozíció csakis az m−n különbségen át szól bele — az elforgatás ortogonális, tehát a normákat érintetlenül hagyja.) Ez pontosan az a tulajdonság, amit a nyelv kíván: az „egymás melletti” reláció ugyanazt jelenti a szöveg elején és a közepén.

4.7 · A kimeneti fej: vektorból valószínűség

Az utolsó blokk után a streamvektor végső normalizáláson, majd az unembedding-mátrixon (W_U ∈ ℝ^d×V) megy át. Minden szótárelem logitja a normalizált vektor és a megfelelő mátrixoszlop skalárszorzata (ha van kimeneti bias, azt is hozzáadjuk). A skalárszorzat az iránytól és a hossztól is függ: a legnagyobb koszinuszhasonlóság önmagában nem garantálja a legnagyobb logitot. A softmax alakítja a logitokat valószínűségekké:

Az exponenciális pozitív súlyokat ad, a normalizálás pedig biztosítja, hogy a valószínűségek összege 1 legyen. A softmax a logit-különbségeket alakítja arányokká: pᵢ / pⱼ = exp(zᵢ − zⱼ). Ha egyetlen logitot 1-gyel növelünk, a token más tokenekhez viszonyított valószínűségaránya e-szeresére (~2,7×) nő — a saját valószínűsége nem. Két egyforma logitnál például 50%-ról e / (e + 1) ≈ 73%-ra változik. A 7. fejezetben a temperature hatását is kipróbálhatod.

4.8 · Modern variánsok: mit változtatott az ipar?

A 2017-es recept magja meglepően stabil, de szinte minden alkatrészt optimalizáltak azóta. A legfontosabb irányok:

Tanítás: honnan jönnek a súlyok?

A frissen inicializált modell súlyai véletlenszámok, kimenete értelmetlen zaj. A tanítás célja, hogy ebből a zajból — kizárólag példák és egy hibamérték alapján — a 4. fejezet gépezetének jó paraméterei álljanak elő. A recept elve egyszerű, és lényegében az egész deep learning erre az egy hurokra épül:

1. Vegyél egy adag szöveget a korpuszból, futtasd le rajta a modellt.
2. Mérd meg egy veszteségfüggvénnyel (loss), mennyire volt rossz a jóslás.
3. Számold ki minden egyes paraméterre, hogy kis megváltoztatása mennyit javítana a lossen — ez a gradiens, és a backpropagation számolja.
4. Mozdíts el minden paramétert egy picit a javulás irányába (optimalizáló).
5. Ismételd — nagy modelleknél sok millió lépésen és sok billió tokenen át.

5.1 · A veszteségfüggvény: cross-entropy

Mit jelent „rossz jóslás”? A modell minden pozícióban egy eloszlást adott a következő tokenre — a korpuszban pedig ott áll, mi volt ténylegesen a következő token. A cross-entropy loss egyszerűen a helyes token modellbeli valószínűségének negatív logaritmusa: ha a modell 90%-ot adott a helyes tokenre, a veszteség kicsi (−ln 0,9 ≈ 0,105); ha 1%-ot, nagy (−ln 0,01 ≈ 4,6). A tanítás tehát szó szerint azt optimalizálja, hogy a ténylegesen leírt szövegek a modell szerint minél valószínűbbek legyenek — ez a maximum likelihood elv.

5.2 · A számítási gráf és az automatikus differenciálás

A gradiens kiszámításához vegyük észre: a loss a paraméterek függvénye — egy irdatlanul összetett, de elemi lépésekből (mátrixszorzás, összeadás, softmax…) felépülő függvény. A modern keretrendszerek (PyTorch, JAX) az előrefuttatás közben feljegyzik ezt a felépítést egy számítási gráfba: minden csomópont egy művelet, minden él egy adatfüggés. A gradiens számítása ezután gépies: a gráfon visszafelé haladva minden művelet a saját (ismert, egyszerű) deriváltjával szorozza tovább a mögötte érkező gradienst. Ez az automatikus differenciálás (reverse-mode autodiff) — a backpropagation ennek a neurális hálós neve.

5.3 · Backpropagation: a láncszabály iparosítása

A backprop lényege a középiskolából ismerős láncszabály: összetett függvény deriváltja a részderiváltak szorzata. A számítási gráfban a loss és egy mély paraméter között hosszú műveletlánc áll — a gradiens ezen a láncon szorzódik végig visszafelé. A zsenialitás a szervezésben van: ahelyett, hogy minden paraméterre külön végigszámolnánk a láncot (ez paraméterenként egy előrefuttatás lenne — milliárd paraméternél kivitelezhetetlen), a visszafelé haladás megosztja a közös részszorzatokat: minden csomópont gradiensét egyszer számoljuk ki, és minden paraméter a saját csomópontjánál kapja meg a magáét. Így az összes gradiens együtt nagyjából két előrefuttatás áráért áll elő.

5.4 · Optimalizálók: a gradienstől a lépésig

Az AdamW paraméterenként két exponenciális mozgóátlagot tart fenn: a gradiensét és a négyzetes gradiensét. Az első lendületként simítja a frissítést, a második a koordinátánkénti skálázást segíti. A frissítés nagyságát továbbra is a tanulási ráta, a statisztikák és az ε együtt határozza meg: nem lesz minden lépés egységnyi, és a jó kondicionáltság vagy a konvergencia sem automatikus. Az SGD is érvényes módszer, de nagy nyelvi modelleknél az adaptív optimalizálók gyakran praktikusabbak.

5.5 · Tanítás a gyakorlatban: adat, precizitás, párhuzamosítás

A fentiek egyetlen GPU-n is működnek — egy nagy modell tanítása azonban tíz- vagy százezer gyorsítón folyó, hónapokig tartó mérnöki művelet. A fő témák:

Adat. A több billió tokenes korpusz (web-crawl, könyvek, kód, tudományos szöveg, egyre inkább szintetikus adat) minősége a végeredmény első számú meghatározója. A pipeline: nyelvfelismerés, minőségszűrés (heurisztikák és tanult osztályozók), deduplikáció (a duplikátumok memorizációt és képesség-torzulást okoznak), PII- és toxicitás-szűrés, majd a keverékarányok gondos megtervezése — a tanítás vége felé gyakran „curriculum”: a legjobb minőségű adat felülsúlyozása.

Precizitás. A bfloat16 1 előjelbitet, 8 kitevőbitet és 7 tárolt törtrészbitet használ; a float32 rendre 1, 8 és 23 bitet. A kitevőtartományuk azonos, de a bfloat16 pontossága kisebb, a tárigénye feleakkora. Ez nem „feleakkora mantissza”. Vegyes pontosságú tanításkor a mátrixműveletek és az érzékeny akkumulációk eltérő formátumot használhatnak; FP8 is alkalmazható. A gyorsulás a hardvertől és a műveletektől függ, nem automatikus 2–4×. A loss scaling főként az FP16 szűkebb tartománya miatt fontos. BFLOAT16-tanulmány.

Párhuzamosítás. Egy nagy modell se súlyban, se aktivációban nem fér egyetlen GPU-ra, ezért a munkát három tengely mentén szeletelik, jellemzően egyszerre mindhárom mentén („3D parallelism”):

Memória-trükkök. A backprophoz az előrefuttatás köztes aktivációit meg kell őrizni — hosszú szekvenciáknál ez dominálja a memóriát. A gradient checkpointing alkut köt: csak minden k-adik réteg aktivációit tárolja, a többit a visszafuttatáskor újraszámolja (~harmadával több számítás, töredék memória).

5.6 · Skálázási törvények: a mezőny fizikája

Számos kísérletben a teszt-loss jól közelíthető a modellméret, az adatmennyiség és a compute hatványfüggvényével. Ha van nem nulla padló E, akkor az ideális hatványtörvény log-log egyenese az L − E többletveszteségre vonatkozik. Az illesztés hasznos a tervezéshez, de csak a vizsgált adat-, architektúra- és mérettartományban alátámasztott. Egy alacsonyabb loss nem mondja meg automatikusan, hogy egy konkrét új feladatot megold-e a modell.

Finomhangolás és alignment: a nyers modellből asszisztens

Az előtanított „alapmodell” (base model) félelmetes tudású, de nem asszisztens: a „Hogyan süssek kenyeret?” kérdésre könnyen egy további kérdéslistával válaszol — mert a weben a kérdések gyakran így folytatódnak. A base model azt folytatja, ami valószínű, nem azt, ami hasznos. Az utótanítás (post-training) feladata ezt a rést bezárni: a modell viselkedését hasznossá, őszintévé és ártalmatlanná formálni — anélkül, hogy a nyers képességek sérülnének.

A három lépcső

1 · Felügyelt finomhangolás (SFT). A modellt kiváló minőségű mintapárbeszédeken tanítjuk tovább — ugyanazzal a next-token-loss-szal, mint eddig, csak most a „helyes viselkedés” példáin, és a loss-t jellemzően csak az asszisztens-válasz tokenjein számoljuk. Ez adja meg a szerepet: kérdésre válasz jön, nem újabb kérdés.

2 · Jutalommodell. A „jó válasz” fogalma nehezen írható le szabályokkal, de az embereknek könnyű két válasz közül a jobbat kiválasztani. Ilyen páros ítéletekből tanul egy külön modell — a jutalommodell —, amely bármely válaszhoz pontszámot rendel. Ez az emberi ízlés tömörített, gépi helyettesítője.

3 · Megerősítéses tanulás. A modell most már saját generált válaszaiból tanul: válaszol, a jutalommodell pontoz, és a paraméterek úgy módosulnak, hogy a magasra pontozott viselkedés valószínűbb legyen. Kritikus alkatrész a KL-fék: a modellt büntetjük, ha túl messze sodródik a kiinduló (referencia-) modelltől — enélkül a policy megtalálja a jutalommodell gyenge pontjait, és azokat aknázza ki (reward hacking: magabiztos halandzsa, hízelgés, mesterkélt hossz).

Inferencia: a kész modell futtatása

A tanítás megadta a súlyokat — de a modell használata saját mérnöki világ. A prefill a prompt feldolgozása: a pozíciók párhuzamosan számolhatók, ezért kellően hosszú promptnál gyakran a számolókapacitás a korlát. A dekódolás ezután tokenenként halad. Kis batchméretnél gyakran a súlyok és a KV-cache olvasásához szükséges memória-sávszélesség a szűk keresztmetszet. Ez nem általános törvény: a batchméret, a kontextushossz, az architektúra és a hardver megváltoztatja az arányokat. A KV-cache segítségével a korábbi tokenek kulcs- és értékvektorai újrahasználhatók. Ezért mérjük külön az első token késleltetését és a generálás ütemét. Részletes költségmodell és feltételezések.

Mintavételezés: az eloszlásból token

A modell kimenete eloszlás — de konkrét tokent kell választani. A mohó választás (mindig a legvalószínűbb) determinisztikus, de gyakran laposan ismétlődő szöveget ad. A gyakorlatban az eloszlásból mintát veszünk, és a mintavétel élességét a temperature paraméter szabályozza: a logitokat elosztjuk T-vel a softmax előtt. T<1 az eloszlást a csúcs felé élesíti (konzervatívabb, ismétlésre hajlamosabb), T>1 lapítja (kreatívabb, hibára hajlamosabb). Kiegészítésként a top-p (nucleus) szűrés levágja az eloszlás hosszú, zajos farkát: csak a legkisebb olyan tokenhalmazból mintázunk, amelynek együttes valószínűsége eléri p-t.

KV-cache: hogy ne számoljunk mindent újra

Változatlan modell és prefix mellett a kauzális dekóder korábbi pozícióinak K/V-vektorai nem függnek az új tokenektől. A KV-cache ezeket tárolja rétegenként. Az új pozícióhoz továbbra is ki kell számolni a Q-, K- és V-vektort, az attentiont és az MLP-t; az új K/V hozzáadódik a cache-hez, a query a megengedett régi és saját kulcsokra figyel. Egyetlen új pozíció sűrű attentionje a kontextushosszban lineáris, nem kell a teljes prefixet újrafuttatni. A cache tárigénye is lineárisan nő, és hosszú kontextusnál meghaladhatja a súlyokét.

Mechanistic interpretability: mi történik odabent?

8.1 · A visszafejtés programja

Az eddigi fejezetek megadták, hogyan számol a modell — de nem azt, hogy mit. A súlyok tanultak, nem tervezettek: senki nem írta elő, melyik neuron mit jelentsen. A mechanistic interpretability (mech interp) kutatási programja az, hogy a betanított hálót visszafejtsük, mint egy ismeretlen gépet: azonosítsuk a belső változóit (feature-öket) és az őket összekötő algoritmusokat (circuit-öket, áramköröket). A tét nem csak tudományos kíváncsiság: ha látjuk, mit számol a modell, akkor a viselkedését nem csak kívülről, teszteléssel, hanem belülről is auditálhatjuk — vizsgálhatjuk például az őszinte válasz és a stratégiai megfelelés lehetséges belső különbségeit (6. fejezet), és kereshetjük a hibák okát. Ez kutatási cél: a jelenlegi módszerek nem adnak általános, megbízható „hazugságdetektort” vagy biztonsági garanciát.

8.2 · A residual stream nézet és a logit lens

A visszafejtés természetes koordinátarendszere a 4.2-ben megismert residual stream. Minden komponens — embedding, attention-fejek, MLP-k — ugyanabba a közös vektortérbe ír, additívan; a kimeneti logitok pedig az összeg végső normalizálása után kapott vektor lineáris leképezései. A direkt attribúcióhoz a megfigyelt futás normalizálási skáláját rögzíteni kell; a komponensek kivétele és a modell újrafuttatása más hatást adhat. Ebből két azonnali, gyakorlati eszköz esik ki. A direkt logit-attribúció: mivel minden komponens hozzájárulása egy összeg tagja, komponensenként kiszámolható, ki mennyivel tolta a „Párizs” logitot felfelé. És a logit lens: a stream köztes állapotát bármely réteg után átvezethetjük az unembeddingen — így rétegről rétegre nézhetjük, mivé „gondolja épp” a modell a folytatást. A tipikus kép: a korai rétegek még a felszíni tokenvilágban dolgoznak, a középső rétegekben áll össze a szemantika (és gyakran már a helyes válasz), a késeiek a megfogalmazást élesítik.

Fontos korlát: a nyers logit lens könnyen félrevezet. A korai rétegek reprezentációi még nem az unembedding terében „laknak” — a W_U mátrix közvetlen alkalmazása rájuk gyakran értelmezhetetlen zajt vagy szisztematikusan torzított jóslatot ad, és modellcsaládonként erősen eltér, hogy meddig használható. Ezért fejlesztették ki a tuned lens változatot: rétegenként tanítanak egy affin transzformációt, amely a köztes állapotot a kimeneti térbe illeszti, mielőtt az unembedding jönne. Ez lényegesen simább és megbízhatóbb rétegpályát ad. A logit lenst tehát gyors, olcsó szondaként érdemes kezelni, nem mérőműszerként — és minden belőle levont következtetést oksági beavatkozással (8.6) kell megerősíteni.

8.3 · Induction headek: az első megértett áramkör

A legszebb tankönyvi példa arra, hogy a „circuit” nem metafora. A jelenség: sok transzformerben megfigyelhető egy egyszerű, de mindenütt hasznos algoritmus — „ha az [A][B] minta korábban előfordult, és most megint [A]-t látok, jósoljak [B]-t”. Ezt egy két fejből álló, két rétegen átívelő áramkör valósítja meg: egy korábbi rétegbeli előző-token-fej minden pozícióra rámásolja az őt megelőző token azonosítóját; erre építve egy későbbi rétegbeli induction head query-je az aktuális [A] tokennel megkeresi azt a pozíciót, amelynek „előző tokenje A volt” — vagyis a korábbi [B]-t —, és a talált token tartalmát a kimenet felé továbbítja. Két tanult fej kompozíciója = egy keresés-és-másolás algoritmus.

8.4 · Szuperpozíció: több fogalom, mint dimenzió

Miért nem elég a neuronokat nézegetni? A szuperpozíció hipotézise szerint a hálózat több jellemzőt tárolhat, mint ahány reprezentációs dimenziója van, ha ezek átfedő irányokban jelennek meg. Ez akkor működhet, ha a jellemzők ritkák — egyszerre csak kevés aktív —, hiszen a magas dimenziós térben exponenciálisan sok közel merőleges irány fér el. Egyszerű játékmodellekben ez részletesen vizsgálható: ott az optimalizálás valóban egymást enyhén átfedő irányokba tömöríti a jellemzőket. Az eredmény valódi nyelvi modellekre való kiterjesztése külön bizonyítékot igényel; a következő szakaszok módszerei (8.5) éppen ezt próbálják. Az ár: interferencia-zaj (az egyszerre aktív jellemzők kicsit „belebeszélnek” egymásba) — és az, hogy az egyes neuronok poliszemantikussá válnak, hiszen egy neuron sok jellemző-irány vetületét látja.

8.5 · Sparse autoencoderek: szótár a gondolatokhoz

Ha a jellemzők átfedő irányokban rejtőznek, kell egy eszköz, amely szétszálazza őket. Ez a sparse autoencoder (SAE): egy segéd-háló, amelyet arra tanítunk, hogy a modell aktivációit egy jóval bővebb, de ritka kódra bontsa — minden aktiváció álljon elő kevés „szótárelem” összegeként. A tanult szótárelemek meglepően gyakran monoszemantikusak: egy-egy emberi fogalomnak felelnek meg — a „gyakran” szó itt hangsúlyos, a módszer ismert korlátaira (rekonstrukciós maradék, feature splitting, seedfüggés) a fejezet kutatói blokkja tér ki. Nagy modellekből milliós szótárakkal olyan feature-öket emeltek ki, mint „Golden Gate híd”, „kódbeli biztonsági rés”, „hízelgés”, „belső konfliktus” — és a feature-ök okságilag is működnek: aktivációjuk mesterséges felerősítésével a viselkedés megjósolhatóan eltolható (a híres demó, a „Golden Gate Claude”, minden beszélgetést a hídra terelt).

8.6 · Módszertan: honnan tudjuk, hogy igazunk van?

A mech interp módszertani gerince az oksági beavatkozás: nem elég korrelációt látni („ez a fej nagy súlyt ad X-re”), meg kell mutatni, hogy a komponens okozza a viselkedést. A szerszámkészlet:

• Abláció: kapcsold ki (nullázd vagy átlagra cseréld) a komponenst — mi romlik el? Ha semmi, a komponens a vizsgált viselkedésben nem kritikus (vagy redundánsan tartalékolt).
• Activation patching: futtasd a modellt két bemeneten (pl. „A Colosseum városa:” / „az Eiffel-torony városa:”), és ültesd át egyetlen komponens aktivációját az egyik futásból a másikba. Ha a válasz Rómáról Párizsra vált, megtaláltad, hol utazik az információ. Szisztematikus végigpásztázással az információáramlás feltérképezhető.
• Attribúciós gráfok / circuit tracing: a legújabb generációs eszközök (2025) a modellt lokálisan egy értelmezhető „helyettesítő modellel” közelítik, és konkrét promptra megrajzolják a feature→feature hatásgráfot: melyik jellemző melyiket aktiválta a válaszig vezető úton. Ezzel vált először láthatóvá például, hogy a modell versírás közben előre megtervezi a rímszót, vagy hogy a fejben-összeadásnál párhuzamos közelítő- és pontos-számjegy-utak futnak.

Képességek és korlátok: mit várhatunk a gépezettől?

Az előző fejezetek gépezetéből néhány jellegzetes viselkedés szükségszerűen következik — jó és rossz egyaránt. Ez a fejezet a kettőt köti össze: a képességeket és a hibamódokat egyaránt a mechanizmusból vezeti le.

In-context learning: tanulás súlyfrissítés nélkül

Az egyik legkülönösebb képesség: a modell a promptban kapott néhány példából „megtanul” egy új feladatot — pedig egyetlen súlya sem változik. A magyarázat az architektúrában van: az attention futásidőben tud információt mozgatni a példákból az aktuális kérdéshez, az induction-jellegű áramkörök (8.3) pedig épp mintaillesztést és -folytatást valósítanak meg. Fontos azonban, hogy az induction head nem az in-context learning teljes magyarázata: Olsson és mtsai a fejek kialakulása és a képesség ugrásszerű megjelenése közti erős együttjárást mutatták ki, de a mai kép szerint az ICL-ben másoló fejek, feladat- és formátumreprezentációt hordozó MLP-rétegek, valamint jóval összetettebb figyelem-mintázatok is részt vesznek. Az induction-áramkör a legjobban megértett összetevő, nem az egyetlen. A kontextus tehát egyfajta gyors, ideiglenes memória, amelyben a modell a tanult általános algoritmusait az adott feladatra hangolja. Kutatói olvasatban: a transzformer előrefuttatása bizonyos feltételek közt implicit optimalizálási lépéseket valósít meg a kontextusban lévő példákon („mesa-optimalizáció” irodalom).

Lépésenkénti gondolkodás

Egy előrefuttatás rögzített mélységű számítás: N réteg, pont annyi. Amit nem lehet ennyi lépésben kiszámolni, azt a modell egyetlen tokenben nem tudja helyesen kiadni — de a generált tokenek maguk is számítási munkatárrá tehetők. A chain of thought (gondolatmenet kiírása) pontosan ez: a modell a köztes eredményeit tokenként externalizálja, és a következő lépésben már rájuk kondicionál — a szekvenciahossz irányában „mélyíti” a számítást. A modern reasoning-modellek ezt teszik rendszerré: RL-lel tanulják meg (5.6, 6. fejezet), hogy a gondolkodási tokeneket hatékonyan használják — hibát visszavonni, elágazást kipróbálni, ellenőrizni.

Miért hallucinál?

A hallucináció — magabiztosan előadott valótlanság — nem rejtélyes meghibásodás, hanem a tanítási cél árnyéka. A mechanizmusból több forrása is levezethető:

• A loss folytatást jutalmaz, nem igazságot. A cross-entropy a plauzibilis szöveget díjazza; egy jól hangzó, hamis állítás loss-a alacsony, ha a felszíni mintázata gyakori. A „nem tudom” válasz ráadásul egyes értékelési rendszerekben rosszabbul pontozhat, mint egy tippelés — az utótanítás így akaratlanul a magabiztos tippelésre nevelhet (a vizsgázó-stratégia: üresen hagyni biztos pontvesztés).
• A tudás eloszlásba van tömörítve. A ritkán látott tények gyenge, zajos asszociációk (3. és 4.4 fejezet); a mintavétel (7. fejezet) egy rossz tokenje után a modell a saját hibájára kondicionál, és koherensen továbbépíti azt.
• A visszaidézés és a fogalmazás szétválik. Az interp-esettanulmányok (8.6) szerint van külön „ezt az entitást ismerem” jelzés a hálóban: ha ez tévesen bekapcsol, a válaszgeneráló áramkörök gátlása feloldódik, és a modell kitölti a részleteket — a szerkezet megvan, a tartalom nem.

A hibák mérséklését segítheti a bizonytalanság jelzésére és a válasz megtagadására tanítás, a külső források visszakeresése (RAG), az eszközhasználat és a válaszok ellenőrzése. Egy idézet puszta megléte nem bizonyítja, hogy valódi és alátámasztja az állítást. A hallucináció teljes megszüntetésére általános, nyitott feladatokon nincs bevált garancia. Ezt azonban nem bizonyítja önmagában az, hogy a modell valószínűségi: egy szűk, ellenőrizhető feladatnál formális korlátokkal vagy verifikációval erős helyességi garanciák is adhatók.

További jellegzetes határok

Glosszárium

Attention (figyelem)

Mechanizmus, amellyel egy token-pozíció tanult relevancia-súlyokkal olvas információt a többi pozícióból (query–key illeszkedés, value-átvitel). 4.3.

Autoregresszív

Tokenről tokenre haladó generálás, ahol minden új token az addigi teljes szövegre kondicionál. 1. fejezet.

Backpropagation

A láncszabály hatékony, gráfalapú végrehajtása: minden paraméter gradiense egyetlen visszafuttatásban áll elő. 5.3.

BPE (byte-pair encoding)

Szótárépítő algoritmus: a leggyakoribb szomszédos szimbólumpárok ismételt összevonása. 2. fejezet.

Chain of thought (CoT)

A köztes gondolatmenet tokenként való kiírása, amely a számítást a szekvenciahossz irányában mélyíti. 9. fejezet.

Circuit (áramkör)

A háló komponenseinek (fejek, neuronok, feature-ök) azonosítható, emberi fogalmakkal leírható algoritmust megvalósító együttműködése. 8. fejezet.

Cross-entropy loss

A helyes token modell szerinti valószínűségének negatív logaritmusa; a tanítás célfüggvénye. 5.1.

DPO (direct preference optimization)

Preferenciapárokból közvetlenül optimalizáló alignment-módszer, külön jutalommodell és RL-hurok nélkül. 6. fejezet.

Embedding

Token → tanult vektor hozzárendelés; a jelentés geometriai reprezentációjának kiindulópontja. 3. fejezet.

Feature (jellemző)

A modell belső reprezentációjának egy egysége — a munkahipotézis szerint jó közelítéssel egy irány az aktivációtérben. 8. fejezet.

Gradiens

A loss parciális deriváltjainak vektora a paraméterek szerint; megmutatja, melyik paraméter kis változtatása mennyit javít. 5. fejezet.

GQA (grouped-query attention)

Több query-fej osztozik kevesebb key/value-fejen — a KV-cache zsugorítása. 4.8.

Induction head

Attention-fej, amely a kontextusban korábban látott mintázat ismétlődését találja meg és folytatja; az in-context learning egyik alapja. 8.3.

Inferencia

A betanított modell futtatása (prefill + tokenenkénti dekódolás). 7. fejezet.

KV-cache

A korábbi tokenek key/value-vektorainak tárolása, hogy dekódoláskor ne kelljen újraszámolni őket. 7. fejezet.

KL-divergencia

Két eloszlás eltérésének mértéke; az RLHF-ben a referencia-modelltől való elsodródás fékje. 6. fejezet.

Logit

A softmax előtti nyers pontszám egy-egy szótárelemre. 4.7.

Logit lens

Diagnosztika: a residual stream köztes állapotának átvezetése az unembeddingen — rétegről rétegre látszik a formálódó jóslat. 8.2.

LayerNorm / RMSNorm

A vektorok skálájának rétegenkénti standardizálása a tanítás stabilitásáért. 4.5.

MLP (feed-forward réteg)

Pozíciónként futó fel-levetítés nemlinearitással; a paraméterek és a tárolt asszociációk zöme itt él. 4.4.

MoE (mixture of experts)

Sok szakértő-MLP, amelyből tokenenként csak néhány aktiválódik — nagy kapacitás, kis per-token számítás. 4.8.

Perplexitás

A loss exponenciálisa: átlagosan hányfelé „tanácstalan” a modell tokenenként. 5.1.

Poliszemantikus neuron

Több, egymással össze nem függő fogalomra aktiválódó neuron — a szuperpozíció tünete. 8.4.

Pretraining (előtanítás)

A nyers képességeket adó, óriáskorpuszos next-token-tanítás. 5. fejezet.

Residual stream

A pozíciónkénti, rétegeken át additívan frissülő vektor — az architektúra kommunikációs gerince. 4.2.

RLHF

Reinforcement learning from human feedback: emberi preferenciákból tanult jutalommodellel vezérelt policy-optimalizálás. 6. fejezet.

RoPE (rotary position embedding)

Pozíciókódolás a query/key-vektorok pozícióarányos elforgatásával; az attention így relatív távolságot érzékel. 4.6.

SAE (sparse autoencoder)

Segédháló, amely az aktivációkat bő, ritka, gyakran monoszemantikus feature-szótárra bontja. 8.5.

Softmax

Pontszámvektor → valószínűség-eloszlás átalakítás exponenciálissal és normálással. 4.7.

Szuperpozíció

Több jellemző tárolása, mint ahány dimenzió van — átfedő, közel merőleges irányokban, a ritkaság kihasználásával. 8.4.

SFT (supervised fine-tuning)

Felügyelt finomhangolás minta-párbeszédeken; az asszisztens-viselkedés formájának megtanítása. 6. fejezet.

Temperature

Mintavételi paraméter: a logitok osztója, az eloszlás élesítése/lapítása. 7. fejezet.

Token

A szöveg atomi egysége a modell számára — jellemzően szórész (BPE-darab). 2. fejezet.

Transzformer

Attention- és MLP-blokkok residual streamre épülő, párhuzamosan tanítható architektúrája. 4. fejezet.

Unembedding

A végső streamvektort a szótár logitjaira vetítő mátrix. 4.7.

Irodalom — a kánon, olvasási sorrendben

Szakmai ellenőrzés · 2026. szeptember 19. (v1.1.1). Az ellenőrzés a 12 tanulási állomásra, a 60 kvízkérdésre, a végigszámolt példákra és a 14 interaktív laborra terjedt ki. A javítások és az eredeti források az ellenőrzési jegyzőkönyvben követhetők. A játékábrák nem valódi LLM-mérések; ez az átnézés nem független tudományos lektorálás.

A lista szándékosan rövid: a terület alapszövegei, nagyjából a jelen anyag fejezeteinek sorrendjében. A hivatkozott alapművek szabadon elérhetők; a közvetlenül linkelt címek az eredeti forráshoz vezetnek.

1. Vaswani et al. (2017): Attention Is All You Need — az eredeti transzformer-cikk. (4. fejezet)
2. Radford et al. (2019): Language Models are Unsupervised Multitask Learners (GPT-2) és Brown et al. (2020): Language Models are Few-Shot Learners (GPT-3) — a skálázás és az in-context learning felfedezése. (1., 9. fejezet)
3. Sennrich et al. (2016): Neural Machine Translation of Rare Words with Subword Units — a BPE bevezetése az NLP-be. (2. fejezet)
4. SentencePiece: hivatalos dokumentáció — a BPE- és unigram-tokenizálás implementációja és tanítása. (2. fejezet)
5. Rumelhart, Hinton & Williams (1986): Learning representations by back-propagating errors — a backprop klasszikusa; modern kiegészítésként Karpathy: Neural Networks: Zero to Hero videósorozata a kézzel épített autogradtól a GPT-ig. (5. fejezet)
6. Kingma & Ba (2015): Adam és Loshchilov & Hutter (2019): Decoupled Weight Decay Regularization (AdamW). (5.4)
7. Kaplan et al. (2020): Scaling Laws for Neural Language Models és Hoffmann et al. (2022): Training Compute-Optimal Large Language Models (Chinchilla). (5.6)
8. Su et al. (2021): RoFormer — a RoPE. (4.6)
9. Ouyang et al. (2022): Training language models to follow instructions with human feedback (InstructGPT) — az RLHF-recept. (6. fejezet)
10. Bai et al. (2022): Constitutional AI: Harmlessness from AI Feedback. (6. fejezet)
11. Rafailov et al. (2023): Direct Preference Optimization. (6. fejezet)
12. Dao et al. (2022): FlashAttention és Kwon et al. (2023): Efficient Memory Management for LLM Serving with PagedAttention (vLLM). (7. fejezet)
13. Leviathan et al. (2023): Fast Inference from Transformers via Speculative Decoding. (7. fejezet)
14. Elhage et al. (2021): A Mathematical Framework for Transformer Circuits — a residual stream / QK–OV formalizmus. (8.2)
15. Olsson et al. (2022): In-context Learning and Induction Heads. (8.3)
16. Elhage et al. (2022): Toy Models of Superposition. (8.4)
17. Li et al. (2023): Emergent World Representations: Exploring a Sequence Model Trained on a Synthetic Task és Gurnee & Tegmark (2024): Language Models Represent Space and Time — belső „világ”-reprezentációk vizsgálata. (1. fejezet)
18. Olshausen & Field (1996): Emergence of simple-cell receptive field properties by learning a sparse code for natural images — a ritka kódolás klasszikusa, az SAE-k gondolati őse. (8.5)
19. Bricken et al. (2023): Towards Monosemanticity és Templeton et al. (2024): Scaling Monosemanticity — SAE-k kis és frontier-méretben. (8.5)
20. Lindsey et al. (2025): On the Biology of a Large Language Model — attribúciós gráfok, esettanulmányok (tervezés, fejszámolás, hűtlen CoT). (8.6)
21. Schaeffer et al. (2023): Are Emergent Abilities of Large Language Models a Mirage? — az emergencia-vita. (5.6)
22. Berglund et al. (2023): The Reversal Curse. (9. fejezet)
23. Greenblatt et al. (2024): Alignment Faking in Large Language Models. (6. fejezet)

Ez az anyag oktatási céllal készült. A szakmai tartalom a terület 2026. júliusi állapotát tükrözi; a kiadás utolsó frissítése 2026. szeptember 27. — a kettő közti különbség a változásnaplóban olvasható. A számszerű példák (méretek, arányok) tipikus nagyságrendeket illusztrálnak, nem konkrét termékek specifikációit. Az ábrák sematikusak. Hibajelzést, kiegészítési ötletet szívesen fogadok: csaplar.d@gmail.com. ◆

Változásnapló

Ez az anyag gyorsan mozgó területről szól. Az alábbi lista fordított időrendben mutatja, mi változott — így látszik, mikori állapotot olvasol.

v1.2.0 — 2026. szeptember 27.

Közös arculat az AI-tananyagokkal, alapból sötét mód. Szakmai pontosítások egy külső áttekintés alapján: a tananyag hatóköre (autoregresszív transzformerek), a generálási kör és a gyorsítótár összhangja, a világmodellezés és a szuperpozíció hatóköre (hipotézisként, játékmodell és valódi modell elkülönítve), az induction-ábra felirata; nyelvi javítások; közvetlen linkek az irodalomjegyzékben.

2026. szeptember 19. — Elnevezések

Az interaktív példák egységes neve „Interaktív kísérletek” lett a menüben, a hivatkozásokban és a példák felirataiban.

v1.1.3 — 2026. szeptember 19.

Sorrendtől független kvízmagyarázatok; rokonsági, SAE-, Adam-, memória- és emergenciakérdések pontosítása; kezdőbarátabb megfogalmazás. Javított nyelvi build, új regressziós tesztekkel. A mentett haladás változatlan.

v1.1.2 — 2026. szeptember 19.

Kvízek: jelentősen csökkent a válaszhosszból adódó segítség; a magyarázatok ismét elmondják, miért jó a helyes válasz és miért csábító a rossz. A tanulási elemek nyelvenként külön épülnek, így az angol kiadásba nem kerül magyar szöveg, és fordítva. Új megosztókártya. A haladásod megmarad.

v1.1.1 — 2026. szeptember 19.

Szakmai felülvizsgálat: attention- és MLP-képletek, bfloat16, skálázási törvények, spekulatív dekódolás, KV-cache és kalibráció javítása; 28 kvízkérdés pontosítása. Új, képletből számolt skálázási ábra. A javításokat és az eredeti forrásokat az ellenőrzési jegyzőkönyv sorolja fel. A haladásod megmarad.

v1.1 — 2026. szeptember 19.

Tizennégy új interaktív műhely; végigszámolt alapozó példák; tizenkét hetes gyakorlási útvonal helyi feladatlistával; szabad és vezetett olvasás; külön elnevezés a magyarázati mélységnek és a haladási állomásoknak; szakmai pontosítások és kiegyensúlyozott bevezető kvízkérdések. Mindkét nyelvi változat önállóan, offline is működik.

v1.0 — 2026. augusztus 30.

Első nyilvános kiadás. A tizenkét fejezet szintalapú tanulórendszerré alakítva: fejezetenként ötkérdéses szintzáró kvíz, 4/5-ös átmenőküszöbbel, korlátlan újrapróbálkozással; a még nem teljesített fejezetek zárolva. A haladás a böngésző helyi tárolójában marad, szerverre semmi nem kerül. Világos és sötét mód külön tervezett palettával.