Sdílené funkční báze napříč vrstvami transformeru

Motivace

Otázka zněla, zda existuje matematický fígl pro snížení paměťových nároků jazykových modelů. Vrstvy transformeru provádějí strukturně podobné operace; pokud by sdílely i parametrickou strukturu, stačilo by uložit společný základ jednou a per-layer jen levný popis odchylky. Krajní forma této úvahy je analogie s Rubikovou kostkou: jedna kanonická matice plus krátká sekvence levných transformací (permutace, škálování, rotace) na vrstvu.

Testovali jsme to na Q projekcích GPT-2 small (12 vrstev, d = 768), později na všech typech matic a na GPT-2 medium, s výpočtem na jedné RTX 3090.

Řetěz devíti testů

Každý test byl navržen tak, aby levně vyvrátil nebo zúžil hypotézu předchozího, vždy s nulovou kontrolou (náhodná matice nebo náhodný podprostor podrobené identické proceduře) a s předem stanovenými rozhodovacími prahy.

Zarovnání celých matic. Každou Q matici zarovnáváme na referenční vrstvu stále silnějšími transformacemi: permutace řádků a sloupců (Maďarský algoritmus), diagonální škálování, jednostranná ortogonální rotace (Procrustes), oboustranné rotace. Metrikou je zbytková relativní energie.
Sdílené váhové podprostory. Pro každou vrstvu top-k singulární podprostory (k = d/4); měříme energii zachycenou vlastní bází vrstvy (strop), společnou energeticky váženou bází (kandidát) a náhodnou bází (dno). Skóre je (shared − null)/(own − null).
Funkční prostor. Totéž, ale na maticích M_l = W_l C_l^{1/2}, kde C_l je kovariance vstupních aktivací vrstvy odhadnutá z 32 tisíc kalibračních tokenů — směry vážené tím, jak je reálné vstupy skutečně budí.
End-to-end rekonstrukce. Skutečná komprese: sdílené bílení (průměrná kovariance), sdílená báze U, V, per-layer jádro k × k, rekonstrukce W = U A Vᵀ S⁺, vložení do modelu, perplexita na WikiText-2 proti baseline per-layer bílené SVD.
Dotrénování jader. Q projekce nahrazeny faktorizací se zmrazenými bázemi; trénují se pouze jádra A_l (442 tisíc parametrů) běžným jazykovým lossem.
Kontrola za stejný rozpočet. Per-layer faktorizace B_l·C_l s rankem 40 (stejných ~737 tisíc uložených parametrů), identický tréninkový protokol — rozhoduje, zda sdílení přidává hodnotu, nebo jde jen o omezení parametrů.
Plný model a atribuce. Rozšíření na šest typů matic (Q, K, V, O, MLP-in, MLP-out), každý s vlastní sdílenou bází; varianty attention-only, MLP-only, vše.
Škálování. Attention komprese GPT-2 medium (24 vrstev, d = 1024) při stejném relativním ranku k = d/4.
Hybrid s residuálem. Sdílená báze plus per-layer nízkoranková korekce W_l ≈ U A_l Vᵀ S⁺ + B_l C_l s rankem residuálu r = 32, inicializovaným z top-r SVD chyby báze — tedy od začátku mířícím na to, co báze nezachytila.

Výsledky

#	Test	Klíčové číslo	Verdikt
1	Zarovnání matic	rot2: 0,693 vs null 0,744; levné tahy 0,970 vs 0,980	padá
2	Váhové podprostory	skóre 0,27 (k=d/4); párové překryvy = náhoda	padá
3	Funkční podprostory	skóre 0,70–0,86; efektivní ranky 300 → 14–121	žije
4	Analytická rekonstrukce	shared 9,6×: ppl 408 (orig 31,6); svd 2×: 35,8	padá
5	Dotrénování jader	ppl 41,7 ± 0,6 (3 seedy), obnoveno ~97 %	žije
6	Stejný rozpočet	shared 41,7 vs per-layer 46,6; rozmezí se neprotínají	sdílení vyhrává
7	Plný model	attn 9,6×: 77,7; MLP 6,6×: 128,1 (init 60 748!); vše 7,4×: 186,6	attention ano, MLP ne
8	GPT-2 medium	attn 12×: 66,6 (orig 22,3); Δppl +44 vs +46 u small	neutrální
9	Hybrid s residuálem r=32	MLP 4,9×: 107 (vs 128 při 6,6×); vše 5,1×: 157	zlepšení ∝ rozpočtu, ne záchrana

Podrobnosti, které tabulka nezachytí. V testu 1 udělalo téměř celý pokles u „levných tahů“ pouhé škálování normy; žádná skutečná struktura se nenašla, jen slabý gradient lokality (sousední vrstvy si podobnější než vzdálené). Test 3 zároveň odhalil, že Q matice vypadají ve vahách vysokoranicky, ale reálné vstupy budí jen zlomek směrů — vrstva 2 nese 90 % výstupní energie ve 14 dimenzích ze 768. Test 4 ukázal, že energie není funkce: 96 % zachycené energie stálo +4 ppl, ale 78 % stálo +376 — vztah je silně nelineární, patrně kvůli exponenciálnímu zesílení chyb skóre v softmaxu pozornosti. Test 6 ukázal i optimalizační výhodu sdílené báze mimo samotný poměr komprese: trénink jader mezi ortonormálními bázemi konvergoval hladce, zatímco trénink volných faktorů B·C trpěl škálovou degenerací a nestabilitami.

Tři hlavní zjištění

Sdílení mezi vrstvami existuje, ale jen ve funkčním prostoru a jen skrze optimalizaci. Vrstvy nesdílejí váhy ani váhové podprostory (testy 1–2: padá). Sdílejí funkční strukturu — po převážení směrů kovariancí reálných vstupních aktivací (test 3: skóre 0,70–0,86) —, kterou analytická projekce nenajde (test 4: rekonstrukce srazí model na ppl 408), ale gradientní hledání uvnitř zmrazené sdílené báze ano (test 5: ppl 41,7, obnoveno ~97 % ztráty). Za stejný paměťový rozpočet nese sdílená báze prokazatelně víc funkce než nezávislé faktorizace (test 6: 41,7 vs 46,6 ppl, tři seedy, neprotínající se rozmezí).

Attention se sdílet dá, MLP ne — a nejde o artefakt metody. Komprese attention matic při 9,6× je po dotrénování obnovitelná do použitelného pásma (ppl 77,7); komprese MLP model před dotrénováním zcela zničí (ppl 60 748) a ani trénink ji nespraví (128 při mírnějších 6,6×, test 7). Hybridní test s per-layer residuálem (test 9) selhání zpřesnil: residuál ranku 32 pokryl jen 12–17 % chybové energie báze u MLP proti 23–33 % u attention — individualita MLP vrstev je vysokoranková a distribuovaná, takže ji malý residuál nezachytí. To nezávislou, kvantitativní metodou podporuje obraz z interpretační literatury: attention implementuje generické, mezi vrstvami přenosné operace, MLP funguje jako obsahově specifická paměť.

Váhy nesou podpis role vůči reziduálnímu proudu — ale toto zjištění neobstálo mimo rodinu GPT-2. Na GPT-2 small a medium klasifikátor trénovaný jen na attention maticích rozpoznal zapisovatele (O, MLP-out) mezi MLP maticemi s přesností 0,875 (permutační p = 0,027) a obráceně 0,938. Pozdější replikace na jedenácti modelech ve čtyřech architektonických rodinách ale ukázala, že tvrzení obecně neplatí: přesnost přenosového klasifikátoru je u ostatních modelů na úrovni většinové třídy nebo pod ní. Podpis nese především outlierovost vah, která je silně architektonicky závislá, takže mizí tam, kde jsou outliery slabší. Ponecháváme to jako opravu dřívějšího závěru — tvrzení platí jen v rodině GPT-2, ne obecně napříč transformery.

Kontext v širším projektu

Sdílená funkční báze byla nejsilnějším pozitivním signálem z devíti testovaných strukturálních kompresních přístupů v projektu (viz i souhrnnou zprávu o kompresi KV cache), přesto ve smyslu opakovatelné škálovatelnosti neobstála ani ona: funguje na attention maticích, ale ne na MLP, a nedá se tedy nasadit na celý model bez dalších úprav. Ukazuje, že strukturu sdílet lze, ale ne dost univerzálně na to, aby nahradila jednodušší přístupy jako kvantizace vah nebo slučování vrstev, které se v projektu ukázaly jako spolehlivější a snáz škálovatelné.

Limity

Hlavní měření vznikla na GPT-2 small, s jediným ověřovacím během na GPT-2 medium a jen pro attention komprese. Kalibrace, trénink i evaluace probíhaly na jediném datasetu (WikiText-2), takže část obnovené kvality může být doménová adaptace — mimodoménová evaluace nebyla provedena. Dotrénování bylo krátké (3–8 tisíc kroků), takže uvedená finální čísla jsou spíš horní odhady dosažitelné kvality. Komprimované modely jsme neměřili na downstream úlohách, jen přes perplexitu, a rychlost inference faktorizované formy jsme neměřili vůbec. Testy 4–9 běžely na syrových Q/K maticích bez ošetření kalibrační volnosti součinu W_qᵀW_k (skóre pozornosti závisí jen na tomto součinu, takže syrové matice jsou kalibračně nejednoznačné) — část naměřené individuality vrstev v testech 1–3 může být tímto neukotveným stupněm volnosti.