Výzkum umělé inteligence a strojového učení
Hatteria Labs zkoumá, jak jazykové modely fungují zevnitř. Zveřejňujeme, co jsme zjistili — včetně výsledků, které nevyšly — a na tom, co obstojí, stavíme produkty.
Empirická práce na vnitřní struktuře modelů: komprese paměti, struktura vah, kvantizace, hybridní architektury. Každé tvrzení má vedle sebe nulovou kontrolu, kterou musí porazit.
Metodiku, prahy i negativní výsledky, otevřeně. Zamítnutá hypotéza je zjištění — a leží v ní většina hodnoty téhle práce.
Tři produkty v provozu, které staví a provozují titíž dva lidé, kteří dělají výzkum. Co se naučíme, jde do softwaru, za který lidé platí.
Výzkum
Současná linie práce se ptá, kolik z transformeru je nadbytečných — a odpovídá tím, že se to pokusí odebrat a změří, co se rozbije.
KV cache je při dlouhém kontextu jedinou bezbolestnou úsporou paměti, kterou projekt našel. Sweep přes bity, granularitu a poměr K/V na GPT-2 ukázal, že klíče potřebují víc bitů než hodnoty. Přenos na Qwen3.5 odhalil metodickou past v místě měření a ukázal, že asymetrie je regimová, ne univerzální — pod ~4 efektivními bity vyhrávají klíče výrazně, nad ~5 je volba doménová.
GPT-2 small · Qwen3.5
Devítidílný řetěz testů zkoumal, zda vrstvy transformeru GPT-2 sdílejí dost parametrické struktury na to, aby šlo uložit jeden společný základ a per-layer jen levný popis odchylky. Sdílení ve váhách se nepotvrdilo, ve funkčním prostoru vstupních aktivací ano — ale jen skrze dotrénování, ne analytickou projekci. Attention matice se kompresi poddávají (9,6× za obnovitelnou cenu), MLP vrstvy jí strukturálně odolávají.
GPT-2 small · GPT-2 medium
Produkty
Každý produkt běží, platí si ho vlastní uživatelé a provozujeme ho na vlastní infrastruktuře. Financují výzkum a drží ho při zemi v tom, co funguje i mimo benchmark.
torumata.com
Audit pro éru AI vyhledávání. Zjistíte, jak jazykové modely váš web opravdu čtou.
Pro koho: Majitelé webů a marketingové týmy, kterým se návštěvnost přesouvá z výsledků vyhledávání do odpovědí chatbotů.
aidj.cloud
DJ, který řídí vaši párty — na autopilota.
Pro koho: Svatby, firemní večírky, bary a kluby, oslavy a školní akce — všude, kde na hudbě záleží a nikdo nechce celý večer hlídat playlist.
slidify.cloud
Fotky vašich hostů, živě na plátně.
Pro koho: Pořadatelé svateb, oslav a firemních akcí, kteří chtějí fotky z večera posbírat rovnou, ne je pak měsíc shánět.
Jak pracujeme
Většina toho, co ve strojovém učení vypadá jako výsledek, je artefakt měření. Náš postup je postavený na tom, abychom ty svoje odhalili.
Vedle vlastních produktů bereme malý počet výzkumných a inženýrských zakázek — většinou tam, kde je potřeba nejdřív pořádně změřit otázku, než na odpovědi někdo začne stavět.
Ozvěte se