Jak pracujeme
Jak poznáme, že výsledek platí
V měření se snadno objeví efekt, který ve skutečnosti neexistuje. Náš postup je postavený tak, abychom takové případy u sebe odhalili sami.
- Každý výsledek srovnáváme s náhodou
- Vedle každého výsledku měříme totéž znovu na uměle promíchaných datech, kde je struktura, o kterou se tvrzení opírá, rozbitá. Pokud i tato promíchaná verze vyjde podobně, tvrzení neplatí. Výsledek zaznamenáme v obou případech.
- Prahy se stanovují před měřením
- Kritéria, podle kterých výsledek posoudíme jako úspěch nebo neúspěch, zapisujeme ještě před spuštěním experimentu, a to natolik přesně, že se dají jednoznačně vyhodnotit jako ano, nebo ne. Verdikt napsaný až po pohledu na data není verdikt.
- Opravy zůstávají vidět
- Když pozdější replikace obrátí dřívější závěr, oprava zůstává vidět vedle originálu, místo aby ho nahradila.
- Snadno měřitelné není totéž co důležité
- Když se něco těžko měří přímo, je lákavé měřit místo toho snadno dostupnou náhradu, například o kolik se model zmenšil namísto toho, jak dobře si po zmenšení stále pamatuje. Taková náhrada ale často měří jen sama sebe, ne to, na čem doopravdy záleží. Na tento omyl jsme narazili opakovaně, pokaždé s hotovým závěrem, který by jinak prošel. Takový závěr pak stáhneme a měříme přímo to, na čem záleží. Oprava zůstane vidět vedle původního tvrzení.
- Platí jen koncový dopad
- Řada dílčích metrik, které se dají spočítat po cestě, vypadá přesvědčivě, ale s tím, co nás skutečně zajímá, souviset nemusí. Rozhoduje jen to, co změna udělá s výsledným chováním celého modelu, ověřené na datech, která model při vývoji nikdy neviděl.