Vzdorujem týmto údajom!

Preklad anglického článku "I Defy the Data!". Autor: Eliezer Yudkowsky

Jednou z veľkých slabín Vedy je pomýlená myšlienka, že ak je pokus v rozpore s prevládajúcou teóriou, mali by sme sa zavrhnúť teóriu namiesto pokusu.

Pokusy sa môžu pokaziť. Môžu byť chybne navrhnuté. Môžu byť úmyselne pokrivené. Môžu byť neúmyselne pokrivené. Môžu byť selektívne oznamované. Najčastejšie, v 1 prípade z 20, môžu byť „štatisticky významné“ čírou náhodou, a takýchto pokusov je habadej.

Nanešťastie má Veda predstavu, že nikdy nemôžete ísť proti poctivo získanému experimentálnemu výsledku. Takže keď niekto získa experimentálny výsledok, ktorý je v rozpore so štandardným modelom, výskumníci majú dilemu ako vyriešiť svoju kognitívnu disonanciu: buď musia okamžite zavrhnúť štandardný model, alebo napadnúť experiment – obviniť výskumníkov z nečestnosti, chybného návrhu, konfliktu záujmov...

Ktosi mi raz dal novú štúdiu o účinkoch prosebnej modlitby (ľudia sa modlili za pacientov, ktorí o tom nevedeli), ktorá ukazovala, že 50% pacientov, za ktorých sa modlili, dosiahlo úspešné oplodnenie in vitro, v porovnaní s 25% v kontrolnej skupine. Toto tvrdenie sa mi páčilo. Malo pekný veľký účinok. S tvrdeniami o zrejme nemožných účinkoch sa pracuje omnoho príjemnejšie než s tvrdeniami o malých nemožných účinkoch, ktoré sú „štatisticky významné“.

Takže som vedelo povedal: „Vzdorujem týmto údajom.“

Moja pôvodná verzia v skutočnosti znela: „Odmietam tieto údaje.“ Povedal som to však priamo, bez ospravedlňovania sa, a s vedomou drzosťou. Ponechávam si svoju teóriu; váš pokus sa mýli.

Ak je experimentálny výsledok v rozpore so Štandardným Modelom, je to dôležitý fakt. Treba to otvorene uznať. Experiment, ktorý spôsobuje, že tradicionalisti chcú zahodiť dané údaje – alebo čo len experiment, ktorý spôsobuje, že tradicionalisti sú voči údajom veľmi skeptickí – by mal mať vysokú prioritu na replikovanie. Experiment hoden vzdorovania by si mal vyžadovať pozornosť!

Nie je však spoločensky prijateľné povedať: „Dočerta s vašou experimentálnou falzifikáciou, ja si ponechávam svoju teóriu.“ Preto treba údajom vzdorovať skryto – ohováraním výskumníkov, prefíkanými narážkami, poukazovaním na kontroverznosť. Údaje treba odmietnuť, vyhovoriť sa, zamiesť ich pod koberec, potichu a potme, pretože nemôžete pripustiť, že vzdorujete údajom. To nie je dobrý spôsob, ako zaostriť pozornosť na nenormálny výsledok. To nie je dobrý spôsob, ako zabezpečiť financovanie pokusov o replikáciu.

Bolo by omnoho lepšie, keby veda mala štandardný postup ako povedať: „Vzdorujem týmto údajom!“ Bolo by jasné a zrozumiteľné, že ide o odvážny čin, a niekto iný v obecenstve by mohol vstať a povedať: „Počkajte chviľku, sú tie údaje naozaj hodné vzdorovania?“ Keby významná osobnosť v odvetví povedala: „Vzdorujem týmto údajom!“, bolo by to dostatočným zdôvodnením v grantových žiadostiach prečo si tento výsledok súrne vyžaduje replikáciu. Vedci by mohli povedať: „Nevyjadrujem sa, čakám na replikáciu,“ namiesto toho, aby museli ihneď zaujať niektorú stranu v ohováracej kontroverzii.

Možno by ste mohli primäť médiá, aby oznámili, že pokus bol „publikovaný, ale vzdorovaný“. Potom by replikácia, alebo neúspešná replikácia, boli novinkou. Replikujúci by mohli byť menovaní v novinách, a negatívny výsledok by mohol byť uverejnený vo významnom časopise. Ak chcete, aby sa robili replikácie, musíte poskytnúť nejakú motiváciu.

Navrhujem aj, aby pri vzdorovaní experimentu musel replikujúci dopredu ohlásiť minimálnu veľkosť účinku, a dosiahnuť významnosť p < 0,01. V extrémnych prípadoch, keď boli takéto tvrdenia vyslovené a vyvrátené už v minulosti, p < 0,001.

Ach, a čo bolo s tou štúdiou o modlitbe? Čoskoro sme sa dopočuli, že bola stiahnutá a že to pravdepodobne bol podvod. Ja som však nepovedal, že to bol podvod. Nešpekuloval som o tom, ako sa mohli získať takéto výsledky. To by bolo odmietanie. Ja som nastavil svoj krk a hrdo, bez výhovoriek som vzdoroval údajom.

Dodatok: Mal by som to napísať explicitne: Môžete vzdorovať údajom z jedného pokusu. Nemôžete vzdorovať údajom z mnohých pokusov. V tom bode sa musíte vzdať teórie alebo odmietnuť údaje – poukázať na chybu návrhu, alebo sa odvolať na ešte väčšie množstvo pokusov, ktoré daný výsledok nereplikovali, alebo obviniť výskumníkov z úmyselného podvodu, atď. Nemali by ste sa však otočiť a začať tvrdiť, že teória a pokus sú v skutočnosti zlučiteľné. Prečo ste na to nemysleli predtým než ste vzdorovali údajom? Vzdorovať údajom znamená uznať, že údaje nie sú zlučiteľné s vašou teóriou; nastavíte tým krk, aby vám bolo ľahšie odseknúť hlavu.

viliam@bur.sk