Logický omyl zovšeobecňovania fiktívnej indície

Preklad anglického článku "The Logical Fallacy of Generalization from Fictional Evidence". Autor: Eliezer Yudkowsky

Keď sa pokúšam o úvod do problematiky vyspelej UI, čo je prvá vec, ktorú počujem vo viac než polovici prípadov?

„Aha, myslíš ako vo filme Terminátor / Matrix / Asimovovi roboti!“

Odpovedám: „No, nie presne tak. Snažím sa vyhnúť logickému omylu zovšeobecňovania fiktívnej indície.“

Niektorí to pochopia hneď a zasmejú sa. Iní bránia svoje použitie daného príkladu a nesúhlasia, že je to omyl.

Čo je zlé na používaní filmov alebo románov ako východiskových bodov diskusie? Nikto predsa netvrdí, že je to pravda. Kde je tam lož, kde je racionalistický hriech? Science fiction predstavuje autorov pokus o vizualizáciu budúcnosti; prečo nevyužiť myslenie, ktoré už za nás urobil niekto iný, namiesto začínania od nuly?

Nie každý chybný krok v presnom tanci rozumnosti spočíva vo vyslovenej viere v nepravdu; existujú aj jemnejšie spôsoby, ako sa mýliť.

Po prvé, zbavme sa predstavy, že science fiction predstavuje plnohodnotný rozumný pokus o predpovedanie budúcnosti. Ešte aj tí najusilovnejší spisovatelia science fiction sú v prvom rade rozprávačmi; požiadavky na príbeh nie sú rovnaké ako požiadavky na predpoveď. Ako poukázal Nick Bostrom:

„Kedy ste naposledy videli film o tom, ako ľudstvo zrazu vyhynulo (bez varovania, a bez nahradenia nejakou inou civilizáciou)? Aj keby takýto scenár bol omnoho pravdepodobnejší než scenár, kde ľudskí hrdinovia úspešne odrazia inváziu príšer alebo robotických vojakov, nebola by to veľká zábava sledovať.“

Vo fikcii teda existujú konkrétne skreslenia. Ale pokúšať sa opraviť tieto konkrétne skreslenia nestačí. Príbeh nikdy nie je rozumným pokusom o analýzu, ani u tých najusilovnejších spisovateľov science fiction, pretože príbehy nepoužívajú pravdepodobnostné distribúcie. Ako ilustráciu uvediem:

Bob Merkelthud sa obozretne prešmykol cez dvere mimozemskej kozmickej lode, obzerajúc sa doprava a potom doľava (alebo doľava a potom doprava), či tam zostala niektorá z obávaných Vesmírnych Príšer. Po jeho boku bola jediná zbraň, ktorá proti Vesmírnym Príšerám účinkovala: s pravdepodobnosťou 30% Vesmírny Meč ukutý z čistého titanu, s pravdepodobnosťou 20% obyčajný železný sochor, s pravdepodobnosťou 45% lesklý čierny disk nájdený v dymiacich ruinách Stonehenge, pravdepodobnosť 5% je rozdelená na priveľa drobných možností, ktoré tu nebudeme menovať.

Merkelthud (aj keď je značná šanca, že tam namiesto neho bola Susan Wifflefoofer) urobil dva kroky dopredu alebo jeden krok dozadu, keď ohromný rev preťal ticho čiernej prechodovej komory! Alebo tiché bzučanie v bielej prechodovej komore. Hoci Amfer a Woofi (1997) tvrdia, že v tomto bode bol Merkelthud zožratý, Spacklebackle (2003) upozorňuje na to, že...

Postavy môžu byť nevedomé, ale samotný autor nemôže povedať čarovné slovo: „neviem“. Hlavný hrdina musí prejsť budúcnosťou po jednej čiare, plnej podrobností, ktoré dávajú príbehu telo, od Wifflefooferovej primerane futuristických postojov voči feminizmu, až po farbu jej náušníc.

Potom sú všetky tieto zbytočné detaily a pochybné predpoklady zabalené a označené krátkym názvom, vytvárajúc ilúziu jedného balíka.

Pri problémoch s veľkým priestorom odpovedí, najťažšie nie je overiť správnosť odpovede, ale jednoducho ju vôbec v priestore odpovedí nájsť. Ak niekto začne otázkou, či nás UI uloží alebo neuloží do puzdier ako vo filme „Matrix“, skáče tým na 100-bitový predpoklad, bez zodpovedajúcich 98 bitov indície potrebných na nájdenie ho v priestore odpovedí s možnosťou hodnou explicitného zváženia. Po získaní prvých 98 bitov indície by už stačilo len o pár bitov viac, aby sme túto možnosť povýšili na takmer istotu, čo vám hovorí niečo o čom, kde sa robí väčšina danej práce.

Tento „úvodný“ krok nájdenia možností hodných explicitného zváženia zahŕňa kroky ako: Brať do úvahy čo vieš a čo nevieš, čo vieš a čo nevieš predpovedať, vynakladať vedomé úsilie vyhnúť sa skresleniu absurdity a rozšíriť intervaly istoty, zvážiť ktoré otázky sú tie dôležité, pokúšať sa zohľadniť možné Čierne Labute a myslieť na (dovtedajšie) neznáme neznáme veci. Skočiť na „Matrix: áno alebo nie?“ toto všetko preskakuje.

Každý profesionálny vyjednávač vie, že ovládať pojmy diskusie je veľmi blízko k ovládaniu výsledku diskusie. Ak začnete myslením na Matrix, budete myslieť na pochodujúce armády robotov, ktoré porazia ľudí po dlhom boji... a nie na superinteligenciu, ktorá luskne nanotechnologickými prstami. Sústredíte sa na súboj „my proti nim“, nasmerujete pozornosť na otázky ako: „kto vyhrá?“ a „kto by mal vyhrať?“ a „bude UI naozaj taká?“. Vznikne všeobecná atmosféra zábavy: „Aká je tvoja úžasná predstava budúcnosti?“

A v prázdnote sa stratia: úvahy o viacerých možných dizajnoch mysle, ktoré by „umelá inteligencia“ mohla implementovať; závislosť budúcnosti od jej počiatočných podmienok; sila nadľudskej inteligencie a argument pre jej nepredvídateľnosť; seriózny pohľad na celú vec a snaha niečo s tým urobiť.

Keby sa nejaký zákerný kazič diskusií rozhodol, že jeho cieľom najviac vyhovuje, keď bude nútiť diskutérov, aby začali vyvracaním Terminátora, bol by v takomto posunutí debaty úspešný. Pri debate o kontrole zbraní rečník NRA nechce byť uvedený ako „fanatický strieľač“, ani oponent zbraní nechce byť uvedený ako „advokát ozbrojenia obetí“. Prečo by ste vy mali dovoliť rovnaké skreslenie rámca od hollywoodskych scenáristov, hoci len náhodne?

Novinári mi nehovoria: „Budúcnosť bude ako film 2001“. Ale pýtajú sa: „Bude budúcnosť ako film 2001, alebo ako film U.I.?“ To je asi rovnaký problém rámca ako keby sa pýtali: „Mali by sme okresať dávky pre postihnutých veteránov, alebo zvýšiť dane bohatým?“

V pravekom prostredí neexistovali kiná; čo ste videli na vlastné oči, to bola pravda. Krátky pohľad na jedno slovo nás dokáže primovať a urobiť kompatibilné myšlienky dostupnejšie, s dokázateľným silným vplyvom na odhady pravdepodobnosti. Koľko zmätku si myslíte, že vo vašom úsudku napácha dvojhodinový film? Bude dosť ťažké odstrániť tieto škody pomocou úmyselného sústredenia – načo si teda pozývať upíra do domu? V šachu alebo v go, každý premárnený ťah je strata; v rozumnosti, každý vplyv, ktorý nie je indícia, je (v priemere) entropia.

Darí sa filmovým divákom neveriť tomu, čo vidia? Pokiaľ viem, málo filmových divákov sa správa ako keby priamo pozorovali budúcnosť Zeme. Ľudia, ktorí videli filmy Terminátor, sa neschovávali v jadrových úkrytoch 29. augusta 1997. Ale tí, čo sa dopúšťajú tohto omylu, napohľad konajú ako keby videli udalosti filmu odohrať sa na nejakej inej planéte; nie na Zemi, ale na nejakom mieste podobnom Zemi.

Poviete: „Predstavme si, že postavíme veľmi múdru UI,“ a oni povedia: „Ale neviedlo toto k jadrovej vojne vo filme Terminátor?“ Pokiaľ viem, je to rovnaké uvažovanie, vrátane tónu hlasu, ako keby niekto povedal: „Ale neviedlo toto k jadrovej vojne na Alpha Centauri?“ alebo „Neviedlo toto k pádu talianskeho mestského štátu Piccolo v štrnástom storočí?“ Filmu neveríme, ale je dostupný. Neberieme ho ako proroctvo, ale ako ilustračný historický príklad. Bude sa história opakovať? Ktovie?

V nedávnej diskusii o Singularite niekto spomenul, že Vinge si zrejme nemyslí, že rozhrania medzi mozgom a počítačom môžu výrazne zvýšiť inteligenciu, a spomenul Marooned in Realtime a Tunça Blumenthala, ktorý bol najskúsenejší cestovateľ, ale nevyzeral až taký mocný. Rozhorčene som odpovedal: „Ale Tunç stratil väčšinu svojho hárdvéru! Bol zmrzačený!“ A potom urobil myšlienkovú skúšku správnosti a pomyslel som si: Čo do čerta to trepem.

Nemali by sme o tejto téme argumentovať podľa nej samotnej, bez ohľadu na to, ako Vinge vykreslil svoje postavy? Tunç Blumenthal nie je „zmrzačený“, on je vymyslený. Mohol som povedať: „Vinge sa rozhodol vykresliť Tunça ako zmrzačeného z dôvodov, ktoré môžu ale nemusia súvisieť s jeho osobnými predpoveďami“ a to by dalo jeho autorskému hlasu primeranú váhu indície. Nemôže povedať: „Tunç bol zmrzačený.“ Ohľadom Tunça Blumenthala neexistuje žiadne bol.

Úmyselne som navrchu tohto článku ponechal chybu, ktorú som urobil pri svojom prvom náčrte: „Iní bránia svoje použitie daného príkladu a nesúhlasia, že je to omyl.“ Ale Matrix nie je príklad!

Blízky omyl je logický klam argumentovania imaginárnou indíciou: „Pozri, keby si išiel na koniec dúhy, našiel by si tam hrniec zlata – čo dokazuje, že mám pravdu!“ (Aktualizovanie na základe indície, ktorá bola predpovedaná ale nie pozorovaná je matematický zrkadlový obraz skreslenia spätného pohľadu.)

Mozog má veľa mechanizmov na zovšeobecňovanie na základe pozorovania, nielen heuristiku dostupnosti. Vidíte tri zebry, vytvoríte si kategóriu „zebra“ a táto kategória predstavuje automatický vnemový úsudok. Tvory konského tvaru s bielymi a čiernymi pruhmi sa klasifikujú ako „zebry“, preto sú rýchle a dobré na jedenie; očakávame, že budú podobné zvyšným pozorovaným zebrám.

Ľudia vidia (na obrazovke) troch Borgov, ich mozgy si automaticky vytvoria kategóriu „Borgovia“ a automaticky usudzujú, že ľudia s rozhraním medzi mozgom a počítačom budú z množiny „Borgovia“ a budú podobní pozorovaným Borgom: chladní, bezcitní, oblečení v čiernej koži, kráčajúci ťažkými mechanickými krokmi. Novinári neveria, že budúcnosť bude obsahovať Borgov – neveria, že Star Trek je proroctvo. Ale keď niekto hovorí o rozhraniach medzi mozgom a počítačom, myslia si: „Bude budúcnosť obsahovať Borgov?“ Nie: „Ako viem, že počítačom sprostredkovaná telepatia urobí ľudí menej milými?“ Nie: „Nikdy som nevidel žiadneho Borga a takisto ani nikto iný.“ Nie: „Vytváram si rasový predsudok na základe doslova nulovej skúsenosti.“

Ako povedal George Orwell o klišé:

„Predovšetkým treba nechať význam, nech si vyberie slovo, a nie naopak... Keď myslíte na niečo abstraktné, máte väčší sklon začať od slov, a pokiaľ nevynaložíte vedomé úsilie, aby ste tomu zabránili, existujúci dialekt vtrhne a vykoná svoje dielo za vás, na úkor zahmlenia alebo priam zmenenia toho, čo ste mysleli.“

Odhadujem, že najškodlivejšia stránka používania predstavivosti iných autorov je to, že odučí ľudí používať svoju vlastnú. Ako povedal Robert Pirsig:

„Bola zablokovaná, pretože sa pokúšala písomne zopakovať veci, ktoré už počula, tak ako sa on počas prvého dňa pokúšal zopakovať veci, ktoré sa už rozhodol povedať. Nedokázala vymyslieť nič, čo by sa dalo napísať o Bozemane, pretože si nedokázala spomenúť na nič počuté, čo by stálo za zopakovanie. Zvláštne si neuvedomovala, že by sa mohla pozrieť a vidieť čerstvo sama za seba, a potom písať, bez sledovania v prvom rade, čo už bolo povedané.“

Zapamätané fikcie vtrhnú a urobia vaše myslenie za vás; sú náhradou videnia – najnebezpečnejšia zo všetkých skratiek.


Z diskusie pod pôvodným článkom:

Eliezer Yudkowsky:

Ľudia, ktorí nečítajú science fiction sú zvyčajne extrémne náchylní na skreslenie absurdity, čiže predpokladajú, že budúcnosť je to isté ako prítomnosť, len ľudia majú strieborné obleky a nosia jetpacky. Keďže nečítali 100 rôznych scenárov budúcnosti, predpokladajú, že strieborné obleky sú jediný možný scenár. Alternatívou k čítaniu science fiction je často spontánne znovuvynájdenie naozaj zlej science fiction.

viliam@bur.sk