Signály na potlesk

Preklad anglického článku "Applause Lights". Autor: Eliezer Yudkowsky

Pokračovanie k: Sémantické stopky, V skutočnosti vašu účasť nechceme

Na Summite Singularity 2007 jeden z rečníkov žiadal o demokratický nadnárodný vývoj UI. Pristúpil som teda k mikrofónu a povedal:

Predstavte si, že skupina demokratických republík vytvorí konzorcium na vývoj UI, a že v celom tom procese bude veľa politikárčenia – niektoré záujmové skupiny budú mať mimoriadne veľký vplyv, iné budú odstrčené – inými slovami, výsledok bude vyzerať rovnako ako produkty moderných demokracií. Ako alternatívu si predstavte, že skupina rebelských kockáčov vyvinie UI u seba v pivnici, a prikáže tejto UI aby urobila dotazník všetkých ľudí na celom svete – aby hodila mobil každému, kto nemá – a aby urobila čokoľvek, na čom sa väčšina zhodne. Ktorá z týchto možností je podľa vás „demokratickejšia“, a cítili by ste sa pri niektorej z nich bezpečne?

Chcel som zistiť, či verí v pragmatickú primeranosť demokratického politického procesu, alebo či verí v morálnu správnosť hlasovania. Ale rečník odpovedal:

Ten prvý scenár znie ako komentár redakcie v časopise Reason, a ten druhý znie ako zápletka hollywoodskeho filmu.

Zmätený som sa opýtal:

Aký druh demokratického procesu ste teda mali na mysli?

Rečník odpovedal:

Niečo ako projekt ľudského genómu – to bol medzinárodne sponzorovaný výskumný projekt.

Opýtal som sa:

Ako by rôzne záujmové skupiny riešili svoje konflikty v štruktúre ako bol projekt ľudského genómu?

A rečník povedal:

Neviem.

Táto slovná výmena mi pripomenula citát nejakého diktátora, ktorého sa pýtali, či má niekedy v úmysle posunúť svoj štátik smerom k demokracii:

My veríme, že tu demokratický systém už máme. Niektoré prvky v ňom zatiaľ chýbajú, napríklad možnosť ľudí vyjadriť svoju vôľu.

Podstatou demokracie je konkrétny mechanizmus, ktorý rieši politické konflikty. Keby všetky skupiny uprednostňovali rovnaké pravidlá, nepotrebovali by sme demokraciu – spolupracovali by sme automaticky. Procesom uznášania môže byť priame väčšinové hlasovanie, volení zákonodarcovia, alebo bárs aj UI citlivá na názory voličov, ale musí to byť niečo. Čo to vôbec znamená, žiadať „demokratické“ riešenie, ak nemáme na mysli nejaký mechanizmus rozhodovania konfliktov?

Myslím, že to znamená, že ste povedali slovo „demokracia“ a preto sa čaká, že obecenstvo zatlieska. Nie je to ani tak výrokové tvrdenie, ako ekvivalent signálu „Potlesk“, ktorý oznamuje obecenstvu v štúdiu, kedy má tlieskať.

Tento príklad je zaujímavý iba tým, že som si pomýlil signál na potlesk s návrhom pravidiel, čoho výsledkom bol následný trapas pre všetkých zúčastnených. Väčšina signálov na potlesk je omnoho jasnejšia a dokážete ich odhaliť jednoduchým testov opaku. Napríklad si predstavte, že niekto povie:

Mali by sme zvážiť riziká a príležitosti UI.

Ak urobíte opak tohto tvrdenia, dostanete:

Nemali by sme zvážiť riziká a príležitosti UI.

Keďže tento opak znie nenormálne, pôvodné tvrdenie je pravdepodobne normálne, z čoho vyplýva, že nevyjadruje novú informáciu. Existuje veľa legitímnych dôvodov na povedanie vety, ktorá by mimo kontextu nedávala informáciu. „Mali by sme zvážiť riziká a príležitosti UI“ môže byť úvodom k diskusnej téme; môže zdôrazniť dôležitosť konkrétneho návrhu ako ich zvažovať; môže kritizovať nevyvážený návrh. Odkázať na normálne tvrdenie môže ohraničenému racionalistovi sprostredkovať novú informáciu – samotný odkaz nemusel byť samozrejmý. Ale ak nenasleduje nič konkrétne, táto veta je pravdepodobne signálom na potlesk.

Som v pokušení urobiť raz prednášku, ktorá nebude obsahovať nič iné ako signály na potlesk, a čakať, ako dlho obecenstvu potrvá, než sa začne smiať:

Som tu, aby som vám dnes povedal, že by sme mali zvážiť riziká a príležitosti pokročilej Umelej Inteligencie. Mali by sme sa vyhnúť rizikám a, v rámci možností, realizovať príležitosti. Nemali by sme sa zbytočne vystavovať nebezpečenstvám, ktoré nie sú nevyhnutné. Aby sme dosiahli tieto ciele, musíme plánovať múdro a rozumne. Nemali by sme konať v strachu a panike, ani sa poddávať technofóbii; nemali by sme sa však riadiť ani slepým nadšením. Mali by sme rešpektovať záujmy všetkých strán, ktoré sa podieľajú na Singularite. Musíme sa pokúsiť zabezpečiť, aby pokročilej technológie vyplynuli výhody čo najväčšiemu počtu jednotlivcov, nie iba hŕstke vyvolených. Musíme sa čo najviac pokúsiť vyhnúť možným násilným konfliktom s využitím týchto technológií; a musíme zabrániť jednotlivcom, ktorí by sa chceli zmocniť rozsiahlej ničivej kapacity. Musíme o týchto veciach rozmýšľať vopred, nie až dodatočne, keď už bude príliš neskoro s tým niečo urobiť...


Z diskusie pod pôvodným článkom:

Ray:
Myslím, že si práve objavil podstatu moderného politického prejavu.

Robin Hanson:
Žiaľ, myslím si, že vo väčšine obecenstiev by si nenašiel smiať sa nikoho, ani po celom prejave zloženom iba zo signálov na potlesk.

patrissimo:
Hej, ale koľko by dostal potlesku!

michael vassar:
Som si dosť istý, že mnohí ľudia a organizácie bežne argumentujú, že „by sme NEMALI zvažovať riziká a príležitosti X“. V etike to tvrdia deontologické systémy. V politike, ako prvý príklad mi napadnú environmentalisti, aj keď v posledných rokoch sa podstatne zlepšili. Radikálnych pacifistov ako Gandhi často chválili za nástojenie, že ľudia by nemali zvažovať riziká a príležitosti vojny. Zo širšieho hľadiska, ukazovanie tohto postoja sa mi zdá nevyhnutné pre každého, kto sa pokúša vykresliť, že je mimoriadne „cnostný“ v bežnom chápaní cnosti, prinajmenšom v našej zhruba kresťanskej civilizácii. V skutočnosti si myslím, že by bol dobrý nápad skúsiť prezentovať všetky signály na potlesk, ale myslím si, že už sa to stalo. „Jemné umenie slovnej sebaobrany“ tvrdí v prílohe, že takýto prejav bol napísaný a odprezentovaný na potlesk ohľadom množstva tém. Zdá sa mi však, že prejav, ktorý si navrhoval, bol v skutočnosti schvaľovaním rozumnej množiny meta-pravidiel, ktoré sa vo všeobecnosti nepoužívajú, a preto mal obsah, nebol prázdny, takže neviem, či sa počíta.

viliam@bur.sk