Autonomní řízení II: The trolley dilemma

V minulém dílu jsme rozebrali kontroverzi, která provází testování systémů autonomního řízení v praxi. V tomto dílu se podíváme na dva na jiný problém, který je morálního rázu.

Existuje myšlenkový experiment zvaný tramvajové dilema („trolley dilemma“). V něm se uvažuje, že stojíte u kolejí, které se větví výhybkou. Tramvaj přijíždí po koleji směrem k výhybce a selhaly jí brzdy. Na jedné větvi za výhybkou stojí pět lidí, na druhé jen jeden. Máte možnost ovládat výhybku. Co uděláte? Většina lidí se rozhodne, že jednoho člověka obětuje, aby jich pět zachránila. To ale současně znamená, že jednoho člověka zabije. Je to etické? A co když necháte přejet budoucího génia, který za měsíc vynalezne stroj času, zatímco u druhé koleje právě provádí posledních pět členů spolku AutoMat workshop o městské cyklistice?

Stejný problém pronásleduje i autonomní řízení. „Mozek“ auta dospěje po vyčerpání všech ostatních možností při řešení kritické situace do bodu, kdy se bude muset rozhodnout, zda obětovat sebe a vlastní posádku nebo zachovat je a obětovat jiné účastníky silničního provozu. Jak to bude? Bude se řídit nějakým kodexem, jako například třemi zásadami robotiky podle Isaaca Asimova, nebo se bude řídit užitkem? V tom případě užitkem pro koho?

Tato myšlenková hra má mnoho alternativ a její podoba dotažená do podoby, jak by jí vnímal člověk v pozici autonomního vozidla, je k dispozici na stránkách MIT pod názvem Moral Machine. Hra není moc přehledná (např. chodci někdy přecházejí na červenou, postavy jsou různého věku a sociálního statutu – doktor, babka, lupič…), sledujte obrázky pečlivě nebo si zapněte popisky. Hra umožňuje vidět etiku autonomního vozidla, ale z lidské perspektivy, protože autonomnímu vozidlu bude jedno, zda „vidí“ doktora nebo lupiče, pro něj je to objekt třídy chodec, a zůstane to tak do doby, dokud chodci nebudou mít nějaký transpondér jako letadla.

Moje výsledky jsou zde. Možná se něco o sobě dozvíte. Pro zajímavost, držel jsem se následujících pravidel:

– ignorovat společenskou hodnotu (bez dalšího nelze říct, zda je lupič větší grázl než doktor nebo zda mladý muž bude žít déle než děda, protože má třeba raka v posledním stádiu a brzy umře, zatímco děda celý život jedl bůček a kouřil, takže tady bude do sta let), specificky americký parametr fitness, prostě jsem potenciální užitek těch lidí vůbec nezkoumal. Nemohu přece vědět, zda těhotná žena není třeba matkou budoucího masového vraha.

– zvířátka mají by default smůlu, protože Darwin

– kdo přechází na červenou, má taky smůlu. Semafory chápu jako doporučení, že je aktivní safe mode, kdo safe mód odmítl, má smůlu. Stejně tak pro auto, které má červenou, když mají chodci zelenou.

– nezasahovat do řízení, pokud nemusím, protože zásah do řízení může sám o sobě zvyšovat riziko, tzn. vyhýbací manévr může být neúspěšný natolik, že autonomní vozidlo nejen zahubí svoji posádku, ale také pobije ty objekty, kterým se vyhýbalo.

Dosud se uplatňuje přístup, že automobil má pasivně chránit svoji posádku a pro podstatnou část zákazníků je to významný ukazatel při koupi a počítají hvězdičky a airbagy. Dá se tedy předpokládat, že od autonomně řízeného vozidla bude zákazník požadovat nejen pasivní ochranu, ale i aktivní, protože je jí schopno. No a koupili byste si auto, které je sestrojené s tím, že vás plánovitě zabije ve prospěch jiných účastníků silničního provozu a v tramvajovém dilematu budete tak na druhé koleji?

Pokud se nakonec prosadí utilitární hledisko, pak řešení mají soudruzi z Číny, naši úhlavní přátelé. Chtěji klasifikovat občany podle různých kritérií a přidělovat jim sociální kredit. Pokud se někomu zdá, že se to děje jen v Číně a sem taková zrůdnost nikdy nedojde, tak ho musím zklamat. Když pominu zjevnou fascinaci nejvyšších vládních a ústavních činitelů čínským režimem, narůstající počet a rozsah nejrůznějších registrů dlužníků, přestupků, účtenek a podobně v podstatě vytváří datovou základnu pro totéž. Autonomnímu řízení by se tak dilema usnadnilo, protože občany prostě nacení a pak obětuje toho horšího. Občane, kouříš, málo nakupuješ a dostal jsi pokutu za parkování? Pak se zkus nesrazit s někým, kdo pracuje pro stát a vzorně udává hospodský, co nevydali účtenku. Protože pak chcípneš.

Osobně si myslím, že se uplatní jiný princip, který není o nic méně perverzní než princip založený na užitku, ale na rozdíl od všech jiných i méně perverzních přístupů se stává součástí legislativy i judikatury a pomalu prorůstá do našich životů. Totiž že „slabší“ účastníci silničního provozu musejí být chráněni. Kdo je slabší, určují politici pod vlivem různých lobby. Podobně jako Göring rozhodoval, kdo je žid a kdo ne. Zpravidla je to ten, kdo má horší pasivní bezpečnost, ale ne třeba vlak nebo tramvaj, ty mají sice dobrou pasivní bezpečnost, ale přesto jim musí všichni uhnout. Existuje například dvojice rozsudků, která problém dobře demonstruje. Jeden se týkal předjíždění cyklisty řidičem, přičemž cyklista vybočil ze směru své jízdy a narazil z boku do auta. Ridič byl shledán vinným, protože měl předvídat, že cyklista vybočí, neboť je notoricky známo, že jezdí po trajektorii podobné vlnovce, měl si proto zjednat od cyklisty dostatečný odstup a řidič tak jednal ve formě vědomé nedbalosti. Druhý rozsudek se týká situace, když cyklista objížděl automobil a jeho řidička otevřela dveře, do kterých cyklista najel. Zde by podle stejné logiky měl být vinen cyklista, neboť je notoricky známo, že auto má dveře, otevírají se do stran a když ve stojícím autě sedí člověk, může se stát, že bude také vystupovat dveřmi, je proto třeba si zjednat dostatečný boční odstup a cyklista by tak opět jednal ve vědomé nedbalosti. Soud však rozhodl, že v tomto případě je řidič povinen brát ohled na cyklistu, protože je přece slabším a hůře chráněným účastníkem silničního provozu. Rozsudek je pravomocný, odvolání není možné. Je to vlastně také utilitární přístup, kde užitek je měřen nikoli sociálním kreditem jako v Číně nebo společenským užitkem a věkem jako v MIT Moral Machine, ale tím, kdo má lepší lobby, která chrání jeho zájmy.

Výsledným algoritmem ve světě autonomní mobility proto bude, že pro posádku autonomně řízeného vozidla bude defaultní koncept pasivní bezpečnosti a pro všechny okolo aktivní, tzn. vyhnutí se kolizi za jakoukoli cenu.

Už vidím ten aftermarket byznys, kdy bývalí kurviči naftových motorů budou zase nabízet „značkový čiptuning“, ale tentokrát přímo lobotomii mozku autonomního řízení. Už se těším na pluginy jako „Cyclist intimidator“, „Run over pedestrian“, „Ignore cop package“ a podobně.

Na tramvajovém dilematu je dobře vidět další vlastnost vývoje autonomní mobility, totiž absence plánu. Většina velkých vynálezů se společenským přesahem se narodila ze společenského konsensu, který byl zformulován do podoby nějakého manifestu. Na základě něho vznikla legislativa a s cílem naplnění legislativního rámce se začal vyvíjet produkt. V případě automobilní mobility to funguje tak nějak od konce a legislativa se nejspíš bude psát podle toho, jak se to Tesle, Googlu a dalším nakonec povede. Pokud vím, jediný, kdo se pokusil obrátit toto schéma, byli opět soudruzi v Číně, kteří oficiálně zakázali vývoj autonomních aut do doby, než bude k dispozici legislativa. Myslím, že se jedná jen o prázdné gesto, protože Baidu nadále autonomní vozidlo vyvíjí a z vládního záměru si nic nedělá, což je pochopitelné.

Tento problém se zdá nevyřešen. Dosavadní majoritní hráči v oblasti autonomního řízení se k tomuto tématu nevyjadřují, zákazníkovy preference jsou také sporné. Většina lidí se nad tím nejspíš vůbec nikdy nezamyslela a vidí spíš pozitiva autonomního řízení, jako že nebude muset točit kolečkem a místo toho si bude číst nebo hrát hry, jako to vidíme v metru.

V dalším dílu se podíváme na vlhké snění zelených marxistů, ve kterém autonomní vozidla kupodivu figurují.

28.12.2016 D-FENS

Související články: