Autonomní řízení II: The trolley dilemma - zpět na článek

Počet komentářů: 54

  1. Tá stránka Moral Machine je zaujímavá, len tie výsledky, čo to tam napíše na záver sú dosť zmätočné, vzhľadom k počtu situácií pre jednu „hru“ a ich namiešanie. Napríklad ja som sa držal predovšetkým týchto pravidiel:
    1. nezasahovanie do predvoleného smeru
    2. totálna preferencia ľudí pred zvieratami
    3. preferencia záchrany idúcich na zelenú voči tým na červenú

    ale vzhľadom k namiešaniu tých situácií mi to potom pomerne náhodne vyhodnocovalo, že napr. 100% preferujem mužov alebo zločincov alebo dobre situovaných, hoci som na to vôbec nehľadel, jednoducho tak sa to vyskytlo, že tam boli takí. Pričom však, ak by sa dalo nastaviť, že pôjdeme napr. na 50 situácií, tak by sa to spriemerovalo.

    A ešte sa mi tam javili zmätočné situácie, že ide prázdne auto, lebo povedzme si, ak nie je cieľ chrániť posádku, tak to auto môže vo všeobecnosti napikovať kamkoľvek kde nie sú ľudia. Aj keď na druhej strane ako typické trolley dilemma to asi nejaký účel plní.

  2. „Většina velkých vynálezů se společenským přesahem se narodila ze společenského konsensu, který byl zformulován do podoby nějakého manifestu. Na základě něho vznikla legislativa a s cílem naplnění legislativního rámce se začal vyvíjet produkt.“
    Tak musím říct, že tohle slyším prvně a zajímal by mě na to nějaký příklad, protože z historie, kdykoliv o něčem čtu/slyším, tak to zpravidla bývá přesně naopak. Produkt zrozený a vyvinutý dle legislativy???? To zní trochu jako Fidelův,Maoův,Kim-Ir-Senův,eurokomisařův,neco-aktivistův …. (doplň si diktátora dle osobních preferencí) zhmotněný sen!

    1. Také si nejsem moc vědom příkladu, kdy by nejdříve vznikla legislativa a pak teprve produkt. Např. letectví – až po první srážce letadel ve vzduchu se dohodly formální pravidla letu. To samé u automobilů, frekvenčních pásem, platebních karet, atd. Dfensi, tady jste myslím ve svém zapálení proti autonomnímu řízení šlápl vedle, Vaše články o tomto tématu mi připomínají články oblíbeného uskupení AutoMat a využíváte argumenty, které jsem u Vás dříve neznal.

      1. Jenže tohle není parní stroj, nebo dvouplošník. Mluvíme o informatice, robotice a kybernetice a tam musíte nejdříve definovat pravidla, co to má vlastně dělat a jak se to má chovat. Doposud bylo vše závislé na svobodné vůli jednotlivce. To, co by mělo přijít teď, je buď úplné obejití této svobodné vůle, případně pokus o její reprodukci do stroje a to tak, aby byl schopen adekvátně reagovat na různé situace a to i z hlediska morálních, sociálních a kdo jen ví jakých vztahů. V tomhle všem není ten hlavní průser. Možná by to totiž mohlo i fungovat, pokud by to řešil programátor, robotik a kybernetik. Dovedete si představit, co za zrůdnost z toho začne vznikat v okamžiku, kdy do toho začne zasahovat průměrný evropský úředník?
        A co hůř. Kdy se ta krysa rozhodne, že ty autonomní krámy budou zkrátka povinné? Upřímně, doufám, že se toho nedožiju.

        1. Čistě technická poznámka k větě: „Mluvíme o informatice, robotice a kybernetice a tam musíte nejdříve definovat pravidla, co to má vlastně dělat a jak se to má chovat“ – ne, nemusíte. A takřka nikdy se tak ani nedělo, všechny tyto obory vznikaly naopak zcela živelně, na základě proprietárních řešení a standardizace zpravidla nastupovala (pokud vůbec) až dodatečně a z hotových individuálních řešení vybírala rysy, použitelné jako základ normy. Kterou pak vzápětí opět někdo porušil, protože nepostačovala průdkému vývoji v oboru. Děje se to dodnes a hned tak to nepřestane, vždy se najde někdo, kdo si vytvoří a bude tlačit vlastní rozhraní, vlastní formát, vlastní protokol, vlastní algoritmus… atd. Nebo modifikuje existující a zpětně kompatibilní to zdaleka nemusí být 100%. I Internet jako takový, resp. jeho podkladové technologie, je založen na „doporučeních“, nikoli pevných a závazných normách. A jak hezky to, na rozdíl od byrokraty budovaných monster, funguje a vyvíjí se – proto je dnes také Internet pro government velmi těžce uchopitelný, takže se jej snaží zkrotit regulacemi.
          K poslední vaší větě – umím si to v jistých obrysech představit zavedené, ale pouze tehdy, pokud půjde o trať vyhrazenou pro „autonomně“ řízená vozidla, jež bude masivně doplňována informacemi o okolí. Takže takový „inteligenční hybrid“, který si řídíte po městě a okreskách sám, ale když najedete na infohájvej, tak se vůz synchronizuje s okolním provozem a převezme to sám. Touhle cestou tipuji, že půjdou.

        2. To říkáte sice správně, ale bohužel tím tak zcela ignorujete původní myšlenku, kde ty věty jsou jednak psány v minulém čase a jako takováto chybná premisa aplikovány na jsoucí dění, jednak Vy uvádíte jako protipříklad s programátorem/euroúředníkem dvě roviny: jednak tu s programátorem, o které ale diskutovaný text nehovoří (tak specializovaně dozajista ten konsensus a manifest nechápe – už jen proto, že tuto rovinu zde nemáme natolik dlouho, aby se o ní dalo hovořit jako o ‚prověřeném‘ historickém příkladě), jednak tu s euroúředníkem a té se diskutovaný text de facto dožaduje, což je právě mnou napadaný obsah.

          Mimoto – ale to už mi hrozí, že diskuznímu protivníkovi nekorektně podsunu myšlenku – pokud správně chápu zde uznávanou premisu: „jezdí se takovou rychlostí jakou uznám za vhodné na základě svého mozkového myšlení, prozože jinak je to vovce“, tak ten diskutovaný odstavec to krédo přímo torpéduje, protože vlastně říká (dožaduje se) toho, že ‚autonomní řízení se má nejdříve zregulovat a teprve potom podle toho vyvinout‘, což mi přijde jako prasárna: kdo chce, ať si klidně jezdí v autě naprogramovaném na zabíjení mě jako chudce/cyklisty/motorkáře, ale ať mi žádný ‚společenský konsensus‘ nenařizuje jak to auto má být naprogramované a zda musím takové použít.

        3. Zrovna v tej kybernetike tych pravidiel vela nebyva. Bud sa to chova ako riadiaci system – fabrika a potom to ma jasne definovany presny subor pravidiel a akakolvek situacia, pre ktoru pravidlo neexistuje znamena zastavenie linky a privolanie obsluhy (tu by to bol ekvivalent napr. toho, ze sa na ceste vytvori dopravny sach-mat a autonomne riadenie zhasne motor a odomkne dvere). Alternativne je to system s nejakym stupnom umelej inteligencie a tej sa spravila ziadna sada exaktnych pravidiel nedava, ale necha sa „naucit“. To sa v zjednodusenej forme (pre neuronove siete) robi tak, ze napriklad ak chcete, aby vedela co je to znacka stoj, ukazete jej 1000 roznych znaciek stoj a algoritmus si z toho vydedukuje, ze ak je to osemhranne, pravidelne, dookola cervene, v strede biele s napisom stop asi je to znacka stop. Neurobi to ale tak, ze bude vediet, ze znacka stop je osemuholnik s napisom stop, ale tak, ze ked niekde na ceste nasnima znacku stop a bude sa podobat na tych 1000 ktore uz videla, tak prehlasi, ze je to s nejakou pravdepodobnostou znacka stop. No a potom sa v podstate modlite, aby to nespravilo nejaku botu. Cca preto umela inteligencia nefunguje dost dobre tam, kde na ceste chybaju orientacne body, ktore ste AI naucili. Preto Tesly nejazdia dobre po americkych okreskach kde asi rovnako ako u nas a u vas chybaju stredove ciary, preto budu mat auta s AI problem rozoznat zasnezenu alebo zaspinenu znacku, atd.

          Limitujucimi faktormi pri rozhodovani umelej inteligencie su potom algoritmus, ucenie a cas vs. pocet vstupov. Ak pocet vstupov narastie nad nejaky limitny, problem sa pre umelu inteligenciu tak skomplikuje, ze ho nemusi byt schopna v dostatocnom case vyriesit (najst najlepsie riesenie), ale spadne k nachadzaniu „dost dobreho riesenia“. Ani to, co je dost dobre riesenie ale nie je nejako fixne definovane. Ona vlastne umela inteligencia ani z podstaty oboru nema sancu najst jedine spravne riesenie situacie, pretoze to neexistuje, ale najde riesenia a vybere z nich to, ktore ma najvyssiu *pravdepodobnost* byt spravne. Cely ten obor sa nazyva fuzzy logika, to sa da volne prelozit ako „nepresna/necela logika“. Nie je pravda alebo nepravda, ale je pravda s nejakou pravdepodobnostou.

        4. Tak trochu se obávám, že kdybychom nejdříve definovali pravidla, tak by nikdy nevznikl internet tak, jak ho známe.

    2. „… narodila ze společenského konsensu, který byl zformulován do podoby nějakého manifestu…..Produkt zrozený a vyvinutý dle legislativy?“
      Taky na to ziram.
      Legislativa vzdy koriguje nezadouci jevy posleze – a posteriori. Mylim se?

  3. K tomu tramvajovému dilematu jsem ještě viděl pokus, při kterém mohl člověk strčit do kolejí jiného člověka, aby těch pět zachránil. A to už nikdo z těch testovaných neudělal.
    Myslím že se tam o tom mluvilo v souvislosti s ovládáním bojových dronů. Že má člověk tak nějak nastavený mozek na to, aby pro něj bylo jednodušší rozhodnout se zmáčknout tlačítko a zabít lidi, než to jít vykonat osobně…

    1. Ono to tramvajové dilema se obvykle formuluje trochu jinak, než psal D-FENS – výhybka je na začátku překlopená tak, aby tramvaj přejela těch pět. Dotazovaný má na výběr si buď za a) umýt ruce a tvářit se, že s tím nemá nic společného, nebo za b) přehodit výhybku, díky čemuž sice pět lidí přežije, ale on ponese tíhu rozhodnutí, kterým poslal na smrt toho jednoho.

    2. Trolley problem je obecně situace, kdy v případě vaší nečinnosti dojde ke škodě, ale vy můžete do situace zasáhnout, důsledkem je pak „menší“ škoda, ale vy na ní máte přímý podíl.

      No, a pak existuje nekonečné množství variant problému, protože meritem věci je nalezení právě toho zlomu kde jste ochotný způsobit vědomě něčí smrt, abyste ospravedlnil záchranu X lidí. A tenhle stav je pak u každého jiný takže je to celkem zajímavé. Jsou samozřejmě i různé varianty kdy obětováním někoho například jen oddálíte něčí smrt atd., na jedné či druhé straně jsou lidé „různé kvality“ (ie shodíte tlustého člověka co kouří vs člověk co je fit atd.)

  4. Ta autoauta to zřejmě zpočátku budou mít nastavená tak, aby ochránila řidiče. Protože pak si lidi autoauto koupí. A pokud autoauta budou mít v nehodovosti lepší skóre než auta, tak se i tak ušetří více životů.

  5. Tak teda nevim, ale deleni lidi na s lepsim a horsim bonitou bylo treba v Nemecku uz nejmin pred 20 lety. Kdyz si objednali neco drazsiho nebo hure dostupneho, tak o poradi vyrizeni rozhodovala treba ctvrt ci ulice, ve ktere bydleli. V dnesni dobe e-shopu je takove veci mozne snadno automatizovat, i kdyz… pokud povl zaplati kreditkou predem, tak asi jeho bonitu neni treba resit.

    Kazdopadne vubec bych se nedivil, kdyby nejaka varianta tohoto prosakla i do rozhodovani samoriditelnych aut: auto to radsi napali do Fabie nez do bavoraku, protoze pozustali socek z Fabie budou mit statisticky mensi tendence/prostredky delat vyrobci auta pravni problemy.

    1. Tuzemská platební služba Twisto přesně toto implementuje.

  6. Obávám se, že tyto problémy v reálu nikdo neřeší a ani mebude. Současné poloautonomní systémy mají základní problém se signály ze senzorů – někdy nevidí překážku, nebo vidí zatáčku která je jen namalovaná, a v havarijní situaci předají řízení, aby se osádka tak nějak sama zabila a výrobce nenesl za nic odpovědnost.
    Manažeři řeší prodejnost a náklady. V automobilkách se nevyskytují lidi řešící koncepční otázky podobného typu – pouze právníci to pořeší, aby firma byla z obliga. Takže trh to chce, tak to v autech budeme mít a ještě velmi dlouho to bude nespolehlivé a mnohdy nebezpečné.

  7. Osobně mne autonomní řízení začne zajímat v okamžiku, kdy mne s ním bude moci moje auto odvézt nalitého z hospody, aniž by došlo ke konfliktu s nějakým pitomým zákonem. Jinak si to odřídím radši sám, i proto, že přes všechnu tu šikanu, co kolem toho máme, řídím pořád ještě rád. A do z té hospody asi ještě dlouho bude lepší a levnější se prostě nechat odvézt taxíkem nebo si zavolat nějakou tu želvu, nebo jak se ty služby jmenují

    A k tomuto článku konkrétně, auto, které nebude mít absolutní prioritu chránit posádku, si prostě nekoupím.

  8. Na tohle téma je výborná scéna z I, Robot, kde W. Smith vysvětluje, co ho na robotech tak sere a proč nemá techniku rád. Překvapivě je to založeno na Asimově díle :-) Ve zkratce:
    Stala se nehoda a 2 vozy skončily v řece. V jednom autě jel otec se svou dcerou(12) a v druhém náš hlavní hrdina, charismatický černoch a v dané chvíli polucista. Otec v 1. voze byl mrtev na místě, dcera i polucista oba žili, měli nějaká zranění, ale žili. Kolem šel robot a měl možnost zachránit pouze jednoho člověka. Vybral dospělého negra místo bílého děvčátka, protože W.Smith měl vyšší šanci na záchranu. No a tady začíná ten krásnej argument:
    Lidská bytost by se snažila zachránit to děvče. Robot si spočítal a jednal.

    Přiznejme si to – každej z nás by se snažil zachránit to dítě. Pokud bude mít autoauto(děkuji, Wendy) prioritní ochranu posádky, fajn. Jenže kdo z jeho řidičů bude chtít žít s tím, že to auto vyhodnotilo malý dítě jako nejlepší volbu k jeho záchraně… Já bych se mu snažil vyhnout za každou cenu, co vy? ,-)

    1. He? Kazdej z nas by zachranil to decko? Spis bych rekl, ze dnesnim standardem je nehody a tragedie fotit/natacet na mobil a posilat to na Instagram…

      1. Tak nějak. Zhruba 2 týdny zpět jsme šli s přítelkyní na večeři (Praha – nám. Míru u Vinohradského divadla) a kousek od nás ožralého chlapa přemohla gravitace a rozflákal si držku. Zlomený nos, rozseknuté čelo, krve jak z vola a všichni až na jednu paní chodili kolem a dělali, že ho nevidí. Chlapa nakonec odvezli do nemocnice…

    2. To je sice hezká storka, ale kdyby nebylo robota chcípli by voba, ne?

    3. Vidíte, mne na celém filmu spíše zaujala myšlenka, že pokud robotům dáme Tři zákony, pak dříve či později vynaleznou Nultý zákon, tj. začnou nám poručníkovat. Tak nějak to odráží Asimovův duševní vývoj, jak jej zobrazuje jeho knižní produkce. Začal s docela rozumnou myšlenkou, že asi nikdo nebude chtít produkovat roboty, jak je vyobrazovala sci-fi třicátých let, tj. vraždící monstra. A skončil u toho, že roboti a jimi vyvolení lidé by měli řídit vývoj společnosti (směrem ke stabilitě), tedy stala se z nich opět monstra jako jeho R. Daneel Olivaw.

    4. Já bych tedy určitě nezachraňoval negra, i kdyby byl zdravej jako řípa. Afričani jsou přemnožení, hrozí kvůli nim kolaps lidské populace a vymření bílé rasy. A navíc jsem rasista.

      Raději bych ven tahat tu bílou holčičku, i kdyby byla bez hlavy, bez rukou a bez nohou.

      1. To znamená, že já si koupím Teslu teprve tehdy, až bude naprogramovaná jako „rasomobil“. Bude upřednostňovat bílou rasu před ostatními. A kromě pasivního módu bych uvítal i aktivní – mohla by třeba automaticky najíždět do některých jedinců, dávat přednost na přechodu jenom chodcům bílé rasy atd. atd.

        1. Asi myslíte model P90 ku klux sport. Má přijít koncem roku 2019 a mezi příplatkovými prvky bude i ekologicky vyrobená radlice.

          1. Jj, to je přesně ten model. Nemůžu se dočkat :-D

            1. tak hlavne by mal byť rozhodovací algoritmus plne užívateľsky nastaviteľný – t.j. napr. kozatú blondínku nechať, politika alebo zyklistu automaticky naberať na výklopné vidly

              ale dopadne to tak že vám pekne totalitní eurosocanskí bruselokoti policajne nariadia vysielať permanentne svoje údaje (najlepšie načipovaním) aby to (nielen) tieto systémy mohli „správne“ vyhodnotiť… pričom o správnosti algoritmu bude rozhodovať nejaká bruselokotická vyhláška (nie ste dostatočný vítač? nevolíte socanskozelenú magóriu? budete na rane… doslova)

  9. Osobně myslím, že trolley dilemma nikdy nenastane. Situace nikdy nebude tak ostře vyhrocená. Algoritmus bude imho postavený tak, že se bude vždy snažit zachránit všechny a takovou situaci prostě nebude mít vůbec naprogramovanou. Občas kvůli tomu nezachrání nikoho, ale to se prostě stává a lidi se s tím naučí žít.

Komentáře jsou uzavřené.

D-FENS © 2017