Autonomní řízení I: Tested on real people

Loni touto dobou jsme si dopřáli technologické orgie kolem emisního skandálu koncernu VW, letos zostudíme další bullshit, který na svůj velký skandál teprve čeká. Autonomní řízení. Připravte si závět a peněženky, bude se psát o vašich právech, penězích, trestní odpovědnosti a opět možná úmrtí.

Jako první je třeba zmínit neslavný Tesla accident, který se odehrál 7. května 2016 na Floridě a který velmi dobře demonstruje podstatu problému. Pan Joshua Brown (+40) jel s vozem Tesla S vybaveným technologickým paketem s funkcí Autopilot. Vozidlo, ale ani řidič nezaznamenali nákladní automobil, který Tesle řízené (?) panem Brownem vjel do cesty a Tesla do něj narazila Tesla každopádně vjela návěs, přičemž se utrhla střecha. Zbytek vozidla návěs podjel i s pozůstatky pana Joshuy pod návěsem a pokračoval zprvu rovně, pak mírně doprava, následně vyjel mimo silnici a zastavil se v poměrně značné vzdálenosti od místa střetu, kdy jel po poli a projel dvěma ploty. Řidič tahače Frank Baressi poznamenal, že Tesla jela tak rychle, že ji vůbec ani nezaznamenal a že si řidič pouštěl DVD s Harry Potterem, které hrálo ještě v době, kdy se vozidlo zastavilo o telefonní sloup vzdálený čtvrt míle. Infotainment byl evidentně robustnější než autopilot a post crash algoritmy.

Ironií osudu je, že Brown sám byl nadšený ze semiautonomního řízení, z Tesly a techniky obecně, a napsal pár blogů, ve kterých největší slabinu semiautonomního řízení sám pojmenoval. Napsal něco v tom smyslu, že problém nastane tehdy, až to začne používat někdo líný natolik, že se na to spolehne. Asi nečekal, že to bude on sám. Tohoto betatestera je nepochybně škoda.

Nebyla to první nehoda Tesly s Autopilotem, jak se tvrdí a jak tvrdila i sama Tesla. Ve Švýcarsku Tesla nakouřila zezadu dodávku, protože se řidič domníval, že by to mělo zastavit. Vzniklo z toho notoricky známé video.

Jak se k tomu postavila Tesla? Lidem z Teslí církve to asi radost neudělalo. Stanovisko automobilky je obsaženo v jejich blogu nazvaném „A tragic loss“. Osobně se mi celé stanovisko líbilo a doporučoval bych, aby si ho každý nerd, kterému hrabe ze samořízení, několikrát a pečlivě přečetl, aby pochopil, že sebelepší marketing někdy narazí. Ještě docela nedávno nám Elon Musk dával lekce o tom, že si veřejnost možná vynutí zákaz manuálního řízení ve prospěch automatického, protože to bude bezpečnější. Tváří v tvář komplexní realitě zařadil zpátečku.

Předně Tesla politovala smrti svého zkušebního pilota pana Joshuy, který byl velkým fanouškem moderních technologií a pevně věřil v poslání firmy Tesla. Tesla připomněla, že fíčura Autopilot je defaultně vypnutá a před jejím použitím uživatel musí vzít na vědomí, že se jedná o systém ve veřejné beta fázi („public betha phase“) a dále, že se jedná o asistenční funkcionalitu („an assist feature“) a uživatel je při zapnutí ve formě informačního sdělení explicitně upozorněn na to, že během jeho použití musejí ruce zůstat na volantu a dále, že řidič dále má plnou odpovědnost za ovládání svého vozidla a musí být připraven kontrolu nad ním kdykoli převzít.

Jinými slovy, Autopilot se chová stejně jako stejnojmenný systém v letadle, tedy šetří práci pilotovi, ale ten stejně dál musí sedět v kabině a být připraven kdykoli řídit letadlo. Pokud je manuální řízení level 0 a plná autonomie level 4, teslí Autopilot je level 2. Není to tedy nic zvláštního ani extra, ale asistenční systém stejně jako systémy, které prodává BMW, Mercedes, Volvo a další. Pokud se fanouškům autonomního řízení neprotáhly ksichty doteď, nastane to nyní. Tesla dále pokračuje:

„We do this to ensure that every time the feature is used, it is used as safely as possible.“

Prostě také vezměte na vědomí, že to dodáváme „as is“ a také vezměte na vědomí, že neexistuje 100% bezpečnost. Zazvonil zvonec a pohádky je konec.

Pro nerdy, šotoušky a idealisty asi studená sprcha. Pro všechny ostatní očekávatelný postoj.

Široce publikovanou technickou příčinou nehody je selhání senzorického systému. Tesla používá systém založený na analýze okolí vozidla, na rozdíl od méně úspěšného systému Googlu, který pracuje s mapami. K prohledávání svého okolí používá Tesla sadu senzorů na různých principech, konkrétně kamery, radar a ultrazvukové senzory. Spekuluje se o tom, že kamery neviděly světlou boční plochu návěsu kamionu proti světlému pozadí, jiná interpretace je, že kamery sice kamión viděly, ale řídící systém ho na základě údajů z ultrazvukových senzorů vyhodnotil jako ceduli nad silnicí. Systémová příčina je pak, že Tesla provádí testy s živými zákazníky v běžném provozu, bez bezpečnostních opatření.

Krátce nato došlo k další nehodě ve státě Montana, ve které figuroval model X a jiný beta tester, pan Pang. Pod kontrolou autopilota vyjel vůz mimo silnici, sestřelil 13 patníků a zastavil se. Řidič dostal pokutu 85 USD (na české poměry neuvěřitelných 2125 Kč, jezděte bourat do Ameriky) za bezohlednou jízdu. Pan Pang se naštval na firmu pana Elona, která s ním nekomunikovala podle jeho představ a napsal jim otevřený dopis, kde stručně popsal celou událost a na konci se nazval bývalým fanouškem teslí techniky. Tesla namítla, že řidič neměl ruce na volantu a autopilota aktivoval na směrově nerozdělené horské silnici, což výrobce nedoporučuje. Poselství je tedy jasné. Tesla sice ráda nechá zákazníky autopilota koupit, zaplatit a testovat, ale současně je zavazuje k tomu, aby se chovali, jako by tam nebyl.

Provádět beta testy na veřejných komunikacích a používat zákazníka jako zkušebního pilota je nepochybně úlet století. Je to naprosto nepřijatelná praxe a pokud vím, je Tesla jediná, kdo to takhe praktikuje.

Problém mám i s přístupem „my jsme zákazníka upozornili, že se to může rozbít“. Ať je to jak chce, autopilot může změnit směr a rychlost jízdy vozidla a pokládám ho za bezpečnostně relevantní. Jako takový ho nelze někomu dát „do ruky“ v podobě beta verze. Stejně tak si nekoupíte auto s beta brzdami, řízením nebo ovládáním akcelerace, protože zákony vyžadují, aby tyto systémy byly testovány na všechny myslitelné provozní situace ještě předtím, než budou uvedeny na trh. Nekoupíte si beta léky, kromě vzácných a kontrolovaných případů, a nevoperují vám beta kyčelní kloub nebo beta umělý kozy. Výrobce se nemůže postavit do role „já jsem vám to říkal, že to může selhat“, ale naopak musí sám doložit, že udělal všechno proto, aby to neselhalo. Kdyby něco takového prováděl výrobce „klasických“ aut a ne sakrální objekt zelených liberálů, čelil by vyšetřování stejně jako Toyota s jejím full throttle pedálem nebo VW s jeho dosud ne zcela jasnou „emisní strategií“. Je například znám případ výrobce motocyklů, který byl soudně shledán odpovědným za zranění řidiče, který na svůj stroj namontoval doplněk, který vůbec nepocházel od výrobce motocyklu, ale koupil si ho někde na aftermarketu. Nicméně výrobce motocyklu připustil, že věděl o tom, že se na jeho motocykly tento doplněk montuje, věděl o tom, že může být nebezpečný, ale nedoložil, že proti tomu něco udělal.

Do třetice, neakceptovatelný je i přístup, že Tesla na základě dat sebraných jejími dobrovolnými „zkušebními piloty“ dohrává do aut nějaké skryté updaty systému autonomního řízení. To jako existují různé bezpečnostní standardy pro různé zákazníky?

Shodou okolností jsem také něco najezdil s vozidly v „beta fázi“. Měly v sobě něco, co bylo ve fázi „beta testů“, tedy ověření designu, ale nebylo to autonomní řízení, dejme tomu autonomní trakce. Nebylo to bezpečnostně relevantní, ale auta nesměla na veřejnou komunikaci buď vůbec, anebo za příslušných bezpečnostních opatření. Těmi bylo například zachování mechanické vazby, kterou se dal testovaný systém přemostit nebo samočinně aktivovaný bezpečnostní mód. Než jsem s tím vyjel ven, absolvoval jsem školení, musel jsem podepsat papír, že jsem tomu všemu rozuměl a zavazuji se to dodržovat. První jízda se odehrávala na okruhu s proškoleným zaměstnancem na sedadle spolujezdce a celé zaškolení trvalo přes tři hodiny. Každé s těch aut mělo kouzelnou fíčurku, velký červený nouzový vypínač umístěný v dosahu pravé ruky, kterým se testovaný systém umrtvil a auto fungovalo jen na základě mechanických a hydraulických vazeb. Ve srování s tím, co museli absolvovat inženýři od Audi, kteří se podíleli na (neveřejném) testování jejich systému autonomního řízení, bylo všechno tohle celkem v pohodě. Ti totiž museli absolvovat kurz řízení za kritických podmínek a napsat test ze znalostí zkoušeného systému a právních aspektů jeho použití v běžném provozu. Postup, který zvolila Tesla, je na poměry v oboru skutečně hodně free, na hraně zákona a nepochybně za hranou profesionální etiky. Kromě toho vzniká otázka, zda zůstalo jen u testování autonomního řízení nebo zda Tesla testuje na lidech ještě něco dalšího.

Na druhou stranu tato loterie, kdy si Tesla dělá ze zákazníků zkušební piloty, je pochopitelná. Je to podstatně rychlejší a levnější než klasický přístup. Tesla má v současné době sesbírána data z nějakých 1,5 miliardy kilometrů za pomoci dobrovolných beta testerů a v reálném provozu. To nikdo jiný nemá. Zařval u toho jen jeden betatester a pár jich bylo vyděšených, mohlo být i hůř. A znáte to, automatické řízení musíme zavést, i kdyby to mělo zachránit jen jeden lidský život a měl přitom někdo umřít. Tesla toho nenechá vzhledem k tomu, že se najde dost hejlů, kteří na to přistoupí a jsou ochotní se na tom podílet. Dlouhodobě tím ale Tesla likviduje trh s technologií autonomního řízení, protože tato nehoda „beta vzorku“ není poslední a důvěra veřejnosti je vrtkavá věc. Vzniká otázka, jak dlouho to trh bude tolerovat a kolik lidí lze ještě nechat zabít, dokud to zákazníka nepřestane bavit nebo to státní autority nepřestanou tolerovat.

V souvislosti s tím vzniká otázka, zda je systém autonomního řízení vůbec otestovatelný. Úspěšnost jakéhokoli testovacího projektu je závislá na tom, jak dobře máme zmapovaný reálný svět. Je to jako jednou zkoušet si v obchodě čepici pro sebe, podruhé pro manželku a potřetí pro něhoko, koho jsme nikdy ani neviděli.

A ono se vlastně ukazuje, že toho nevíme zas tak moc o tom, jak lidé řídí auta a jak přitom uvažují. Různých kombinací vlivů a okolností je tolik, že náklady jsou enormní a zbytkové riziko příliš velké. Hlavnímu úskalí – totiž různým náhodným a výjimečným situacím a reakcím systému automatizovaného řízení na ně – se budeme věnovat v dalším dílu.

08.12.2016 D-FENS

Související články: