Bývalý šéf samořídícího programu Uberu Raffi Krikorian nedávno narazil svou Teslou Model X při použití režimu Full Self-Driving (FSD) do betonové zdi. Tento incident není jen jedna kolize, ale odhaluje kritickou chybu v současném stavu automatizace. Současné asistenční systémy řidiče vyžadují okamžitý zásah člověka v případě selhání, ale současně řidiče ukolébá falešný pocit bezpečí. Tato křehká rovnováha vyvolává otázky o odpovědnosti, psychologických účincích a inherentních rizicích autonomní technologie v rané fázi.
Nehoda a „zóna morálního napětí“
Krikorian popisuje incident v The Atlantic : jeho Tesla náhle škubla volantem při otáčení v obytné čtvrti a poslala auto do zdi. Nikdo nebyl zraněn, ale incident podtrhl nebezpečný vzorec. Dívá se na to optikou konceptu „morální deformační zóny“ výzkumnice Madeleine Claire Elish – myšlenky, že když automatizace selže, odpovědnost padá na lidi, i když byl systém pod kontrolou.
Tesla, stejně jako ostatní výrobci automobilů, právně klade konečnou odpovědnost za autonomní funkce na řidiče. Společnost varuje, že tyto systémy jsou nedokonalé a vyžadují okamžitý zásah řidiče. Problém však přesahuje zákonnou odpovědnost.
Psychologie semi-autonomie
Krikorian tvrdí, že poloautonomní systémy vytvářejí psychologickou past. Fungují dostatečně dobře na to, aby odrazovaly od aktivního řízení, ale ne dostatečně na to, aby eliminovaly potřebu pozornosti řidiče. Výsledkem je bdělost, dobře známý jev, kdy pozornost putuje při pozorování systémů, které jen zřídka selhávají. Výsledek? Lidé jsou méně připraveni reagovat v případě neočekávané události.
Problém je i fyziologický. Člověk i v optimálním stavu potřebuje vteřiny na soustředění, rozhodnutí a jeho uskutečnění. Toto zpoždění činí okamžitý zásah nerealistickým v mnoha scénářích selhání. Technologie spoléhá na lidi, kteří zachrání situaci, ale často na ně svalují vinu, když záchrana selže.
Nevyhnutelná fáze?
Současná fáze autonomních technologií vyžaduje testování v reálném světě, což znamená přijmout nedokonalé systémy, které vyžadují okamžitý zásah člověka. Čím lepší jsou tyto systémy, tím snazší je zapomenout, kdo je skutečně ovládá. Nehody slouží jako brutální připomínka této reality.
Tento mezistupeň – kde automatizace funguje dostatečně dobře na to, aby vzbuzovala důvěru, ale ne dostatečně na to, aby eliminovala rizika – může být prozatím nevyhnutelná. Výzvou je rozpoznat toto omezení a zmírnit jeho psychologické a fyziologické důsledky dříve, než dojde k dalším setkáním.
