Były szef programu autonomicznej jazdy Ubera, Raffi Krikorian, niedawno rozbił swoją Teslę Model X, korzystając z trybu pełnej jazdy autonomicznej (FSD), o betonową ścianę. To zdarzenie nie jest pojedynczą kolizją, ale obnaża krytyczną wadę obecnego stanu automatyzacji. Obecne systemy wspomagania kierowcy wymagają natychmiastowej interwencji człowieka w przypadku awarii, ale jednocześnie uspokajają kierowców w fałszywym poczuciu bezpieczeństwa. Ta delikatna równowaga rodzi pytania o odpowiedzialność, skutki psychologiczne i nieodłączne ryzyko związane z technologią autonomiczną na wczesnym etapie.
Wypadek i „strefa napięcia moralnego”
Krikorian opisuje incydent w „The Atlantic”: jego Tesla nagle szarpnęła kierownicą podczas skręcania w dzielnicy mieszkalnej, w wyniku czego samochód uderzył w ścianę. Nikt nie został ranny, ale incydent uwypuklił niebezpieczny schemat. Patrzy na to przez pryzmat koncepcji „strefy zgniotu moralności” badaczki Madeleine Claire Elish – koncepcji, zgodnie z którą w przypadku awarii automatyzacji odpowiedzialność spada na ludzi, nawet jeśli system jest pod kontrolą.
Tesla, podobnie jak inni producenci samochodów, zgodnie z prawem ostateczną odpowiedzialność za funkcje autonomiczne ponosi kierowca. Firma ostrzega, że systemy te są niedoskonałe i wymagają natychmiastowej interwencji kierowcy. Problem wykracza jednak poza odpowiedzialność prawną.
Psychologia półautonomii
Krikorian twierdzi, że systemy półautonomiczne tworzą pułapkę psychologiczną. Działają na tyle dobrze, że zniechęcają do aktywnej jazdy, ale nie na tyle dobrze, aby wyeliminować potrzebę zwracania uwagi kierowcy. Skutkuje to czujnością – dobrze znanym zjawiskiem polegającym na rozproszeniu uwagi podczas obserwacji systemów, które rzadko zawodzą. Wynik? Ludzie stają się mniej przygotowani do reakcji w przypadku nieoczekiwanego zdarzenia.
Problem ma także charakter fizjologiczny. Nawet w optymalnym stanie człowiek potrzebuje sekund na skupienie się, podjęcie decyzji i jej realizację. To opóźnienie sprawia, że w wielu scenariuszach awarii natychmiastowa interwencja jest nierealna. Technologia polega na ludziach, jeśli chodzi o ratowanie sytuacji, ale często zrzuca na nich winę, gdy ratunek się nie powiedzie.
Nieunikniony etap?
Obecny etap technologii autonomicznej wymaga testów w świecie rzeczywistym, co oznacza akceptację niedoskonałych systemów, które wymagają natychmiastowej interwencji człowieka. Im lepsze będą te systemy, tym łatwiej zapomnieć, kto tak naprawdę sprawuje kontrolę. Wypadki brutalnie przypominają o tej rzeczywistości.
Ten etap pośredni – w którym automatyzacja działa na tyle dobrze, aby wzbudzić zaufanie, ale nie na tyle dobrze, aby wyeliminować ryzyko – może na razie być nieunikniony. Wyzwaniem jest rozpoznanie tego ograniczenia i złagodzenie jego psychologicznych i fizjologicznych konsekwencji, zanim nastąpi więcej spotkań.
