L’ex capo del programma di guida autonoma di Uber, Raffi Krikorian, si è recentemente schiantato con la sua Tesla Model X mentre utilizzava la modalità Full Self-Driving (FSD), andando a sbattere contro un muro di cemento. L’incidente non riguarda solo una collisione; espone un difetto critico nello stato attuale dell’automazione. I moderni sistemi di assistenza alla guida richiedono un intervento umano immediato quando falliscono, ma allo stesso tempo cullano i conducenti in un falso senso di sicurezza. Questo difficile equilibrio solleva interrogativi sulla responsabilità, sugli effetti psicologici e sui rischi inevitabili della tecnologia autonoma in fase iniziale.
Il crollo e la “zona di collasso morale”
Krikorian descrive l’incidente in The Atlantic : la sua Tesla ha inaspettatamente strattonato il volante durante una svolta in una zona residenziale, mandando l’auto contro un muro. Nessuno è rimasto ferito, ma l’esperienza ha evidenziato uno schema pericoloso. Lo inquadra attraverso la lente del concetto della “zona di deformazione morale ” della ricercatrice Madeleine Clare Elish – l’idea che quando l’automazione fallisce, gli esseri umani si assumono la colpa, anche se il sistema aveva il controllo.
Tesla, come altre case automobilistiche, considera legalmente i conducenti come responsabili ultimi delle funzionalità autonome. L’azienda avverte che questi sistemi non sono perfetti e richiedono l’immediata acquisizione del controllo da parte del conducente. Tuttavia, la questione va oltre la responsabilità legale.
La psicologia della semi-autonomia
Krikorian sostiene che i sistemi semiautonomi creano una trappola psicologica. Funzionano abbastanza bene da scoraggiare la guida attiva, ma non abbastanza bene da eliminare la necessità dell’attenzione umana. Ciò porta a un diminuzione della vigilanza, un fenomeno noto in cui l’attenzione si sposta quando si monitorano sistemi che raramente falliscono. Il risultato? Gli esseri umani diventano meno preparati a reagire quando si verifica un evento inaspettato.
Anche il problema è fisiologico. Anche in condizioni ottimali, gli esseri umani hanno bisogno di pochi secondi per concentrarsi nuovamente, decidere una linea di condotta ed eseguirla. Questo ritardo rende irrealistica l’acquisizione immediata in molti scenari di fallimento. La tecnologia fa affidamento sugli esseri umani per salvare la situazione, ma spesso li ritiene responsabili quando il salvataggio fallisce.
Una fase inevitabile?
L’attuale fase della tecnologia autonoma richiede test nel mondo reale, il che significa accettare sistemi imperfetti che richiedono un intervento umano immediato. Quanto migliori diventano questi sistemi, tanto più facile è dimenticare chi è veramente al comando. Gli incidenti servono a ricordare brutalmente questa realtà.
Questa via di mezzo, dove l’automazione funziona abbastanza bene da creare fiducia ma non abbastanza bene da eliminare i rischi, potrebbe essere inevitabile per ora. La sfida sta nel riconoscere questa limitazione e mitigarne le conseguenze psicologiche e fisiologiche prima che si verifichino ulteriori collisioni.
