Het voormalige hoofd van het zelfrijdende programma van Uber, Raffi Krikorian, crashte onlangs met zijn Tesla Model X terwijl hij de Full Self-Driving (FSD)-modus gebruikte, waarbij hij tegen een betonnen muur reed. Het incident gaat niet alleen over één botsing; het legt een kritieke fout in de huidige staat van automatisering bloot. Moderne rijhulpsystemen vereisen onmiddellijk menselijk ingrijpen als ze falen, maar geven bestuurders tegelijkertijd een vals gevoel van veiligheid. Dit ongemakkelijke evenwicht roept vragen op over verantwoordelijkheid, psychologische effecten en de onvermijdelijke risico’s van autonome technologie in een vroeg stadium.
De crash en de ‘morele kreukelzone’
Krikorian beschrijft het incident in The Atlantic : zijn Tesla gaf tijdens een bocht in een woonwijk een onverwachte ruk aan het stuur, waardoor de auto tegen een muur botste. Niemand raakte gewond, maar de ervaring bracht een gevaarlijk patroon aan het licht. Hij kadert het door de lens van onderzoeker Madeleine Clare Elish’s concept van de “morele kreukelzone**” – het idee dat wanneer automatisering faalt, mensen de schuld op zich nemen, ook al had het systeem de controle.
Tesla positioneert, net als andere autofabrikanten, bestuurders wettelijk als eindverantwoordelijke voor autonome functies. Het bedrijf waarschuwt dat deze systemen niet perfect zijn en een onmiddellijke overname van de bestuurder vereisen. De kwestie gaat echter verder dan de wettelijke aansprakelijkheid.
De psychologie van semi-autonomie
Krikorian stelt dat semi-autonome systemen een psychologische valstrik creëren. Ze presteren goed genoeg om actief rijden te ontmoedigen, maar niet goed genoeg om de noodzaak voor menselijke aandacht te elimineren. Dit leidt tot een afname van de waakzaamheid – een bekend fenomeen waarbij de aandacht afdwaalt bij het monitoren van systemen die zelden falen. Het resultaat? Mensen zijn minder bereid om te reageren als zich een onverwachte gebeurtenis voordoet.
Het probleem is ook fysiologisch. Zelfs in topconditie hebben mensen seconden nodig om zich opnieuw te concentreren, een actie te beslissen en deze uit te voeren. Deze vertraging maakt een onmiddellijke overname in veel faalscenario’s onrealistisch. De technologie is afhankelijk van mensen om de situatie te redden, maar houdt hen vaak verantwoordelijk als die redding mislukt.
Een onvermijdelijke fase?
De huidige fase van de autonome technologie vereist testen in de echte wereld, wat betekent dat we imperfecte systemen moeten accepteren die onmiddellijk menselijk ingrijpen vereisen. Hoe beter deze systemen worden, hoe gemakkelijker het is om te vergeten wie werkelijk de leiding heeft. Crashes dienen als brute herinneringen aan deze realiteit.
Deze middenweg – waar automatisering goed genoeg werkt om vertrouwen op te bouwen, maar niet goed genoeg om risico’s te elimineren – kan voorlopig onvermijdelijk zijn. De uitdaging ligt in het erkennen van deze beperking en het verzachten van de psychologische en fysiologische gevolgen ervan voordat verdere botsingen plaatsvinden.
