L’ancien responsable du programme de conduite autonome d’Uber, Raffi Krikorian, a récemment écrasé sa Tesla Model X alors qu’il utilisait le mode Full Self-Driving (FSD), roulant contre un mur de béton. L’incident ne concerne pas seulement une collision ; il expose une faille critique dans l’état actuel de l’automatisation. Les systèmes modernes d’aide à la conduite exigent une intervention humaine instantanée en cas de panne, tout en endormissant simultanément les conducteurs dans un faux sentiment de sécurité. Cet équilibre précaire soulève des questions sur la responsabilité, les effets psychologiques et les risques inévitables des technologies autonomes à un stade précoce.
Le crash et la « zone de déformation morale »
Krikorian décrit l’incident dans The Atlantic : sa Tesla a soudainement secoué le volant lors d’un virage dans une zone résidentielle, envoyant la voiture contre un mur. Personne n’a été blessé, mais l’expérience a mis en évidence un schéma dangereux. Il le présente à travers le prisme du concept de la « zone de déformation morale » de la chercheuse Madeleine Clare Elish – l’idée selon laquelle lorsque l’automatisation échoue, les humains absorbent la faute, même si le système était sous contrôle.
Tesla, comme d’autres constructeurs automobiles, positionne légalement les conducteurs comme responsables ultimes des fonctionnalités autonomes. La société prévient que ces systèmes ne sont pas parfaits et nécessitent une prise en charge immédiate par le conducteur. Mais la question dépasse le cadre de la responsabilité juridique.
La psychologie de la semi-autonomie
Krikorian soutient que les systèmes semi-autonomes créent un piège psychologique. Leurs performances sont suffisamment bonnes pour décourager la conduite active, mais pas suffisamment pour éliminer le besoin d’attention humaine. Cela conduit à une diminution de la vigilance – un phénomène connu dans lequel l’attention dérive lors de la surveillance de systèmes qui tombent rarement en panne. Le résultat ? Les humains sont moins préparés à réagir lorsqu’un événement inattendu se produit.
Le problème est également physiologique. Même dans des conditions optimales, les humains ont besoin de quelques secondes pour se recentrer, décider d’un plan d’action et l’exécuter. Ce décalage rend la prise de contrôle instantanée irréaliste dans de nombreux scénarios de défaillance. La technologie s’appuie sur les humains pour sauver la situation, mais les tient souvent responsables lorsque ce sauvetage échoue.
Une phase incontournable ?
L’étape actuelle de la technologie autonome nécessite des tests dans le monde réel, ce qui signifie accepter des systèmes imparfaits qui nécessitent une intervention humaine immédiate. Plus ces systèmes s’améliorent, plus il est facile d’oublier qui est réellement aux commandes. Les accidents nous rappellent brutalement cette réalité.
Cette solution intermédiaire, dans laquelle l’automatisation fonctionne suffisamment bien pour instaurer la confiance mais pas assez pour éliminer les risques, est peut-être inévitable pour le moment. Le défi consiste à reconnaître cette limitation et à atténuer ses conséquences psychologiques et physiologiques avant que de nouvelles collisions ne se produisent.
