Der frühere Leiter des Selbstfahrprogramms von Uber, Raffi Krikorian, verunglückte kürzlich mit seinem Tesla Model X im FSD-Modus (Full Self-Driving) und fuhr gegen eine Betonwand. Bei dem Vorfall handelte es sich nicht nur um eine Kollision; Es deckt einen kritischen Fehler im aktuellen Stand der Automatisierung auf. Moderne Fahrerassistenzsysteme erfordern sofortiges menschliches Eingreifen, wenn sie ausfallen, wiegen den Fahrer aber gleichzeitig in einem falschen Sicherheitsgefühl. Dieses unsichere Gleichgewicht wirft Fragen nach Verantwortung, psychologischen Auswirkungen und den unvermeidbaren Risiken autonomer Technologie im Frühstadium auf.
Der Absturz und die „Moral Crumple Zone“
Krikorian beschreibt den Vorfall in The Atlantic : Sein Tesla ruckte während einer Kurve in einem Wohngebiet unerwartet mit dem Lenkrad und schleuderte das Auto gegen eine Wand. Niemand wurde verletzt, aber die Erfahrung zeigte ein gefährliches Muster. Er betrachtet es durch die Linse des Konzepts der „moralischen Knautschzone “ der Forscherin Madeleine Clare Elish – die Idee, dass bei einem Versagen der Automatisierung der Mensch die Schuld auf sich nimmt, obwohl das System die Kontrolle hatte.
Tesla legt, wie auch andere Autohersteller, den Fahrern gesetzlich die Verantwortung für die autonomen Funktionen zu. Das Unternehmen warnt davor, dass diese Systeme nicht perfekt sind und eine sofortige Übernahme durch den Fahrer erfordern. Das Problem geht jedoch über die gesetzliche Haftung hinaus.
Die Psychologie der Halbautonomie
Krikorian argumentiert, dass halbautonome Systeme eine psychologische Falle darstellen. Ihre Leistung ist gut genug, um vom aktiven Fahren abzuschrecken, aber nicht gut genug, um die Notwendigkeit menschlicher Aufmerksamkeit auszuschließen. Dies führt zu einem Nachlassen der Wachsamkeit – ein bekanntes Phänomen, bei dem die Aufmerksamkeit bei der Überwachung von Systemen, die selten ausfallen, abweicht. Das Ergebnis? Der Mensch ist weniger darauf vorbereitet, auf ein unerwartetes Ereignis zu reagieren.
Das Problem ist auch physiologischer Natur. Selbst in Höchstform braucht der Mensch Sekunden, um sich neu zu konzentrieren, sich für eine Vorgehensweise zu entscheiden und diese auszuführen. Diese Verzögerung macht eine sofortige Übernahme in vielen Ausfallszenarien unrealistisch. Die Technologie verlässt sich auf den Menschen, um die Situation zu retten, macht ihn aber oft zur Verantwortung, wenn die Rettung fehlschlägt.
Eine unvermeidbare Phase?
Das aktuelle Stadium der autonomen Technologie erfordert Tests in der realen Welt, was bedeutet, dass unvollkommene Systeme akzeptiert werden müssen, die ein sofortiges menschliches Eingreifen erfordern. Je besser diese Systeme werden, desto leichter vergisst man, wer wirklich das Sagen hat. Unfälle erinnern uns brutal an diese Realität.
Dieser Mittelweg – bei dem die Automatisierung gut genug funktioniert, um Vertrauen aufzubauen, aber nicht gut genug, um Risiken zu beseitigen – könnte vorerst unvermeidbar sein. Die Herausforderung besteht darin, diese Einschränkung anzuerkennen und ihre psychologischen und physiologischen Folgen abzumildern, bevor es zu weiteren Kollisionen kommt.
