Бывший глава программы беспилотного вождения Uber, Раффи Крикорян, недавно врезался на своем Tesla Model X, используя режим Full Self-Driving (FSD), в бетонную стену. Этот инцидент – не просто одно столкновение, он обнажает критический недостаток в текущем состоянии автоматизации. Современные системы помощи водителю требуют мгновенного вмешательства человека в случае сбоя, но одновременно усыпляют бдительность водителей, создавая ложное чувство безопасности. Этот неустойчивый баланс поднимает вопросы об ответственности, психологических эффектах и неизбежных рисках ранних стадий автономных технологий.
Авария и «Зона моральной деформации»
Крикорян описывает инцидент в The Atlantic : его Tesla неожиданно дернулась рулем во время поворота в жилом районе, направив машину в стену. Никто не пострадал, но этот случай подчеркнул опасную закономерность. Он рассматривает это через призму концепции исследовательницы Мадлен Клэр Элиш, «зоны моральной деформации » – идеи о том, что когда автоматизация выходит из строя, ответственность ложится на человека, даже если система находилась в управлении.
Tesla, как и другие автопроизводители, юридически возлагает окончательную ответственность за автономные функции на водителя. Компания предупреждает, что эти системы несовершенны и требуют немедленного вмешательства водителя. Однако проблема выходит за рамки юридической ответственности.
Психология полуавтономности
Крикорян утверждает, что полуавтономные системы создают психологическую ловушку. Они работают достаточно хорошо, чтобы отбить желание активно управлять автомобилем, но недостаточно хорошо, чтобы исключить необходимость внимания водителя. Это приводит к снижению бдительности – известному феномену, когда внимание рассеивается при наблюдении за системами, которые редко дают сбои. Результат? Люди становятся менее подготовленными к реагированию в случае неожиданного события.
Проблема также и в физиологии. Даже в оптимальном состоянии человеку требуются секунды, чтобы сфокусироваться, принять решение и выполнить его. Эта задержка делает мгновенное вмешательство нереалистичным во многих сценариях сбоя. Технология рассчитывает на то, что люди спасут ситуацию, но часто возлагает на них вину, когда спасение не удается.
Неизбежный этап?
Текущая стадия автономных технологий требует реальных испытаний, что означает принятие несовершенных систем, требующих немедленного вмешательства человека. Чем лучше становятся эти системы, тем легче забыть, кто на самом деле в управлении. Аварии служат жестоким напоминанием об этой реальности.
Этот промежуточный этап – где автоматизация работает достаточно хорошо, чтобы вызвать доверие, но недостаточно хорошо, чтобы устранить риск – может быть неизбежным на данный момент. Задача состоит в том, чтобы признать это ограничение и смягчить его психологические и физиологические последствия до того, как произойдут новые столкновения.
