Колишній глава програми безпілотного керування Uber, Раффі Крикорян, нещодавно врізався на своєму Tesla Model X, використовуючи режим Full Self-Driving (FSD), в бетонну стіну. Цей інцидент – не просто одне зіткнення, він оголює критичний недолік у стані автоматизації. Сучасні системи допомоги водієві вимагають миттєвого втручання людини у разі збою, але одночасно присипляють пильність водіїв, створюючи помилкове почуття безпеки. Цей нестійкий баланс порушує питання про відповідальність, психологічні ефекти та неминучі ризики ранніх стадій автономних технологій.
Аварія та «Зона моральної деформації»
Крикорян описує інцидент у The Atlantic: його Tesla несподівано сіпнулася кермом під час повороту в житловому районі, направивши машину в стіну. Ніхто не постраждав, але цей випадок наголосив на небезпечній закономірності. Він розглядає це через призму концепції дослідниці Мадлен Клер Еліш, “ зони моральної деформації ” – ідеї про те, що коли автоматизація виходить з ладу, відповідальність лягає на людину, навіть якщо система перебувала в управлінні.
Tesla, як і інші автовиробники, юридично покладає остаточну відповідальність за автономні функції водія. Компанія попереджає, що ці системи недосконалі і вимагають негайного втручання водія. Проте проблема виходить за межі юридичної відповідальності.
Психологія напівавтономності
Крикорян стверджує, що напівавтономні системи створюють психологічну пастку. Вони працюють досить добре, щоб відбити бажання активно керувати автомобілем, але недостатньо добре, щоб унеможливити увагу водія. Це призводить до зниження пильності – відомого феномена, коли увага розсіюється при спостереженні за системами, які рідко дають збої. Результат? Люди стають менш підготовленими до реагування у разі несподіваної події.
Проблема також і у фізіології. Навіть у оптимальному стані людині потрібні секунди, щоб сфокусуватися, прийняти рішення та виконати його. Ця затримка робить миттєве втручання нереалістичним у багатьох сценаріях збою. Технологія розраховує на те, що люди врятують ситуацію, але часто покладає на них провину, коли порятунок не вдається.
Неминучий етап?
Поточна стадія автономних технологій потребує реальних випробувань, що означає прийняття недосконалих систем, які потребують негайного втручання людини. Що краще стають ці системи, то легше забути, хто насправді в управлінні. Аварії є жорстоким нагадуванням про цю реальність.
Цей проміжний етап – де автоматизація працює досить добре, щоб викликати довіру, але недостатньо добре, щоб усунути ризик – може бути неминучим на даний момент. Завдання полягає в тому, щоб визнати це обмеження та пом’якшити його психологічні та фізіологічні наслідки до того, як відбудуться нові зіткнення.
