Mantan kepala program self-driving Uber, Raffi Krikorian, baru-baru ini menabrakkan Tesla Model X miliknya saat menggunakan mode Full Self-Driving (FSD), hingga menabrak tembok beton. Insiden tersebut bukan hanya mengenai satu tabrakan; hal ini memperlihatkan kelemahan kritis dalam kondisi otomatisasi saat ini. Sistem bantuan pengemudi modern memerlukan intervensi manusia secara instan ketika terjadi kegagalan, namun pada saat yang sama membuai pengemudi dalam rasa aman yang salah. Keseimbangan yang tidak mudah ini menimbulkan pertanyaan tentang tanggung jawab, dampak psikologis, dan risiko yang tidak dapat dihindari dari teknologi otonom tahap awal.
Keruntuhan dan “Zona Keruntuhan Moral”
Krikorian menggambarkan kejadian di The Atlantic : Tesla miliknya tiba-tiba menyentak kemudi saat berbelok di kawasan perumahan, menyebabkan mobil tersebut menabrak dinding. Tidak ada yang terluka, namun pengalaman tersebut menunjukkan pola yang berbahaya. Dia membingkainya melalui kacamata konsep “zona kehancuran moral ” yang dikemukakan oleh peneliti Madeleine Clare Elish – gagasan bahwa ketika otomatisasi gagal, manusialah yang menanggung kesalahannya, meskipun sistemlah yang memegang kendali.
Tesla, seperti produsen mobil lainnya, secara hukum menempatkan pengemudi sebagai pihak yang paling bertanggung jawab atas fitur otonom. Perusahaan memperingatkan bahwa sistem ini tidak sempurna dan memerlukan pengambilalihan pengemudi segera. Namun, masalah ini melampaui tanggung jawab hukum.
Psikologi Semi Otonomi
Krikorian berpendapat bahwa sistem semi-otonom menciptakan jebakan psikologis. Performanya cukup baik untuk mencegah pengemudi aktif namun tidak cukup baik untuk menghilangkan kebutuhan akan perhatian manusia. Hal ini menyebabkan penurunan kewaspadaan – sebuah fenomena yang umum terjadi ketika perhatian melayang ketika sistem pemantauan jarang mengalami kegagalan. Hasilnya? Manusia menjadi kurang siap bereaksi ketika terjadi peristiwa yang tidak terduga.
Masalahnya juga bersifat fisiologis. Bahkan dalam kondisi puncak, manusia memerlukan waktu beberapa detik untuk kembali fokus, memutuskan tindakan, dan melaksanakannya. Keterlambatan ini membuat pengambilalihan instan menjadi tidak realistis dalam banyak skenario kegagalan. Teknologi ini bergantung pada manusia untuk menyelamatkan situasi, namun seringkali meminta pertanggungjawaban mereka ketika penyelamatan tersebut gagal.
Fase yang Tidak Dapat Dihindari?
Tahap teknologi otonom saat ini memerlukan pengujian di dunia nyata, yang berarti menerima sistem yang tidak sempurna yang memerlukan intervensi manusia segera. Semakin baik sistem ini, semakin mudah kita melupakan siapa sebenarnya yang memegang kendali. Kecelakaan berfungsi sebagai pengingat brutal akan kenyataan ini.
Jalan tengah ini—di mana otomatisasi bekerja cukup baik untuk membangun kepercayaan namun tidak cukup baik untuk menghilangkan risiko—mungkin tidak dapat dihindari untuk saat ini. Tantangannya terletak pada mengakui keterbatasan ini dan memitigasi konsekuensi psikologis dan fisiologisnya sebelum benturan lebih lanjut terjadi.
