El ex director del programa de conducción autónoma de Uber, Raffi Krikorian, estrelló recientemente su Tesla Model X mientras utilizaba el modo de conducción autónoma total (FSD), chocando contra un muro de hormigón. El incidente no se trata sólo de una colisión; Expone una falla crítica en el estado actual de la automatización. Los sistemas modernos de asistencia al conductor exigen una intervención humana instantánea cuando fallan, pero al mismo tiempo adormecen a los conductores con una falsa sensación de seguridad. Este equilibrio incómodo plantea interrogantes sobre la responsabilidad, los efectos psicológicos y los riesgos inevitables de la tecnología autónoma en sus primeras etapas.
La crisis y la “zona de crisis moral”
Krikorian describe el incidente en The Atlantic : su Tesla giró inesperadamente el volante durante una curva en una zona residencial, enviando el coche contra una pared. Nadie resultó herido, pero la experiencia puso de relieve un patrón peligroso. Lo enmarca a través de la lente del concepto de la investigadora Madeleine Clare Elish de “zona de crisis moral “: la idea de que cuando la automatización falla, los humanos absorben la culpa, a pesar de que el sistema tenía el control.
Tesla, al igual que otros fabricantes de automóviles, posiciona legalmente a los conductores como los responsables finales de las funciones autónomas. La compañía advierte que estos sistemas no son perfectos y requieren que el conductor tome el control de inmediato. Sin embargo, la cuestión va más allá de la responsabilidad legal.
La psicología de la semiautonomía
Krikorian sostiene que los sistemas semiautónomos crean una trampa psicológica. Funcionan lo suficientemente bien como para desalentar la conducción activa, pero no lo suficientemente bien como para eliminar la necesidad de atención humana. Esto conduce a una disminución de la vigilancia, un fenómeno conocido en el que la atención se desvía cuando se monitorean sistemas que rara vez fallan. ¿El resultado? Los humanos estamos menos preparados para reaccionar cuando ocurre un evento inesperado.
El problema también es fisiológico. Incluso en condiciones óptimas, los humanos necesitan segundos para reenfocarse, decidir un curso de acción y ejecutarlo. Este retraso hace que la adquisición instantánea del control sea poco realista en muchos escenarios de fracaso. La tecnología depende de los humanos para salvar la situación, pero a menudo los responsabiliza cuando el rescate falla.
¿Una fase inevitable?
La etapa actual de la tecnología autónoma requiere pruebas en el mundo real, lo que significa aceptar sistemas imperfectos que exigen intervención humana inmediata. Cuanto mejores sean estos sistemas, más fácil será olvidar quién está realmente a cargo. Los accidentes sirven como recordatorios brutales de esta realidad.
Este término medio, donde la automatización funciona lo suficientemente bien como para generar confianza pero no lo suficientemente bien como para eliminar el riesgo, puede ser inevitable por ahora. El desafío radica en reconocer esta limitación y mitigar sus consecuencias psicológicas y fisiológicas antes de que ocurran más colisiones.
