O ex-chefe do programa de direção autônoma do Uber, Raffi Krikorian, bateu recentemente seu Tesla Model X enquanto usava o modo Full Self-Driving (FSD), batendo em uma parede de concreto. O incidente não se trata apenas de uma colisão; expõe uma falha crítica no estado atual da automação. Os modernos sistemas de assistência ao condutor exigem intervenção humana instantânea quando falham, mas ao mesmo tempo acalmam os condutores com uma falsa sensação de segurança. Este equilíbrio difícil levanta questões sobre a responsabilidade, os efeitos psicológicos e os riscos inevitáveis da tecnologia autónoma em fase inicial.
O Crash e a “Zona de Crise Moral”
Krikorian descreve o incidente no The Atlantic : seu Tesla sacudiu inesperadamente o volante durante uma curva em uma área residencial, jogando o carro contra uma parede. Ninguém ficou ferido, mas a experiência destacou um padrão perigoso. Ele enquadra-o através das lentes do conceito da investigadora Madeleine Clare Elish de “zona de deformação moral ” – a ideia de que quando a automação falha, os humanos absorvem a culpa, mesmo que o sistema esteja no controlo.
A Tesla, como outras montadoras, posiciona legalmente os motoristas como responsáveis finais pelos recursos autônomos. A empresa alerta que esses sistemas não são perfeitos e exigem a aquisição imediata do motorista. No entanto, a questão vai além da responsabilidade legal.
A Psicologia da Semiautonomia
Krikorian argumenta que os sistemas semiautônomos criam uma armadilha psicológica. Eles funcionam bem o suficiente para desencorajar a direção ativa, mas não o suficiente para eliminar a necessidade de atenção humana. Isso leva à diminuição da vigilância – um fenômeno conhecido em que a atenção se desvia ao monitorar sistemas que raramente falham. O resultado? Os humanos ficam menos preparados para reagir quando ocorre um evento inesperado.
O problema também é fisiológico. Mesmo nas melhores condições, os humanos precisam de segundos para reorientar, decidir um curso de ação e executá-lo. Esse atraso torna a aquisição instantânea irrealista em muitos cenários de falha. A tecnologia depende dos humanos para salvar a situação, mas muitas vezes os responsabiliza quando o resgate falha.
Uma fase inevitável?
O estágio atual da tecnologia autônoma exige testes no mundo real, o que significa aceitar sistemas imperfeitos que exigem intervenção humana imediata. Quanto melhores estes sistemas se tornam, mais fácil é esquecer quem está realmente no comando. Os acidentes servem como lembretes brutais desta realidade.
Este meio-termo – onde a automação funciona suficientemente bem para criar confiança, mas não o suficiente para eliminar riscos – pode ser inevitável por enquanto. O desafio reside em reconhecer esta limitação e mitigar as suas consequências psicológicas e fisiológicas antes que ocorram novas colisões.
