Muito já se questionou acerca da importância de novas tecnologias para a consolidação dos impactos da Quarta Revolução Industrial na transição para a Internet das Coisas (Internet of Things, ou IoT) e um dos assuntos de maior destaque é o desenvolvimento de carros autônomos, analisado a partir de várias soluções inovadoras. Exemplo curioso é o da tecnologia LiDAR (acrônimo de Light Radar), baseada no rastreamento da luz refletida por objetos do entorno de um veículo autônomo. Sem dúvidas, trata-se de empolgante tecnologia que vem sendo adotada para o desenvolvimento de carros e navios autônomos – e até mesmo de drones – que independem de um condutor ou piloto1.
Para bem contextualizar o assunto, é importante lembrar que foi com as amplamente divulgadas testagens de um Toyota Prius autoguiado, em iniciativa levada a efeito pela Google, Inc. (projeto “Waymo”2), bem como do veículo autônomo Chevrolet Bolt, desenvolvido pela Cruise, LLC3, e do projeto-piloto da fabricante norte-americana Tesla, Inc., que tais discussões passaram a ser concebidas como projetos comerciais. O que se almeja, de fato, é atingir a categoria “nível 5” de autonomia veicular, que é considerada ideal para a oferta de veículos autônomos ao mercado de consumo4. De todo modo, a inconcretude da autonomia faz surgir grande preocupação quanto aos riscos (e falhas) que podem apresentar as máquinas enquadráveis nos níveis mais baixos (que variam de “0” a “4”).
É certo que a possibilidade de criar máquinas sofisticadas e capazes de potencializar o desenvolvimento das sociedades levanta uma série de questionamentos éticos, relacionados tanto à necessidade de que se garanta que tais máquinas não causem danos a humanos e outros seres moralmente relevantes, quanto aos aspectos concernentes aos variados estágios de projeto e de desenvolvimento em que se encontram5, e, para o que mais interessa a esse breve ensaio, à responsabilidade civil aplicável em razão de falhas desses sistemas algorítmicos.
As propostas dos projetos “Waymo” e “Cruise” são baseadas na citada tecnologia LiDAR para a realização de cálculos matemáticos que projetam a distância do veículo em relação aos objetos que o circundam6. Em milissegundos, dados são coletados e processados para que se crie uma estrutura tridimensional do ambiente7. A partir dela, o algoritmo autoriza ou não a aceleração ou frenagem do automóvel, controlando, ainda, sua velocidade média e eventuais manobras (bruscas ou sutis).
Naturalmente, há que se considerar uma série de parametrizações que variam de um fabricante para outro, e entre modelos de automóveis com diferentes dimensões, massa, estrutura aerodinâmica etc. Além disso, o fato de ser uma tecnologia baseada em luminância, ou seja, que mede a densidade da luz com base em feixes que são projetados pelo veículo, refletidos pelo ambiente, que retornam e são recapturados pelo sensor que os projetou, o qual afere, por fórmulas, a distância entre a projeção original e o reflexo capturado, sua principal utilização sempre foi a medição de eixos perpendiculares (abscissas e ordenadas) para mapeamento morfológico, indicando a estrutura de relevo do solo a partir de feixes emitidos por satélites artificiais geoestacionários dedicados ao mapeamento topográfico. Somente agora é que essa tecnologia vem sendo testada para projetos envolvendo veículos autônomos. É nesse contexto que se suscita a dúvida sobre a segurança desses sistemas.
Imagens e dados coletados a partir de estruturas de luminância e de radares compõem o conjunto inicial que alimenta o sistema e aciona o algoritmo respectivo. A partir de então, um modelo 3D é gerado e dá início à etapa de navegação veicular propriamente dita. É a partir desse modelo de três dimensões (largura, altura e profundidade) – e de novos dados que serão continuamente coletados e utilizados para identificar os elementos do entorno (a própria estrada, eventuais objetos, suas cores, contornos etc.) – que se dá início à segunda etapa, “interação”, pela qual o veículo passará ao processamento de dados e iniciará seu deslocamento. Nesse momento, as sinalizações horizontais e verticais serão consideradas, bem como eventuais objetos e obstáculos, como transeuntes e outros automóveis. É a etapa mais crítica do processo, pois é nela que eventuais colisões e atropelamentos podem ocorrer.
Na terceira etapa, descrita como “raciocínio”8, tem-se a estruturação de rotinas cíclicas de tomada de decisão. Os dados que chegam a esse estágio já foram tratados e filtrados anteriormente para que, então, seja viável a aferição contextual das consequências de eventual decisão (acelerar, frear, mudar a trajetória, gerar um alerta etc.). E o ciclo se repete continuamente, com novos dados, novos contextos e novas decisões. O veículo e sua composição material são mero objeto, controlado por um algoritmo (software) complexo, que considerará espaço, tempo, velocidade, contexto, natureza dos outros objetos dos arredores, riscos de colisão, potenciais danos9 e que, enfim, “decidirá” como “reagir” a tudo isso.
É nessa etapa do processo que decisões algorítmicas, baseadas em predições estatísticas, são implementadas10. Também é nesses ciclos decisionais que eventuais erros podem gerar danos! E, entre o previsível e o imprevisível, o ponderável e o imponderável, há decisões que ultrapassam a mera heurísticas... São decisões morais.
Iniciativas como a Moral Machine (“Máquina Moral”), do Massachusetts Institute of Technology – MIT, propõem a testagem das decisões tomadas por humanos em cenários extremos (de “dano ou dano”)11. Um carro autônomo ilustrativo é apresentado em situações nas quais, por exemplo, um pedestre atravessa a pista e é preciso escolher entre a manutenção do percurso, que causará o atropelamento e a morte do pedestre, ou, alternativamente, o desvio de percurso, implementado para salvar o pedestre, mas causando a colisão ou perda de controle do veículo e a morte certa do passageiro que está em seu interior12.
Por óbvio, havendo erro, seja pela má coleta, seja pelo mau processamento, seja ainda pela inviabilidade de solução algorítmica para o problema, corre-se o risco de que a decisão tomada seja contaminada por vieses. Em simples termos, o enviesamento algorítmico (algorithmic bias)13 indica a falha ‘no consequente’, que pode gerar dano. Entretanto, é preciso que se considere o ‘antecedente’, ou seja, que se investigue o percurso causal do processo heurístico para que seja possível aferir se a decisão eivada de vício foi tomada em função de uma falha ocorrida em etapa prévia, que tenha acabado por macular os estágios de processamento subsequentes.
Em 2019, a grande mídia noticiou haver maior propensão de carros autônomos baseados na tecnologia LiDAR ao atropelamento de pessoas negras, denotando possível natureza discriminatória do algoritmo14. De fato, é usual que debates envolvendo o assunto “inteligência artificial” gerem sonoras polêmicas, inclusive do ponto de vista terminológico, pois ainda não se atingiu o especulativo e distópico momento da “singularidade tecnológica”15 descrita por Vernor Vinge e Ray Kurzweil. Além disso, o tema é permeado por inconsistências e incertezas, que tornam qualquer pretensão regulatória um desafio ainda maior.
Nos Estados Unidos da América, foi apresentado, em 12 de dezembro de 2017, o “Fundamentally Understanding the Usability and Realistic Evolution of Artificial Intelligence Act”, ou apenas “Future of AI Act”16, que é bastante apegado à correlação entre o conceito de IA e o funcionamento do cérebro humano, denotando proximidade conceitual com a ideia de “singularidade tecnológica”. Tal documento indica, ainda, diretrizes éticas para o fomento ao desenvolvimento algorítmico, mas não aborda a responsabilidade civil de forma direta.
Alguns documentos mais recentes, como o Artificial Intelligence Act europeu de 202117 (2021 EU AIA) e o recentíssimo Algorithmic Accountability Act norte-americano de 202218 (2022 US AAA), que atualizou a versão anterior, de 201919, evitam a discussão terminológica sobre o alcance semântico do termo “inteligência”, preferindo se reportar a “sistemas decisionais automatizados”20 (Automated Decision Systems, ou ADS’s) para explicitar a necessidade de que seja definido um regime de responsabilidade civil aplicável em decorrência de eventos danosos propiciados por tais sistemas, e, até mesmo, para reafirmar a importância da estruturação de parâmetros éticos para o desenvolvimento de algoritmos.
Segundo abalizada doutrina21, os documentos citados possuem qualidades que podem servir para mútua inspiração, denotando a importância da adequada assimilação semântica (além de outros temas) para a evolução das discussões até mesmo a nível global.
No Brasil, os projetos de lei 5.051/19, 21/20 e 872/21 visam regulamentar o tema em linhas gerais (e não apenas para o contexto dos carros autônomos), priorizando a delimitação de um sistema de responsabilização baseado na anacrônica teoria da culpa, que simplesmente não faz sentido para tutelar matéria tão complexa.
Todavia, em fevereiro de 2022, foi instituída, pelo Senado Federal, a elogiável “Comissão de Juristas responsável por subsidiar elaboração de substitutivo sobre IA” (CJSUBIA). Já foram realizadas diversas reuniões e audiências públicas e os trabalhos de elaboração do substitutivo, com término originalmente previsto para 9/8/22, tiveram seu prazo prorrogado para 7/12/2222. Sem dúvidas, as atividades da comissão merecem efusivos encômios e seus membros são extremamente competentes. Por isso, espera-se que seja apresentado um projeto substitutivo que mais se aproxime da solução adotada na União Europeia, que há anos discute a matéria em caráter prospectivo, primando por estratificar as soluções possíveis para cada contexto, a depender do grau de risco que a atividade implique.
O exemplo da tecnologia LiDAR simboliza bem isso, pois, sendo baseada em feixes de luz e na aferição da luminância para o mapeamento de obstáculos, suas falibilidades e sua previsibilidade (foreseeability) permitem, com absoluta segurança, identificar o liame causal para viabilizar a responsabilização civil do fabricante que coloca no mercado um automóvel baseado em tal tecnologia, com supedâneo na teoria do risco.
Eis algumas das razões: (i) são sensores costumeiramente utilizados para o mapeamento topográfico, tendo sido apenas recentemente aplicados a veículos autônomos; (ii) a dependência dos sensores de verificação da luminância acarreta riscos de enviesamento de dados nos processos ulteriores à coleta; (iii) a dependência do algoritmo quanto à qualidade dos dados reduz a possibilidade de redundância do sistema, acarretando a deturpação dos resultados nos estágios de processamento de decisões e inviabilizando o monitoramento de erros e a auditoria de dados; (iv) não há clareza quanto à inclusão de backdoors nos carros autônomos baseados em LiDAR (como “freios de emergência”, by design), recursos de desligamento automático (“shut down”) ou recursos que permitam aos operadores ou usuários “desligar a IA” por comandos manuais, ou torná-la “ininteligente” ao pressionar um botão de pânico.
Logo, ao invés de simplesmente acolher um regime geral de responsabilidade civil subjetiva para eventos envolvendo falhas de sistemas de IA, mais prudente seria que o Brasil reconhecesse a plêiade de situações com maior ou menor propensão à causação de danos a partir de tais sistemas, viabilizando soluções condizentes com as particularidades de cada situação, tal como definido no recente documento europeu (2021 EU AIA), no qual se optou pela regulação por abordagem baseada em riscos (risk-based approach). No caso do LiDAR, sendo evidentes os riscos, objetiva seria a responsabilização. E também assim poderia ser no Brasil.
Nesse ponto, filiamo-nos ao pensamento de Nelson Rosenvald23, que destaca, com argumentos sólidos, a necessidade de que o substitutivo ao projeto de lei brasileiro supere o singelo modelo subjetivista e avance nesse debate, ampliando a compreensão que se tem sobre a teoria do risco para abarcar múltiplas camadas que a catalisem, a exemplo da accountability e da answerability.
1 Algumas reflexões iniciais em torno do tema e que serviram de inspiração para esta coluna foram extraídas de artigo que escrevi em 2020, a saber: FALEIROS JÚNIOR, José Luiz de Moura. Discriminação por algoritmos de Inteligência Artificial: a responsabilidade civil, os vieses e o exemplo das tecnologias baseadas em luminância. Revista de Direito da Responsabilidade, Coimbra, ano 2, p. 1007-1043, 2020.
2 FINGAS, Jon. Waymo launches its first commercial self-driving car service. Engadget, 5 dez. 2018. Disponível aqui. Acesso em: 19 set. 2022.
3 OHNSMAN, Alan. GM's Cruise Poised To Add 1,100 Silicon Valley Self-Driving Car Tech Jobs. Forbes, 04 abr. 2017. Disponível aqui. Acesso em: 19 set. 2022.
4 GOH, Brenda; SUN, Yilei. Tesla 'very close' to level 5 autonomous driving technology, Musk says. Reuters, 09 jul. 2020. Disponível aqui. Acesso em: 19 set. 2022.
5 BOSTROM, Nick; YUDKOWSKY, Eliezer. The ethics of Artificial Intelligence. In: FRANKISH, Keith; RAMSEY, William (ed.). The Cambridge Handbook of Artificial Intelligence. Cambridge: Cambridge University Press, 2014, p. 316.
6 Cf. NEFF, Todd. The laser that's changing the world: the amazing stories behind LiDAR for 3D mapping to self-driving cars. Nova York: Prometheus, 2018. E-book.
7 ÖZGÜNER, Ümit; ACARMAN, Tankut; REDMILL, Keith. Autonomous ground vehicles. Boston: Artech House, 2011, p. 86-87. Explicam: “A scanning laser range finder system, or LIDAR, is a popular system for obstacle detection. A pulsed beam of light, usually from an infrared laser diode, is reflected from a rotating mirror. Any nonabsorbing object or surface will reflect part of that light back to the LIDAR, which can then measure the time of flight to produce range distance measurements at multiple azimuth angles”.
8 CHENG, Hong. Autonomous intelligent vehicles: theory, algorithms, and implementation. Londres: Springer, 2011, p. 13.
9 SIEGWART, Roland; NOURBAKHSH, Illah. Introduction to autonomous mobile robots. Cambridge: The MIT Press, 2004, p. 90.
10 FLASINSKI, Mariusz. Introduction to Artificial Intelligence. Cham: Springer, 2016, p. 15-22.
11 BELAY, Nick. Robot ethics and self-driving cars: how ethical determinations in software will require a new legal framework. The Journal of the Legal Profession, Tuscaloosa, v. 40, n. 1, p. 119-130, 2015, p. 119-120. Anota: “Perhaps most notably, machines will have to make decisions regarding whom to save or protect in the event of a collision or unforeseen obstacle”.
12 MASSACHUSETTS INSTITUTE OF TECHNOLOGY. Moral Machine. Disponível aqui. Acesso em: 19 set. 2022.
13 DANKS, David; LONDON, Alex John. Algorithmic bias in autonomous systems. Proceedings of the Twenty-Sixth International Joint Conference on Artificial Intelligence (IJCAI-17), Viena, p. 4691-4697, 2017. Disponível aqui. Acesso em: 19 set. 2022.
14 KIM, Theodore. Op-Ed: AI flaws could make your next car racist. Los Angeles Times, 7 out. 2021. Disponível em: aqui. Acesso em: 19 set. 2022; HERN, Alex. The racism of technology - and why driverless cars could be the most dangerous example yet. The Guardian, 13 mar. 2019. Disponível aqui. Acesso em: 19 set. 2022; VIEIRA, Laís. Carros autônomos podem atropelar mais pessoas negras do que brancas. R7, 11 mar. 2019. Disponível aqui. Acesso em: 19 set. 2022.
15 A “singularidade tecnológica” seria o momento teorético e futuro no qual o avanço e a sofisticação de sistemas algorítmicos propiciaria verdadeira simbiose – e possível indistinção – entre o ‘biológico’ e o ‘tecnológico’. Conferir, sobre o tema, VINGE, Vernor. The coming technological singularity: How to survive in the post-human era. In: Interdisciplinary Science and Engineering in the Era of Cyberspace. NASA John H. Glenn Research Center at Lewis Field, Cleveland, 1993, p. 11-22. Disponível em: aqui. Acesso em: 19 set. 2022; KURZWEIL, Ray. The age of spiritual machines: when computers exceed human intelligence. Nova York: Viking, 1999. p. 213; BARBOSA, Mafalda Miranda. Inteligência artificial, e-persons e direito: desafios e perspectivas. Revista Jurídica Luso-Brasileira, Lisboa, ano 3, n. 6, p. 1475-1503, 2017, p. 1501-1502.
16 ESTADOS UNIDOS DA AMÉRICA. House of Representatives. House Resolution No. 4625, Dec. 12, 2017. FUTURE of Artificial Intelligence Act. Disponível aqui. Acesso em: 19 set. 2022.
17 EUROPA. European Commission. Artificial Intelligence Act. 2021/0106(COD), abr. 2021. Disponível aqui. Acesso em: 19 set. 2022.
18 ESTADOS UNIDOS DA AMÉRICA. House of Representatives. House Resolution No. 6580, Feb. 3, 2022. Algorithmic Accountability Act of 2022. Disponível aqui. Acesso em: 19 set. 2022.
19 ESTADOS UNIDOS DA AMÉRICA. House of Representatives. House Resolution No. 2231, Apr. 10, 2019. Algorithmic Accountability Act of 2019. Disponível aqui. Acesso em: 19 set. 2022.
20 Cf. SELBST, Andrew. An institutional view of algorithmic impact assessments. Harvard Journal of Law & Technology, Cambridge, v. 35, 2021. Disponível aqui. Acesso em: 19 set. 2022.
21 The US Algorithmic Accountability Act of 2022 vs. The EU Artificial Intelligence Act: what can they learn from each other? Minds and Machines, Cham: Springer, v. 22, p. 1-9, jun. 2022. Disponível aqui. Acesso em: 19 set. 2022.
22 BRASIL. Senado Federal. Atividade Legislativa. Comissão de Juristas responsável por subsidiar elaboração de substitutivo sobre IA (CJSUBIA). Disponível aqui. Acesso em: 19 set. 2022.
23 ROSENVALD, Nelson. A falácia da responsabilidade subjetiva na regulação da IA. Migalhas, 13 maio 2022. Disponível aqui. Acesso em: 19 set. 2022.