Direito Digit@l

Inteligência artificial, algoritmos e decisões injustas: é hora de revermos criticamente nosso papel em face da tecnologia

Inteligência artificial, algoritmos e decisões injustas: é hora de revermos criticamente nosso papel em face da tecnologia.

31/10/2017

Vivemos nossas vidas não apenas por decisões tomadas por nós, mas também por decisões de outras pessoas, como, por exemplo, em processos seletivos para empregos, admissões para cursos de graduação e pós-graduação, empréstimos bancários, etc. E, quando nos submetemos a estas decisões de terceiros, esperamos que sejam decisões equânimes, justas. Claro que muitas vezes tais decisões são parciais e isso não é propriamente uma novidade, mas o momento é de maior reflexão.

É que estamos nos deparando com aumento significativo das decisões baseadas em big data e algoritmos, o que faz com que muitos processos sejam automatizados, inclusive decisões sobre as nossas vidas. Como exemplo, podemos citar um caso julgado pela Suprema Corte de Winconsin em julho de 2016, quando Eric Loomis pretendeu a reforma de sentença de primeiro grau em razão da mesma tê-lo considerado um possível reincidente criminal, o que foi feito com o uso de um software, o COMPASS. Naquela ocasião Loomis alegou que não teve acesso às fórmulas matemáticas do software e que, por isso, não poderia se defender adequadamente. A fabricante do software, a Northpointe, Inc. mantêm sob forte sigilo seus algoritmos que processam o sistema de pontuação.

Este episódio ilustra o cenário de que o uso de inteligência artificial pode ser mais eficiente e menos custoso que outras ferramentas, além de ser mais preciso que o ser humano. Não surpreende, portanto, que cada vez mais se fale em decisões algorítmicas.

O grande problema é que os algoritmos são processos complexos e obscuros, já que constantemente significam um segredo de negócios. E, por serem obscuros no sentido de não serem auditáveis (não porque seja tecnicamente impossível, mas, como dissemos, por ser economicamente um dado sigiloso), podem ser tendenciosos e preconceituosos. Quanto a isso, lembramos o episódio da Microsoft que, em março de 2016 apresentou ao mundo a conta no Twitter @TayandYou, que era de sua "chatbot" (programas computacionais que simulam um humano na conversação com outras pessoas). Neste caso, o perfil ficou menos de um dia no ar, tendo sido desativado em razão das mensagens racistas, homofóbicas, misóginas que o perfil passou a fazer após interagir com humanos e absorver deles os entendimentos preconceituosos e lamentáveis expressados publicamente naquela rede social.

Isso nos obriga a refletir sobre consequências do uso da inteligência artificial e das suas repercussões. Afinal, caso as coisas não saiam bem como o imaginado, de quem será a responsabilidade? Para casos envolvendo humanos, constantemente nos valemos das nossas leis para tentar sanar as injustiças, oportunidade que buscamos tratamentos equitativos.

Os algoritmos que nos avaliam, deveriam, sob esta perspectiva, sujeitar-se aos critérios de avaliação justa que buscamos. Mas isso não é bem o que acontece, seja porque consideramos que eles são mais precisos do que realmente são, seja porque permitimos que sigam nos julgando obscuramente. É curioso como uma testemunha que não possa explicar seu pensamento acaba sendo alvo de desconfiança de um magistrado, mas, quando o assunto são algoritmos o sentimento parece ser um tanto diverso.

Algoritmos têm sido ferramentas que diminuem o ônus sobre as instituições, inexistindo paridade entre eles e decisões humanas. É fundamental questionar, assim, se é esse o objetivo que esperamos encontrar nas inovações. Devemos automatizar pela simples automação? Ou cabe aqui uma reflexão ética sobre injustiças algorítmicas? Vamos questioná-los e enfrentar decisões supostamente injustas, ou vamos manter a ideia de que são processos livres de falhas, ignorando injustiças e outros males?

Não é a primeira vez e nem será a última que vamos cobrar uma agenda para discutir algoritmos, apesar da realidade fática ter demonstrado que isso parece estar saindo do nosso alcance. Para o bem da humanidade, precisamos saber mais sobre os processos de decisões baseados em algoritmos. É um debate mais abrangente e profundo do que simplesmente entendê-los como um segredo de negócios. A questão é: conseguiremos?

Veja mais no portal
cadastre-se, comente, saiba mais

Colunistas

Coriolano Aurélio de Almeida Camargo Santos é advogado e Presidente da Digital Law Academy. Ph.D., ocupa o cargo de Conselheiro Estadual da Ordem dos Advogados do Brasil, Seção São Paulo (OAB/SP), com mandatos entre 2013-2018 e 2022-2024. É membro da Comissão Nacional de Inteligência Artificial do Conselho Federal da OAB. Foi convidado pela Mesa do Congresso Nacional para criar e coordenar a comissão de Juristas que promoveu a audiência pública sobre a criação da Autoridade Nacional de Proteção de Dados, realizada em 24 de maio de 2019. Possui destacada carreira acadêmica, tendo atuado como professor convidado da Università Sapienza (Roma), IPBEJA (Portugal), Granada, Navarra e Universidade Complutense de Madrid (Espanha). Foi convidado pelo Supremo Tribunal Federal em duas ocasiões para discutir temas ligados ao Direito e à Tecnologia. Também atua como professor e coordenador do programa de Lei Geral de Proteção de Dados (LGPD) da Escola Superior de Advocacia Nacional do Conselho Federal é o órgão máximo na estrutura da Ordem dos Advogados do Brasil (CFOAB). Foi fundador e presidente da Comissão de Direito Digital e Compliance da OAB/SP (2005-2018). Atuou como Juiz do Tribunal de Impostos e Taxas de São Paulo (2005-2021) e fundou a Comissão do Contencioso Administrativo Tributário da OAB/SP em 2014. Na área de arbitragem, é membro da Câmara Empresarial de Arbitragem da FECOMERCIO, OAB/SP e da Câmara Arbitral Internacional de Paris. Foi membro do Conselho Jurídico da FIESP (2011-2020) e diretor do Departamento Jurídico da mesma entidade (2015-2022). Atualmente desempenha o papel de Diretor Jurídico do DEJUR do CIESP. Foi coordenador do Grupo de Estudos de Direito Digital da FIESP (2015/2020). Foi convidado e atuou como pesquisador junto ao Conselho Nacional de Justiça (CNJ), em 2010, para tratar da segurança física e digital de processos findos. Além disso, ocupou o cargo de Diretor Titular do Centro do Comércio da FECOMERCIO (2011-2017) e foi conselheiro do Conselho de Tecnologia da Informação e Comunicação da FECOMERCIO (2006-2010). Desde 2007, é membro do Conselho Superior de Direito da FecomercioSP. Atua como professor de pós-graduação da Universidade Presbiteriana Mackenzie desde 2007, nos cursos de Direito e Tecnologia, tendo lecionado no curso de Direito Digital da Fundação Getúlio Vargas, IMPACTA Tecnologia e no MBA em Direito Eletrônico da EPD. Ainda coordenou e fundou o Programa de Pós-Graduação em Direito Digital e Compliance do Ibmec/Damásio. É Mestre em Direito na Sociedade da Informação pela FMU (2007) e Doutor em Direito pela FADISP (2014). Lecionou na Escola de Magistrados da Justiça Federal da 3ª Região, Academia Nacional de Polícia Federal, Governo do Estado de São Paulo e Congresso Nacional, em eventos em parceria com o Departamento de Justiça dos Estados Unidos, INTERPOL e Conselho da Europa. Como parte de sua atuação internacional, é membro da International High Technology Crime Investigation Association (HTCIA) e integrou o Conselho Científico de Conferências de âmbito mundial (ICCyber), com o apoio e suporte da Diretoria Técnico-Científica do Departamento de Polícia Federal, Federal Bureau of Investigation (FBI/USA), Australian Federal Police (AFP) e Guarda Civil da Espanha. Além disso, foi professor convidado em instituições e empresas de grande porte, como Empresa Brasileira de Aeronáutica (EMBRAER), Banco Santander e Microsoft, bem como palestrou em eventos como Fenalaw/FGV.GRC-Meeting, entre outros. Foi professor colaborador da AMCHAM e SUCESU. Em sua atuação junto ao Conselho Nacional de Política Fazendária (CONFAZ), apresentou uma coletânea de pareceres colaborativos à ação governamental, alcançando resultados significativos com a publicação de Convênios e Atos COTEPE voltados para a segurança e integração nacional do sistema tributário e tecnológico. Também é autor do primeiro Internet-Book da OAB/SP, que aborda temas de tributação, direito eletrônico e sociedade da informação, e é colunista em Direito Digital, Inovação e Proteção de Dados do Portal Migalhas, entre outros. Em sua atuação prática, destaca-se nas áreas do Direito Digital, Inovação, Proteção de Dados, Tributário e Empresarial, com experiência jurídica desde 1988.

Leila Chevtchuk, eleita por aclamação pelos ministros do TST integrou o Conselho Consultivo da Escola Nacional de Formação e Aperfeiçoamento de Magistrados do Trabalho – ENAMAT. Em 2019 realizou visita técnico científica a INTERPOL em Lyon na França e EUROPOL em 2020 em Haia na Holanda. Desembargadora, desde 2010, foi Diretora da Escola Judicial do Tribunal Regional do Trabalho da 2ª região. Pela USP é especialista em transtornos mentais relacionados ao trabalho e em psicologia da saúde ocupacional. Formada em Direito pela USP. Pós-graduada pela Universidade de Lisboa, na área de Direito do Trabalho. Mestre em Relações do Trabalho pela PUC e doutorado na Universidade Autôno de Lisboa.