É que estamos nos deparando com aumento significativo das decisões baseadas em big data e algoritmos, o que faz com que muitos processos sejam automatizados, inclusive decisões sobre as nossas vidas. Como exemplo, podemos citar um caso julgado pela Suprema Corte de Winconsin em julho de 2016, quando Eric Loomis pretendeu a reforma de sentença de primeiro grau em razão da mesma tê-lo considerado um possível reincidente criminal, o que foi feito com o uso de um software, o COMPASS. Naquela ocasião Loomis alegou que não teve acesso às fórmulas matemáticas do software e que, por isso, não poderia se defender adequadamente. A fabricante do software, a Northpointe, Inc. mantêm sob forte sigilo seus algoritmos que processam o sistema de pontuação.

Este episódio ilustra o cenário de que o uso de inteligência artificial pode ser mais eficiente e menos custoso que outras ferramentas, além de ser mais preciso que o ser humano. Não surpreende, portanto, que cada vez mais se fale em decisões algorítmicas.

O grande problema é que os algoritmos são processos complexos e obscuros, já que constantemente significam um segredo de negócios. E, por serem obscuros no sentido de não serem auditáveis (não porque seja tecnicamente impossível, mas, como dissemos, por ser economicamente um dado sigiloso), podem ser tendenciosos e preconceituosos. Quanto a isso, lembramos o episódio da Microsoft que, em março de 2016 apresentou ao mundo a conta no Twitter @TayandYou, que era de sua "chatbot" (programas computacionais que simulam um humano na conversação com outras pessoas). Neste caso, o perfil ficou menos de um dia no ar, tendo sido desativado em razão das mensagens racistas, homofóbicas, misóginas que o perfil passou a fazer após interagir com humanos e absorver deles os entendimentos preconceituosos e lamentáveis expressados publicamente naquela rede social.

Isso nos obriga a refletir sobre consequências do uso da inteligência artificial e das suas repercussões. Afinal, caso as coisas não saiam bem como o imaginado, de quem será a responsabilidade? Para casos envolvendo humanos, constantemente nos valemos das nossas leis para tentar sanar as injustiças, oportunidade que buscamos tratamentos equitativos.

Os algoritmos que nos avaliam, deveriam, sob esta perspectiva, sujeitar-se aos critérios de avaliação justa que buscamos. Mas isso não é bem o que acontece, seja porque consideramos que eles são mais precisos do que realmente são, seja porque permitimos que sigam nos julgando obscuramente. É curioso como uma testemunha que não possa explicar seu pensamento acaba sendo alvo de desconfiança de um magistrado, mas, quando o assunto são algoritmos o sentimento parece ser um tanto diverso.

Algoritmos têm sido ferramentas que diminuem o ônus sobre as instituições, inexistindo paridade entre eles e decisões humanas. É fundamental questionar, assim, se é esse o objetivo que esperamos encontrar nas inovações. Devemos automatizar pela simples automação? Ou cabe aqui uma reflexão ética sobre injustiças algorítmicas? Vamos questioná-los e enfrentar decisões supostamente injustas, ou vamos manter a ideia de que são processos livres de falhas, ignorando injustiças e outros males?

Não é a primeira vez e nem será a última que vamos cobrar uma agenda para discutir algoritmos, apesar da realidade fática ter demonstrado que isso parece estar saindo do nosso alcance. Para o bem da humanidade, precisamos saber mais sobre os processos de decisões baseados em algoritmos. É um debate mais abrangente e profundo do que simplesmente entendê-los como um segredo de negócios. A questão é: conseguiremos?