Vieses nas decisões dos juízes vs. vieses da inteligência artificial

Somos seres racionais e tomamos decisões de forma lógica, pura e simples. Se precisamos de roupas novas, compramos. Se não precisamos, não compramos. Certo? Uma rápida visita aos shoppings mostra que não somos exatamente assim. Daniel Kahneman, ganhador do Prêmio Nobel de Economia em 2002, junto com seus parceiros de estudo, explicou ao mundo porque os seres humanos têm um comportamento aparentemente irracional na tomada de decisões, influenciados por emoções, intuições, tentações e gatilhos que temos no cérebro. Decidiríamos de forma puramente racional se resistíssemos à tentação de comprar chocolate na Páscoa. Quem resiste?

Esses estudos fizeram de Daniel Kahneman um dos fundadores da economia comportamental, termo que vem da junção da economia com psicologia, neurociência e outras ciências sociais, reunidas para revelar o comportamento humano diante da tomada de decisões econômicas.

As lições da economia comportamental podem ser aplicadas ao Direito. Nos interessa, neste breve texto, tratar do comportamento dos juízes. Magistrados, assim como todos os seres humanos, por mais que confiem na sua racionalidade, igualmente estão sujeitos, ainda que inconscientemente, a emoções, simplificações, inclinações e preconceitos que podem afetar as decisões no seu trabalho. Esse cenário precisa ser considerado quando se estudam as decisões que resultam de um sistema de inteligência artificial (IA) no Judiciário em comparação com as decisões de julgadores humanos. É este o objetivo do texto, com enfoque na transparência da decisão humana e da máquina.  

1. Como seres humanos decidem?

A psicologia comportamental moderna trabalha com o sistema dual de pensamento. Conforme leciona Daniel Kahneman, o cérebro humano atua por meio de dois sistemas de funcionamento paralelos, porém complementares¹.

O sistema intuitivo, chamado de sistema 1, é rápido, instintivo e automático, pois se destina à sobrevivência e permite decisões que decorrem de experiências acumuladas ao longo da vida. O sistema 1 atua, por exemplo, quando alguém se afasta ao ver um animal perigoso ou quando comportamentos reiterados tornam-se automáticos, como dirigir veículos. O sistema 2 do cérebro, por sua vez, é reflexivo, devagar e deliberativo. Raciocínios complexos usam esse sistema, que permite tomar decisões mais racionais, funcionando com base na busca de informações ofertadas pelo sistema 1. Por conseguinte, aprender a dirigir exige a atuação do sistema 2, e o ato, uma vez automatizado pela repetição, passa a integrar o sistema 1.

Os chamados vieses de cognição humana decorrem do funcionamento do cérebro. O sistema 2 é lento, já que exige reflexão, porém é mais preciso. O sistema 1 é bem rápido, mas é falho, pois trabalha ancorado em memórias de experiências de vida que podem enviesá-lo, apresentando, assim, respostas simples e pré-concebidas, que muitas vezes não representam a realidade. Vieses de cognição humana decorrem, portanto, do sistema 1.

Vieses de cognição (cognitive bias) são distorções ou ilusões cognitivas, erros sistêmicos de avaliação, que afetam o entendimento e as crenças da pessoa em relação ao mundo a sua volta². Em outras palavras, todas as pessoas são enviesadas e tendenciosas em boa parte do tempo.

Magistrados, assim como todos os seres humanos, por mais que confiem na sua racionalidade, igualmente estão sujeitos, ainda que inconscientemente, a simplificações, inclinações e preconceitos que podem afetar as decisões no trabalho. É por isso que são aplicadas algumas hipóteses para a mitigação da influência dos vieses de cognição, ou seja, o desenviesamento (debiasing)³. A primeira delas é a educação e informação aos julgadores da possibilidade de que estejam decidindo com base em critérios enviesados⁴.

Diversos vieses foram identificados pela psicologia e ciência cognitiva. Um exemplo é o viés de ancoragem (anchoring bias), que consiste na tendência de que as pessoas confiem em informações que primeiro tiveram sobre determinado assunto, passando a usá-las como referencial (ou seja, como âncoras), ainda que sejam aleatórias ou infundadas, influenciando diretamente o sentido das suas decisões. Em razão desse viés, “não é difícil imaginar que no recurso de apelação o tribunal se ancore na sentença apelada e que no julgamento colegiado o resto da turma julgadora se ancore no voto do relator”.⁵

Outro exemplo é o viés de status quo (status quo bias), tendência do tomador de decisão de deixar as coisas como estão, pois a mudança exigirá emprego de novo raciocínio, como explicam Dierle Nunes, Natanael Lud e Flávio Pedron⁶.  O viés pode gerar no magistrado a pré-disposição de manter o entendimento jurídico que vinha adotando, por simplificação cognitiva, ainda que a jurisprudência que sobreveio não mais embase a conclusão.

Pelo que se percebe, a tomada de decisões judiciais por magistrados – assim como por todos os seres humanos – possui alguma “opacidade”, estando marcada por vieses que lhes são inerentes e que, naturalmente, não serão demonstrados na fundamentação judicial, que expõe somente parcela do processo decisório. Assim, poder-se-ia argumentar que a fundamentação das decisões humanas traria apenas a ilusão de transparência quando comparada com a decisão algorítmica. Sob esse pano de fundo, seguimos para a comparação com a tomada de decisão pelo sistema de IA e a preocupação com a opacidade da máquina⁷.

2. Como a máquina decide? A opacidade da inteligência artificial

A inteligência artificial e, mais especificamente, a técnica de machine learning (aprendizado de máquina, no português) costumam ser descritas como opacas ou como uma “caixa preta” (black box). No Judiciário brasileiro, a aprendizagem de máquina é atualmente a técnica mais comum entre os sistemas de IA, presente em 77% dos sistemas⁸, tanto para o desempenho de tarefas descritivas quanto de preditivas. Explica-se.

Atualmente, o subcampo da IA mais promissor é o machine learning ou aprendizado de máquina, assim chamado em razão da sua capacidade de aprendizagem com a experiência: tal sistema permite que computadores possam aprender a partir de experiências passadas, representadas por um conjunto de dados. A novidade é ensinar máquinas em vez de programá-las. 

Em geral, sistemas que utilizam machine learning ensinam o programa de computador a identificar padrões em dados passados e a aplicar o conhecimento obtido em novos dados, a fim de que possam lidar com tarefas descritivas, como agrupar dados em subconjuntos de dados semelhantes (como agrupar consumidores conforme o perfil), ou com tarefas preditivas, fazendo previsão de resultados (como sugestão de compras a consumidores e de conexões em redes sociais)⁹. Da próxima vez que receber a tarefa, o desempenho do sistema de IA melhora com a experiência.

A chamada opacidade significa que, embora os especialistas possam explicar como o modelo algorítmico funciona, eles não podem elucidar com precisão porque foi gerado resultado concreto com base nos dados de entrada. Em outras palavras, a opacidade refere-se à ideia de que “os seres humanos são cada vez mais incapazes de entender, explicar ou prever o funcionamento interno dos algoritmos, seus vieses e eventuais problemas”¹⁰, como bem resumem Doneda e Almeida.

Existem modelos mais e menos opacos. Ainda conforme Doneda e Almeida, a dificuldade aumenta quando se está diante de sistemas de inteligência artificial que utilizam algoritmos de aprendizado de máquina, os quais melhoram o desempenho com a experiência e podem alterar o funcionamento interno, realizando ações que não estão de acordo com uma programação pré-definida e que resultam da interação com os dados e com o meio.

Além disso, os conjuntos de dados, nesses casos, podem ser compostos por milhões ou bilhões de dados, especialmente diante do uso de redes neurais profundas, tipo de aprendizado de máquina baseado no uso de arquitetura de modelo mais complexa. No entanto, diferentemente de computadores, seres humanos não são capazes de processar grandes quantidades de dados. Esses fatores causam a opacidade de diversos sistemas de IA.

Diante da opacidade, como explicar o funcionamento interno que levou a determinado resultado produzido pelo algoritmo de machine learning com base em determinada entrada? Como fornecer os motivos que levaram ao resultado produzido pela máquina? As perguntas relacionam-se diretamente com a transparência perante os jurisdicionados.

3.Transparência da máquina vs. Transparência humana

Importante discussão relativa à opacidade da IA refere-se à necessidade de dar transparência ao funcionamento da máquina e de manter a confiança do usuário quanto ao uso do sistema, como alertam Juliana Domingues, Alaís da Silva e Henrique de Souza¹¹. No âmbito do sistema de justiça, uma parte essencial da transparência concretiza-se por meio da fundamentação das decisões judiciais pelo magistrado. No Brasil, a exigência de fundamentação é constitucional (art. 93, IX, da Constituição da República Federativa do Brasil - CRFB) e permite que as partes possam discordar da conclusão judicial, exercendo o contraditório e a ampla defesa (art. 5º, LV, da CRFB), o que pressupõe a inteligibilidade humana da decisão.

Atento à necessidade de transparência, o CNJ editou a Resolução n. 332/2020, a qual lista, no art. 8º, elementos que um sistema transparente deve conter. A intenção do CNJ parece ter sido compatibilizar o problema da caixa-preta de algoritmos de machine learning com a necessidade de transparência das decisões judiciais, por meio da busca por modelos menos opacos e mais explicáveis e da divulgação aos interessados. Embora as pesquisas nessa área ainda estejam se desenvolvendo em todo o mundo, trata-se de um passo importante do CNJ, que encontra fundamento na doutrina, a exemplo de Ana Frazão, que destaca: “Casos assim, também chamados de black boxes, requerem particular atenção e a adoção de outras medidas de explicabilidade, tais como a rastreabilidade, a auditabilidade e a comunicação transparente sobre as capacidades dos sistemas”¹².

No Judiciário brasileiro, como visto no texto “Não existe discriminação algorítmica no Judiciário brasileiro”, a grande maioria dos modelos computacionais implementados e em desenvolvimento destina-se a tarefas processuais de apoio à gestão dos gabinetes, fazendo triagem de processos similares e classificação de petições ou recursos¹³.

A preocupação com a transparência aumenta, contudo, se o sistema de IA for utilizado para a elaboração de minuta de decisão judicial. Relembre-se, contudo, que são poucos os sistemas que auxiliam na elaboração de minutas com conteúdo decisório, a exemplo do Victor do STF e do Elis do TJPE. De todo modo, mesmos nesses dois últimos exemplos, trata-se de decisões muitos simples, relativas a temas processuais e sujeitas à revisão humana.

Portanto, ainda que se diga haver opacidade nos sistemas de IA atualmente em funcionamento no Judiciário, o risco de causar prejuízo às partes não parece alto, nem sequer existirá na maior parte das hipóteses de utilização dos referidos sistemas.

4.A desconhecida interação homem-máquina

O CNJ exige que “sistemas computacionais que utilizem modelos de Inteligência Artificial como ferramenta auxiliar para a elaboração de decisão judicial” permitam “a supervisão do magistrado competente” (art. 19, parágrafo único, Resolução CNJ 332/20). A exigência justifica-se, sobretudo, quando os sistemas desempenham tarefas de minutar decisões.

Em 83% das iniciativas de IA no Judiciário, os resultados obtidos pela máquina passam por algum tipo de validação humana. Em 14% das iniciativas, não há essa validação, tratando-se, em geral, de chatbots e sistemas que não desempenham atividades-fim no Judiciário, ou seja, não auxiliam na elaboração de decisões¹⁴.

A supervisão humana sobre o resultado da atuação da máquina é uma das formas de interação homem-máquina. A configuração dos sistemas de modo a permitir que ambos os lados – homem e máquina – interajam continuamente dá origem a mecanismo chamado "human in the loop"¹⁵. Um dos principais objetivos da revisão humana sobre o resultado produzido pela máquina é manter o controle da tomada de decisão nas mãos humanas. No entanto, é problemático confiar excessivamente nessa supervisão.

Uma das razões do problema é o viés de automação (machine bias), outro viés cognitivo humano, que consiste na tendência humana de privilegiar os resultados gerados pelo sistema automatizado, pela crença de que estes estão embasados em operações matemáticas e, por isso, são científicos e estão corretos. A consequência é que o tomador de decisão acaba por diminuir sua discordância em relação ao resultado de sistemas de IA, aderindo total ou parcialmente, seja porque não reconhece quando os sistemas automatizados erram, seja porque nem sequer dá importância a eventuais informações contraditórias.

O viés de automação é ponto fundamental da relação homem-máquina. Como alerta Dierle Nunes, justamente pela existência dos vieses humanos, não basta que haja supervisão humana sobre a decisão automatizada. É preciso monitoramento rigoroso na implementação dos alguns sistemas de IA no sistema de justiça, “para que modelos algorítmicos enviesados não possam gerar erros em escala exponencial ou que modelos precisos não sejam utilizados com o intuito de agravar a situação de alguns grupos que já sofrem preconceito”¹⁶. Novamente, tal monitoramento rigoroso justifica-se, sobretudo, quando os sistemas desempenham tarefas de minutar decisões.

No Judiciário brasileiro, a tendência de seguir o resultado sugerido pela máquina tem mais um motivo. A forma de medir o desempenho de unidades judiciais, seja pelos Tribunais locais, seja pelo CNJ, é eminentemente quantitativa. A produtividade dos magistrados é medida, por exemplo, por indicadores que computam a média de processos baixados. Varas e gabinetes que possuem os menores acervos são mais bem avaliados do que os demais, não havendo análise, em geral, quanto à qualidade das respectivas decisões. O objetivo dessa afirmação não é fazer qualquer crítica à forma de controle de produtividade feita pelo CNJ ou pelos Tribunais locais. A intenção é apenas ressaltar que, em cenário de avaliação numérica da produtividade e em sistema de justiça como o brasileiro, com recorde de processos em tramitação, o viés de automação pode ser ainda mais intenso.

Por fim, como contraponto às conclusões acima, pode-se argumentar que sugestões de decisão pela máquina são similares, em alguma medida, a minutas de assessores de juízes, os quais exerceriam influência sobre o convencimento do magistrado. Por isso, não se pode dizer que inexiste risco de viés quando não há máquinas envolvidas na tomada de decisão, em especial os vieses de ancoragem e de status quo, que podem estar presentes nas decisões dos magistrados, como visto linhas atrás.

Preocupações finais

Voltando às lições Daniel Kahneman, seres humanos não agem de forma totalmente racional. E nem transparente. O funcionamento de diversos sistemas de IA também não são totalmente transparentes. Considerando que o uso de machine learning é tendência e que todos os sistemas de IA desse tipo, e não apenas os do Judiciário, terão de lidar com a opacidade, crescem as propostas de solução para combatê-la e aumentar a transparência da tomada de decisão pela máquina¹⁷. 

Toda essa discussão é complexa e de difícil solução atualmente. Em que pese a relevância da preocupação com os vieses nas decisões dos juízes (como seres humanos que são), essencial enfatizar que o Poder Judiciário tem a legitimidade embasada na fundamentação das decisões judiciais. Por mais que estas sejam proferidas por magistrados – que possuem, pela própria humanidade, vieses e pré-conceitos, os quais não ficam claramente expostos na fundamentação –, obrigatoriamente haverá na decisão os motivos de fato e de direito da conclusão judicial, permitindo-se discordância e recurso pelas partes. Diversamente, a decisão que resulte de um sistema de IA não transparente não viabilizaria a compreensão dos motivos em todos os casos.

O aprofundamento da discussão foge ao objeto deste texto. O que importa, por ora, é saber que é crescente e bem-vinda a preocupação de especialistas com a transparência e a confiança na tomada de decisões, pelos humanos e pelas máquinas.

Boa Páscoa a todos, com a autorização para que o leitor tome uma decisão não racional na compra dos chocolates!

-----------

1 KAHNEMAN, Daniel. Rápido e devagar: duas formas de pensar. Cap. 8 – Como os julgamentos acontecem. São Paulo: Objetiva, 2012 (versão Kindle).

Caroline Somesom Tauk
Juíza federal no RJ. Mestre em Direito Público (UERJ). Doutoranda em Direito Civil (USP). Visiting Shcolar em Columbia Law School (NY/EUA). Coordenadora da Especialização em Direito Digital da Escola Nacional de Formação de Magistrados - ENFAM.