Limitações de uso do ChatGPT e outros modelos de linguagem no Direito
sexta-feira, 28 de abril de 2023
Atualizado às 08:34
Introdução
O ChatGPT é um sistema computacional baseado num modelo de linguguagem em larga escala (LLM, Large Language Model) que foi lançado em 2022 pela OpenAI, uma empresa baseada na California, EUA.
Como um modelo de linguagem, este sistema usa recursos de Inteligência Artificial para representar o que ele aprendeu sobre processando textos encontrados na web. Esse aprendizado é basicamente uma previsão que o modelo faz sobre a próxima palavra ou frase no contexto em que o texto se insere. As grandes novidades e superioridade do ChatGPT, frente a modelos anteriores, podem ser assim resumidas:
- Este sistema aprendeu um modelo de linguagem sobre uma quantidade enorme de textos processados. Estima-se um processamento aproximado de 300 bilhões de palavras (versão 3.5 de dezembro de 2022), ou aproximadamente 570GB de páginas web, livros abertos e outras fontes [1];
- A interface é bem intuitiva, simples de usar, e responde a questionamentos em diversas línguas, inclusive o português;
- Diferentemente de outros sistemas que buscam dados na web (máquina de busca tipo o Google), o ChatGPT não aponta para o documento que tem a resposta, mas gera e escreve a resposta em texto livre.
Quanto à sua utilização no Direito, este mesmo periódico já reportou algumas aplicações de modelos de linguagem [2, 3, 4].
Das aplicações potenciais viáveis
Pesquisa: Como mencionado acima, o ChatGPT é uma ferramente fabulosa para realizar pesquisas em qualquer área, inclusive a pesquisa jurídica. Os modelos de linguagem podem ser usados para pesquisar e recuperar rapidamente informações relevantes de casos jurídicos relatados na web, de jurisprudência (se usados sob uma base de dados de casos jurídicos, como por exemplo a base que alimenta o E-SAJ), estatutos, diários oficiais, entre outros. Um eventual mecanismo de busca baseado em modelos de linguagem que aprendam sobre conjuntos de dados temáticos no Direito poderia economizar tempo e incrementar a eficiência da solubilidade de casos.
Entretanto, antes de contarmos com ferramentas de busca baseadas em modelos de linguagem eficazes para o Direito, devemos fazer alguns apontamentos. Cito alguns destes apontamentos:
- Os modelos de linguagem, a exemplo do ChatGPT, foram treinados sobre grandes volumes de dados escritos majoritariamente na língua inglesa e não na língua portuguesa;
- Como o ChatGPT teve como público-alvo os anglofônicos, é esperado uma participação pequena de textos escritos em português se comparado com o número de textos escritos em inglês;
- Os modelos de linguagem são máquinas que aprendem muito bem por repetições de sequências de palavras similares num mesmo contexto, sendo assim, para cobrir todas as áreas de interesse, não é esperada uma que os modelos tenham aprendido sobre um grande volume de textos jurídicos;
- Ainda não temos um modelo de linguagem específico para a área de Direito, nem tampouco para o sistema de Direito de origem romano-germânica que usamos, o civil law, especialmente quando comparado à família jurídica anglo-americana da common law.
Geração de documentos: Baseado na suposição de aprendizado sobre uma base jurídica extensa de documentos escritos em português, a geração de documentos por modelos de linguagem pode auxiliar na produção de vários tipos de documentos legais, tais como: contratos, moções e petições, fornecendo modelos, linguagem adequada e, eventualmente, inclusive informação referenciada.
Também considero pertinente neste caso alguns recursos adicionais, como a possibilidade do gerenciamento destes documentos indicando requisitos formais faltantes, comparações com casos semelhantes, datas de vencimento de prazos e acompanhamento processual. Também são bem-vindas tarefas auxiliares de revisão documental, categorização de documentos para arquivamento inteligente e geração de sumários ou interpretações e sumarização dos atos e documentos para pessoas leigas na área.
Comunicação: Por fim, mas não esgotando o universo das aplicações deste tipo de modelo computacional em Direito, não podemos esquecer a comunicação cliente-advogado dado que o ChatGPT pode fornecer respostas à perguntas frequentes de clientes, liberando tempo para que os assistentes jurídicos se concentrem em outras tarefas.
Das limitações
De acordo com Som Biswas [6], da Universidade do Tenesse nos EUA, embora o ChatGPT possa ser uma ferramenta valiosa para advogados, é importante entender suas limitações e usá-lo em conjunto com a experiência e julgamento de profissionais habilitados e especializados.
As principais limitações apontadas por Biswas no ChatGPT e que devem ser consideradas durante a sua utilização são: o acesso limitado da experiência legal; a falta de compreensão do contexto; o risco de viés em suas respostas; o potencial para erros, além do grande obstáculo de não poder fornecer assessoria jurídica.
Vamos rever abaixo, cada um destes limitantes. É interessante notar que o mesmo "brilho" que sentimos ao ler muitos dos textos gerados pelo ChatGPT é também reflexo das limitações naturais do modelo.
Experiência limitada: ChatGPT é um modelo de linguagem treinado em um grande corpus de texto. Isso faz dele uma máquina que repete aprendizados antigos. Repete rescrevendo o que já foi documentado, mas sem conhecimento jurídico algum e, decorrente desta falta de conhecimento sobre qualquer tema, é uma máquina sem a experiência de qualquer ser humano, seja este especialista em Direito ou não.
Falta de compreensão do contexto: O ChatGPT não entende os documentos que lê e tampouco os que escreve. As belas frases que forma são fruto do aprendizado de uma cadeia de probabilidades condicionadas que fazem uma longa previsão das palavras subsequentes de um texto no tema tratado. Portanto, o ChatGPT não reconhece e não entende as nuances e as complexidades de um assunto legal. Não entendendo o caso, ou o processo, existe uma grande possibilidade do sistema gerar respostas incorretas ou incompletas.
Risco de viés: Qualquer modelo de linguagem que aprenda processando bilhões de palavras certamente utiliza contribuições de pessoas em todo o mundo, mas inerentemente refletirá os eventuais preconceitos e vieses de seus escritores. Isso implica que as contribuições grupos minoritários ou de pessoas marginalizadas ou sub-representadas terá uma contribuição mínima no aprendizado e, certamente, este viés será refletido na funcionalidade do ChatGPT. Recordemos que ChatGPT foi treinado em texto da web os quais podem conter vieses e imprecisões. Esses vieses podem levar ao fornecimento de informações incorretas ou enganosas.
Possibilidade de erros: Como acontece com qualquer outro sistema computacional ou artefato tecnológico, o ChatGPT não é imune a erros e estes erros podem ocorrer em suas respostas. Uma das causas destes erros é a sub-representação de um tema ou tópico na base de aprendizado do modelo. Por exemplo, como já comentei em artigo passado [7], quando perguntei ao ChatGPT sobre quem era o autor que aqui escreve, essa foi a resposta:
"Segundo seu currículo Lattes, Evandro Eduardo Seron Ruiz possui doutorado em Engenharia Elétrica pela Universidade Estadual de Campinas (UNICAMP) e tem experiência na área de Engenharia de Computação, com ênfase em Sistemas Embarcados, Sistemas Operacionais e Sistemas Distribuídos. Ele também atua como coordenador do Laboratório de Sistemas Embarcados e Distribuídos (LSE) da USP."
Ou seja, o sistema pesquisou uma fonte segura e confiável, mas gerou dados totalmente errados a meu respeito.
Limitações do aconselhamento jurídico: É importante observar que o ChatGPT não é uma pessoa física ou jurídica habilitada profissionalmente para fazer aconselhamentos em Direito. Obviamente, penas um advogado licenciado pode fornecer aconselhamento jurídico. O motivo mais fundamental para esta limitação é que os modelos de linguagem não entendem regras e não entendem os mecanismos lógicos de causa e efeito, de causa e consequências. O ChatGPT não raciocina, apenas repete textos. Lembrem-se, estes modelos aprendem sequências de palavras e não o conhecimento eventualmente expresso nesta sequência textual.
Concluindo, modelos de linguagem como o ChatGPT vieram para aumentar a produtividade do trabalho de inúmeros profissionais, incluindo os advogados. São máquinas que devemos conhecer suas limitações para explorarmos ao máximo suas potencialidades. No futuro próximo, devemos esperar que o progresso possa dirimir todas as dificuldades apontadas acima, não apenas pela capacidade inovadora de criação de novos algoritmos, mas também pelo árduo trabalho de curadoria na separação dos textos que promovem o aprendizado destes modelos. Não adianta "chorar" e torcer para que os computólogos parem de criar sistemas computacionais como este, mas sim capacitar os usuários a usá-los com sabedoria.
Referências bibliográficas
1. Important ChatGPT Statistics & Facts for March 2023 (Gpt-4 Update). Disponível aqui. Último acesso em 21 de março de 2023.
2. Especialista explica como ChatGPT pode ajudar advogados nas petições. Disponível no Migalhas. Último acesso em 21 de março de 2023.
4. ChatGPT e seu uso no Direito. Disponível no Migalhas. Último acesso em 18 de abril de 2023.
5. ChatGPT: Como usar, para que serve e como funciona. Disponível aqui. Último acesso em 21 de março de 2023.
6. BISWAS, Som, Role of chatGPT in Journalism: According to chatGPT (March 30, 2023). Available at SSRN: here or here.
7. Como o ChatGPT pode interferir na proteção de dados pessoais? Disponível aqui. Último acesso em 19 de abril de 2023.