O papel crucial da auditoria em algoritmos e modelos de Inteligência Artificial

Introdução

Nos últimos anos, a ascensão de algoritmos e modelos de inteligência artificial transformou profundamente diversas esferas da sociedade, desde a tomada de decisões empresariais até processos burocráticos governamentais. Essas tecnologias, especialmente os grandes modelos de linguagem (Large Language Models, ou LLMs), têm se mostrado ferramentas poderosas, capazes de executar tarefas antes reservadas a humanos, como triagem de currículos, concessão de crédito e até mesmo atendimento ao cliente. No entanto, com essa crescente onipresença, surgem preocupações legítimas sobre os riscos que esses sistemas podem representar, incluindo a possibilidade de causarem danos não intencionais, como discriminação e erros críticos em recomendações.

Diante desse cenário, a questão que se coloca é: como garantir que esses sistemas operem de maneira justa e segura? A resposta passa pela implementação de auditorias rigorosas e contínuas que permitam identificar e mitigar os riscos associados ao uso de algoritmos e modelos de IA. Este artigo explora a importância da auditoria algorítmica, os métodos eficazes para sua realização e os desafios inerentes a esse processo, destacando a necessidade de um equilíbrio entre inovação tecnológica e proteção dos direitos e interesses das partes envolvidas.

A necessidade de auditoria em algoritmos de IA

A inteligência artificial, especialmente na forma de LLMs, tem a capacidade de realizar tarefas complexas de maneira eficiente, substituindo processos humanos em várias indústrias. No entanto, essa eficiência traz consigo um novo conjunto de desafios, particularmente quando esses algoritmos são responsáveis por tomar decisões que afetam diretamente a vida das pessoas. A questão central aqui é a falta de transparência e previsibilidade em relação ao funcionamento desses sistemas. Muitas vezes, nem mesmo os engenheiros que desenvolvem esses modelos compreendem totalmente suas decisões, o que pode levar a consequências indesejadas, como a perpetuação de vieses e a tomada de decisões discriminatórias.

Dada a natureza sofisticada dessas tecnologias, é imperativo que os sistemas de IA sejam sujeitos a auditorias regulares para garantir que operem de maneira justa e segura. Essas auditorias devem ser projetadas para identificar possíveis cenários de falha e medir o impacto dessas falhas sobre as partes interessadas. Sem essa fiscalização, os sistemas de IA podem causar danos significativos, tanto para indivíduos quanto para organizações, exacerbando desigualdades e corroendo a confiança pública nas tecnologias emergentes.

A importância da matriz ética

Uma das abordagens mais eficazes para a auditoria algorítmica é o uso da matriz ética, uma ferramenta que permite mapear e avaliar os riscos associados ao uso de algoritmos em contextos específicos. Desenvolvida pela ORCAA - O'Neil Risk Consulting & Algorithmic Auditing, a matriz ética é uma estrutura que identifica os stakeholders afetados por um algoritmo e avalia como eles podem ser impactados, tanto positiva quanto negativamente.

O processo de construção da matriz ética envolve a identificação de todos os grupos que podem ser afetados pelo algoritmo, incluindo desenvolvedores, usuários finais e comunidades impactadas. Em seguida, são levantadas as principais preocupações desses grupos em relação ao uso do sistema, como a possibilidade de discriminação ou de decisões errôneas. Essas preocupações são então organizadas em uma matriz, que serve como base para a avaliação contínua do desempenho do algoritmo.

Um exemplo claro da aplicação da matriz ética pode ser visto no caso de algoritmos de detecção de fraude utilizados por empresas de processamento de pagamentos. Nesses casos, a matriz ética ajuda a identificar os potenciais riscos para os clientes, como a possibilidade de bloqueios injustificados de transações, e para a empresa, como a perda de receita devido a falsos positivos. Ao analisar esses riscos, a matriz permite que a organização equilibre as preocupações concorrentes e implemente medidas para mitigar os impactos negativos.

Justiça demonstrável: Um pilar da auditoria algorítmica

Outro componente essencial da auditoria algorítmica é a justiça demonstrável, um conceito desenvolvido para garantir que os sistemas de IA tratem todos os grupos de maneira justa. A justiça demonstrável envolve a análise das decisões algorítmicas para determinar se há disparidades injustificadas entre diferentes grupos, como homens e mulheres ou diferentes etnias, e se essas disparidades podem ser explicadas por fatores legítimos.

Por exemplo, em um processo de seleção de candidatos, é crucial garantir que a IA não atribua pontuações mais altas a homens em detrimento de mulheres com qualificações equivalentes. Isso exige uma análise detalhada dos critérios utilizados pelo algoritmo para avaliar os candidatos, bem como uma discussão sobre a legitimidade desses critérios.

A justiça demonstrável é particularmente relevante em setores como o de concessão de crédito, onde a discriminação racial tem sido historicamente um problema. Ao aplicar a justiça demonstrável, as instituições financeiras podem garantir que seus algoritmos não perpetuem desigualdades, utilizando critérios transparentes e equitativos para a tomada de decisões.

Desafios na implementação de auditorias algorítmicas

Apesar dos benefícios claros da auditoria algorítmica, sua implementação não está isenta de desafios. Um dos principais obstáculos é a complexidade técnica envolvida na avaliação de modelos de IA, especialmente quando se trata de LLMs. Esses modelos são altamente versáteis e podem ser aplicados em uma variedade de contextos, o que torna difícil criar benchmarks padronizados para sua avaliação.

Além disso, o benchmarking, embora útil, pode ser limitado. Existe o risco de que os modelos se tornem "viciados" em benchmarks específicos, otimizando seu desempenho para essas avaliações em detrimento de sua utilidade geral. Outro desafio é o fenômeno da "lei de Goodhart", que afirma que quando uma medida se torna um alvo, ela deixa de ser uma boa medida. Isso significa que, à medida que os modelos de IA evoluem, os benchmarks também precisam evoluir para continuar sendo relevantes.

O red teaming, uma abordagem que envolve testar a robustez de um sistema simulando ataques ou cenários adversos, também apresenta limitações. Embora seja uma ferramenta valiosa para identificar vulnerabilidades, sua eficácia depende da criatividade e da experiência dos envolvidos no processo. Além disso, o red teaming pode não detectar todos os riscos, especialmente aqueles que não foram antecipados pelos auditores.

Estudo de caso: A falha do chatbot Tessa

Um exemplo ilustrativo dos riscos de não se realizar uma auditoria adequada é o caso do chatbot Tessa, desenvolvido para a Neda - National Eating Disorders Association nos EUA. Tessa foi projetada para ajudar pessoas com transtornos alimentares, mas acabou dando conselhos prejudiciais sobre dietas, como a recomendação de um "déficit calórico diário seguro". Essa falha poderia ter sido evitada se a Neda tivesse implementado uma auditoria algorítmica abrangente, utilizando a matriz ética e a justiça demonstrável para avaliar os riscos associados ao uso do chatbot.

O caso de Tessa destaca a importância de envolver diversas partes interessadas no processo de auditoria, incluindo profissionais de saúde e os próprios usuários. Além disso, demonstra a necessidade de monitoramento contínuo e revisão dos sistemas de IA, especialmente em áreas sensíveis como a saúde mental.

Conclusão

A auditoria de algoritmos e modelos de IA é uma prática indispensável para garantir que essas tecnologias operem de maneira justa e segura. Com a crescente adoção de IA em diversos setores, desde a saúde até o sistema financeiro, é crucial que as organizações implementem auditorias rigorosas que considerem os impactos potenciais sobre todas as partes interessadas.

Ferramentas como a matriz ética e a justiça demonstrável oferecem uma base sólida para a realização dessas auditorias, permitindo que as organizações identifiquem e mitiguem os riscos associados ao uso de IA. No entanto, a implementação de auditorias algorítmicas exige um esforço contínuo e colaborativo, que envolve não apenas os desenvolvedores de tecnologia, mas também especialistas em diversas áreas e as próprias comunidades afetadas.

Somente por meio de uma abordagem integrada e multidisciplinar será possível equilibrar a inovação tecnológica com a proteção dos direitos e interesses dos indivíduos, garantindo que a IA contribua para uma sociedade mais justa e equitativa.

_____

O'NEIL, C.; GUNN, H. Near-Term Artificial Intelligence and the Ethical Matrix. In: LAIO, S. M. (Ed.). Ethics of Artificial Intelligence. New York: Oxford University Press, 2020. Cap. 8.

O'NEIL, C.; SARGEANT, H.; APPEL, J. Explainable Fairness in Regulatory Algorithmic Auditing. West Virginia Law Review.

BHUTTA, N.; HIZMO, A.; RINGO, D. How Much Does Racial Bias Affect Mortgage Lending? Evidence from human and algorithmic credit decisions. Finance and Economics Discussion Series 2022-067. Washington, D.C.: Federal Reserve Board, 2022.

SB21-169 - Protecting Consumers From Unfair Discrimination in Insurance Practices. Colorado Department of Regulatory Agencies. Disponível em: https://doi.colorado.gov. Acesso em: 18 ago. 2024.

MCCARTHY, L. A Wellness Chatbot Is Offline After Its 'Harmful' Focus on Weight Loss. The New York Times, junho de 2023. Disponível em: www.nytimes.com. Acesso em: 18 ago. 2024.