A IA tem revolucionado o mundo, prometendo eficiência e imparcialidade, todavia, ao invés de serem neutros, os algoritmos de IA podem refletir e até amplificar vieses sociais, levando a discriminações sistêmicas.
O viés algorítmico ocorre quando um sistema de IA, ao processar dados, gera resultados que favorecem ou prejudicam certos grupos de forma desproporcional. Em que pese os algoritmos sejam projetados para processar grandes quantidades de dados de maneira objetiva, a realidade é que esses sistemas dependem dos dados que recebem para "aprender". Exemplificando:
- Se os dados usados no treinamento contêm preconceitos históricos, estereótipos ou falhas de representação, o algoritmo tende a reproduzir esses mesmos vieses, e o sistema pode aprender padrões discriminatórios;
- As escolhas feitas por desenvolvedores e programadores na concepção e treinamento do algoritmo podem introduzir vieses subjetivos;
- Quando determinados grupos sociais, como minorias raciais ou de gênero, não estão bem representados nos dados, o algoritmo tende a marginalizá-los nas suas previsões ou decisões.
Do ponto de vista jurídico, o viés algorítmico pode violar princípios fundamentais de igualdade e não discriminação, previstos em diversas constituições e tratados internacionais, como a Convenção Internacional sobre a Eliminação de Todas as Formas de Discriminação Racial. Ainda, o uso de algoritmos discriminatórios pode violar direitos previstos em legislações de privacidade e proteção de dados e de defesa do consumidor, que exigem transparência e equidade no tratamento de dados.
Um dos casos mais notórios de viés algorítmico ocorreu no setor de recursos humanos, em 2018, quando a Amazon utilizou um sistema de IA para revisar currículos e selecionar candidatos de maneira automatizada. Ocorre que, o algoritmo discriminava mulheres, pois havia sido treinado com dados históricos que refletiam o predomínio de homens na indústria de tecnologia e, como resultado, o sistema atribuía pontuações mais baixas a candidatas do sexo feminino.
O referido viés violava princípios de igualdade de gênero no emprego, estabelecidos por leis antidiscriminatórias como o Title VII do Civil Rights Act (lei federal dos Estados Unidos que proíbe a discriminação no emprego). O caso da Amazon destacou a necessidade de as empresas serem transparentes sobre o uso de IA em decisões que impactam a vida dos indivíduos e a importância de garantir que esses sistemas sejam revisados para evitar discriminação.
Também nos Estados Unidos, um sistema de IA conhecido como COMPAS foi utilizado para prever a probabilidade de reincidência de réus no sistema judicial. Estudos revelaram que o COMPAS tendia a classificar de forma injusta réus negros como de alto risco de reincidência, enquanto subestimava o risco de réus brancos. Tal viés resultou em julgamentos mais severos para certos grupos, perpetuando disparidades raciais no sistema judicial.
O uso do COMPAS, além de trazer a possibilidade de violação de direitos constitucionais, levantou debates sobre a responsabilidade legal de governos e empresas que desenvolvem algoritmos para prever comportamentos, sugerindo a necessidade de auditorias independentes e de supervisão mais rigorosa.
Outro exemplo de viés algorítmico pode ser observado no setor financeiro, eis que vários bancos e instituições financeiras começaram a usar IA para decidir sobre concessão de empréstimos e crédito. Estudos mostram que algoritmos usados por algumas dessas instituições rejeitavam pedidos de minorias raciais com maior frequência do que de candidatos brancos, mesmo quando os perfis financeiros eram semelhantes. Os referidos sistemas reproduziam discriminações históricas baseadas em dados de crédito que refletiam disparidades sociais preexistentes.
A título de exemplo, a concessão de crédito com base em algoritmos enviesados pode violar leis de igualdade de oportunidades, como o Equal Credit Opportunity Act (lei federal dos Estados Unidos que proíbe a discriminação de candidatos a empréstimos). Ademais, as instituições financeiras têm a obrigação de garantir que os consumidores entendam como são avaliados e têm o direito de contestar decisões automáticas, conforme previsto em regulamentos de privacidade e proteção de dados, como a LGPD no Brasil e o GDPR -General Data Protection Regulation na União Europeia.
A mitigação do viés algorítmico é um dos principais desafios para os legisladores e reguladores em todo o mundo, e algumas abordagens têm sido propostas para minimizar os riscos de discriminação e garantir a equidade no uso de IA.
Leis como o GDPR e a LGPD, contêm disposições que tratam diretamente do uso de decisões automatizadas, exigindo que as empresas informem os indivíduos sobre o uso de algoritmos e ofereçam o direito de contestar decisões tomadas por IA.
O art. 22 do GDPR estabelece que indivíduos têm o direito de não serem sujeitos a decisões baseadas unicamente em processamento automatizado, incluindo a criação de perfis, que produzam efeitos legais ou significativamente afete-os de forma semelhante. As empresas que utilizam inteligência artificial em decisões de grande impacto (como contratação, concessão de crédito ou decisões judiciais) precisam garantir a transparência e a equidade desses sistemas.
Para evitar o viés algorítmico, muitos defensores dos direitos civis sugerem a necessidade de auditorias algorítmicas independentes. Tais auditorias poderiam ser usadas para testar algoritmos de IA e garantir que eles não perpetuem discriminações. O projeto de lei Algorithmic Accountability Act, por exemplo, introduzido no Congresso dos EUA, propõe que empresas que utilizam IA em setores de alto risco sejam obrigadas a realizar auditorias regulares de seus algoritmos, garantindo que eles sejam justos e transparentes.
Outra forma de combater o viés algorítmico é promover a diversidade nas equipes de desenvolvimento de IA. Desenvolvedores e cientistas de dados com diferentes origens podem estar mais conscientes dos potenciais vieses e criar sistemas mais justos. Também, o uso de dados mais diversos pode ajudar a evitar vieses relacionados à sub-representação de certos grupos.
Ainda, é fundamental que legislações mais específicas sejam implementadas para determinar a responsabilidade por danos causados por decisões automáticas. Em casos de discriminação algorítmica, deve haver clareza sobre quem pode ser responsabilizado: O desenvolvedor, a empresa que utiliza o algoritmo ou ambos. Como exemplo, podemos mencionar Regulamento da Inteligência Artificial - AI Act, que prevê mecanismos de responsabilização para sistemas de IA que causarem danos ou violarem direitos fundamentais, particularmente aqueles classificados como de alto risco.
O viés algorítmico é uma questão central no uso da IA em contextos que afetam diretamente os direitos e oportunidades dos indivíduos e, embora os algoritmos sejam frequentemente percebidos como imparciais, eles podem reproduzir e amplificar desigualdades e discriminações pré-existentes.
Auditorias, regulamentações mais robustas e a promoção de maior diversidade tanto nos dados quanto nas equipes de desenvolvimento de IA são passos essenciais para mitigar o viés algorítmico e garantir que a IA seja utilizada de maneira justa e responsável, respeitando os direitos fundamentais de todos os cidadãos.