Discriminação algorítmica nas relações de consumo

Discriminação algorítmica

Nem toda discriminação é vedada pelo direito. Apenas quando se baseia em critérios ou fins ilegítimos, em violação à isonomia constitucionalmente assegurada,¹ é que se torna ilícita.²

A discriminação pode ser ilícita por se basear diretamente em elementos vedados para certos fins, como a cor ou o gênero (discriminação direta), ou quando, embora com amparo em critérios aparentemente inofensivos, como o endereço residencial, acaba por atingir negativamente pessoas de determinada raça, por exemplo (discriminação indireta).³

Decisões automatizadas, efetuadas com base em algoritmos, podem apresentar conteúdo discriminatório (direto ou indireto). Mostra-se emblemático o famoso caso da Amazon, em que um algoritmo de recrutamento utilizado pelo setor de recursos humanos favorecia a contratação de funcionários do sexo masculino.⁴ O algoritmo foi alimentado com dados que refletem a predominância masculina no mercado de trabalho, daí concluindo que candidatos homens seriam preferíveis às candidatas mulheres. Como se percebe, a qualidade dos dados utilizados influi na qualidade dos resultados alcançados: se os dados trazem vieses, os resultados também serão enviesados, pois os algoritmos aprendem com os dados que os alimentam.

De pronto se nota que as decisões algorítmicas suscitam muitas controvérsias, pois têm grande potencial de influir em direitos fundamentais das pessoas, uma vez que definem seu acesso a bens, serviços e ao próprio mercado de trabalho. Cuida-se de problemática própria do desenvolvimento tecnológico e da economia cada vez mais movida a dados.⁵ A Lei Geral de Proteção de Dados - LGPD consiste em importante marco normativo destinado a equilibrar a crescente utilização de inteligência artificial alimentada com dados pessoais e a preservação e promoção de direitos fundamentais.

Discriminação algorítmica nas relações de consumo

Em reforço ao mandamento constitucional, o art. 6º, II, do CDC estabelece como direito básico do consumidor a liberdade de escolha quanto a serviços e produtos, bem como a "igualdade nas contratações". Significa dizer que não pode o fornecedor recusar o atendimento a certos consumidores, nem tampouco praticar preço diferenciado, a menos que exista justa causa que fundamente esse tipo de diferenciação.

Mostra-se expressivo o caso da Decolar, que foi multada pelo DPDC⁶ em razão da prática de discriminação ao consumidor. A Decolar, por meio de algoritmos que se utilizavam de critérios geográficos, alterava o preço das acomodações, bem como negava o acesso a vagas.

Trata-se de práticas conhecidas como geopricing e geoblocking,⁷ que violam a igualdade na contratação e, em especial, os incisos IX e X do art. 39 do CDC, que vedam ao fornecedor (i) a recusa de alienação de bens ou prestação de serviços a quem se disponha a comprá-los e (ii) a elevação de preço de produtos ou serviços sem justa causa.

Além do respeito à igualdade com relação à oferta e contratação, exige-se do fornecedor transparência quanto aos critérios utilizados para diferenciar o acesso a bens ou serviços, ou sua precificação. Apenas dessa forma será possível se efetuar o necessário controle axiológico a fim de se verificar se a discriminação é permitida ou vedada. De modo geral, há de se adotar critérios objetivos,⁸ que não se sujeitem à arbitrariedade,⁹ e que possam consubstanciar justa causa. A título ilustrativo, a cobrança de frete diferenciado em razão do local, ou a precificação distinta de acomodação em razão de se tratar de época do ano mais concorrida, mostram-se, em primeira análise, possíveis.¹⁰

Especial potencial discriminatório apresenta o contrato de seguro, pois nem sempre há a desejável transparência quanto aos critérios utilizados para precificação e acesso à cobertura relativa a certos riscos. Sabe-se que gênero e idade, por exemplo, impactam, em alguma medida, a precificação de certos seguros. Mas sem maiores informações, não é possível aferir se esse impacto é legítimo ou se acarreta violação à igualdade constitucional.

O que é possível de pronto afirmar é a impossibilidade de se negar acesso ao seguro em virtude da idade ou do gênero. Por outro lado, embora a precificação diversa com base nesses fatores suscite dúvidas - veja-se a polêmica norma que proíbe o aumento do preço cobrado pela operadora de plano de saúde em razão da idade¹¹ -, se fundada em razões objetivas, pode haver justa causa.¹²

Deve-se ter especial atenção, ainda, quanto ao risco de discriminação indireta nos contratos de seguro. A utilização de informações aparentemente inofensivas pode gerar efeito negativo sobre determinados grupos protegidos. O já aludido exemplo da utilização do endereço residencial como fator de precificação ou de recusa de cobertura pode acabar, reflexamente, excluindo o acesso ao seguro de pessoas de certa etnia ou condição social, em desacordo com o mandamento constitucional. Daí a necessidade de implementação de recursos preventivos à discriminação algorítmica, além da necessária transparência quanto aos critérios utilizados e ao peso a eles conferido.¹³

O papel da transparência na prevenção à discriminação algorítmica

Para o combate à discriminação ilícita, em todas as suas modalidades, afigura-se essencial que a decisão algorítmica seja dotada de transparência. Apenas com o conhecimento dos dados coletados e dos critérios utilizados pela inteligência artificial será possível se efetuar o controle valorativo das suas decisões.

Ao lado da General Data Protection Regulation (GDPR), que dispõe sobre as normas de proteção de dados pessoais na União Europeia, a lei federal brasileira 13.709/2018, conhecida como Lei Geral de Proteção de Dados Pessoais (LGPD), pavimenta importante "caminho em busca da accountability algorítmica".¹⁴ A transparência torna-se pressuposto para que a decisão algorítmica possa ser considerada legítima,¹⁵ pois permite o controle não apenas em relação à qualidade dos dados, como também à qualidade do processamento de dados.¹⁶

Em definitivo, para que os algoritmos não reproduzam os preconceitos hoje existentes, constantes nos dados utilizados para treiná-los, é imperioso que exista transparência sobre o processo de tomada de decisão pela inteligência artificial. Não se pretende, com isso, atravancar o salutar desenvolvimento tecnológico, mas preservar e promover a tábua axiológica constitucional, que estimula e protege a livre iniciativa que esteja alinhada com os princípios da Constituição da República.

----------