Discriminação algorítmica
Nem toda discriminação é vedada pelo direito. Apenas quando se baseia em critérios ou fins ilegítimos, em violação à isonomia constitucionalmente assegurada,1 é que se torna ilícita.2
A discriminação pode ser ilícita por se basear diretamente em elementos vedados para certos fins, como a cor ou o gênero (discriminação direta), ou quando, embora com amparo em critérios aparentemente inofensivos, como o endereço residencial, acaba por atingir negativamente pessoas de determinada raça, por exemplo (discriminação indireta).3
Decisões automatizadas, efetuadas com base em algoritmos, podem apresentar conteúdo discriminatório (direto ou indireto). Mostra-se emblemático o famoso caso da Amazon, em que um algoritmo de recrutamento utilizado pelo setor de recursos humanos favorecia a contratação de funcionários do sexo masculino.4 O algoritmo foi alimentado com dados que refletem a predominância masculina no mercado de trabalho, daí concluindo que candidatos homens seriam preferíveis às candidatas mulheres. Como se percebe, a qualidade dos dados utilizados influi na qualidade dos resultados alcançados: se os dados trazem vieses, os resultados também serão enviesados, pois os algoritmos aprendem com os dados que os alimentam.
De pronto se nota que as decisões algorítmicas suscitam muitas controvérsias, pois têm grande potencial de influir em direitos fundamentais das pessoas, uma vez que definem seu acesso a bens, serviços e ao próprio mercado de trabalho. Cuida-se de problemática própria do desenvolvimento tecnológico e da economia cada vez mais movida a dados.5 A Lei Geral de Proteção de Dados – LGPD consiste em importante marco normativo destinado a equilibrar a crescente utilização de inteligência artificial alimentada com dados pessoais e a preservação e promoção de direitos fundamentais.
Discriminação algorítmica nas relações de consumo
Em reforço ao mandamento constitucional, o art. 6º, II, do CDC estabelece como direito básico do consumidor a liberdade de escolha quanto a serviços e produtos, bem como a "igualdade nas contratações". Significa dizer que não pode o fornecedor recusar o atendimento a certos consumidores, nem tampouco praticar preço diferenciado, a menos que exista justa causa que fundamente esse tipo de diferenciação.
Mostra-se expressivo o caso da Decolar, que foi multada pelo DPDC6 em razão da prática de discriminação ao consumidor. A Decolar, por meio de algoritmos que se utilizavam de critérios geográficos, alterava o preço das acomodações, bem como negava o acesso a vagas.
Trata-se de práticas conhecidas como geopricing e geoblocking,7 que violam a igualdade na contratação e, em especial, os incisos IX e X do art. 39 do CDC, que vedam ao fornecedor (i) a recusa de alienação de bens ou prestação de serviços a quem se disponha a comprá-los e (ii) a elevação de preço de produtos ou serviços sem justa causa.
Além do respeito à igualdade com relação à oferta e contratação, exige-se do fornecedor transparência quanto aos critérios utilizados para diferenciar o acesso a bens ou serviços, ou sua precificação. Apenas dessa forma será possível se efetuar o necessário controle axiológico a fim de se verificar se a discriminação é permitida ou vedada. De modo geral, há de se adotar critérios objetivos,8 que não se sujeitem à arbitrariedade,9 e que possam consubstanciar justa causa. A título ilustrativo, a cobrança de frete diferenciado em razão do local, ou a precificação distinta de acomodação em razão de se tratar de época do ano mais concorrida, mostram-se, em primeira análise, possíveis.10
Especial potencial discriminatório apresenta o contrato de seguro, pois nem sempre há a desejável transparência quanto aos critérios utilizados para precificação e acesso à cobertura relativa a certos riscos. Sabe-se que gênero e idade, por exemplo, impactam, em alguma medida, a precificação de certos seguros. Mas sem maiores informações, não é possível aferir se esse impacto é legítimo ou se acarreta violação à igualdade constitucional.
O que é possível de pronto afirmar é a impossibilidade de se negar acesso ao seguro em virtude da idade ou do gênero. Por outro lado, embora a precificação diversa com base nesses fatores suscite dúvidas – veja-se a polêmica norma que proíbe o aumento do preço cobrado pela operadora de plano de saúde em razão da idade11 –, se fundada em razões objetivas, pode haver justa causa.12
Deve-se ter especial atenção, ainda, quanto ao risco de discriminação indireta nos contratos de seguro. A utilização de informações aparentemente inofensivas pode gerar efeito negativo sobre determinados grupos protegidos. O já aludido exemplo da utilização do endereço residencial como fator de precificação ou de recusa de cobertura pode acabar, reflexamente, excluindo o acesso ao seguro de pessoas de certa etnia ou condição social, em desacordo com o mandamento constitucional. Daí a necessidade de implementação de recursos preventivos à discriminação algorítmica, além da necessária transparência quanto aos critérios utilizados e ao peso a eles conferido.13
O papel da transparência na prevenção à discriminação algorítmica
Para o combate à discriminação ilícita, em todas as suas modalidades, afigura-se essencial que a decisão algorítmica seja dotada de transparência. Apenas com o conhecimento dos dados coletados e dos critérios utilizados pela inteligência artificial será possível se efetuar o controle valorativo das suas decisões.
Ao lado da General Data Protection Regulation (GDPR), que dispõe sobre as normas de proteção de dados pessoais na União Europeia, a lei federal brasileira 13.709/2018, conhecida como Lei Geral de Proteção de Dados Pessoais (LGPD), pavimenta importante "caminho em busca da accountability algorítmica".14 A transparência torna-se pressuposto para que a decisão algorítmica possa ser considerada legítima,15 pois permite o controle não apenas em relação à qualidade dos dados, como também à qualidade do processamento de dados.16
Em definitivo, para que os algoritmos não reproduzam os preconceitos hoje existentes, constantes nos dados utilizados para treiná-los, é imperioso que exista transparência sobre o processo de tomada de decisão pela inteligência artificial. Não se pretende, com isso, atravancar o salutar desenvolvimento tecnológico, mas preservar e promover a tábua axiológica constitucional, que estimula e protege a livre iniciativa que esteja alinhada com os princípios da Constituição da República.
----------
1 Acerca da proteção constitucional da igualdade, cf., ilustrativamente, art. 3º, IV; art. 5º, caput, incisos I, VIII, XLI, XLII; art. 7º, incisos XXX, XXXI, XXXII, XXXIV; art. 12, § 2º; art. 206, inciso I; art. 226, § 5º, da Constituição da República.
2 "O que o princípio da isonomia veda são as desequiparações que não tenham um fundamento racional e razoável e que não se destinem a promover um fim constitucionalmente legítimo. Veda-se o arbítrio, o capricho, o aleatório, o desvio. Por isso mesmo, e como já se tornou corrente, o princípio da isonomia opera sempre acompanhado da razoabilidade, parâmetro pelo qual se vai aferir se o fundamento da diferenciação é aceitável e se o fim por ela visado é legítimo" (BARCELLOS, Ana Paula de. Curso de direito constitucional. 3 ed. Rio de Janeiro: Forense, 2020, p. 156). Cf., ainda, FERNANDES, Micaela Barros Barcelos; OLIVEIRA, Camila Helena Melchior Baptista de. O artigo 20 da LGPD e os desafios interpretativos ao direito à revisão das decisões dos agentes de tratamento pelos titulares de dados. In: Revista de direito e as novas tecnologias, v. 8, jul.-set./2020, p. 14-15; TEPEDINO, Gustavo; SCHREIBER, Anderson. A discriminação no direito brasileiro (breve incursão pelo direito internacional privado). In: PEREIRA, Antônio Celso Alves; MELLO, Celso Renato Duvivier de Albuquerque (Coords.). Estudos em homenagem a Carlos Alberto Menezes Direito. Rio de Janeiro: Renovar, 2003, p. 281.
3 A temática da discriminação é tratada com profundidade por JUNQUEIRA, Thiago. Tratamento de dados pessoais e discriminação algorítmica nos seguros. São Paulo: Revista dos Tribunais, 2020, pp. 80-106. Sobre o tema da discriminação indireta, v. tb. CORBO, Wallace. Discriminação indireta: o que é e como superá-la? In: Jota. Acesso em: 31 jan. 2021.
4 Esse e outros exemplos são destacados por CALABRICH, Bruno Freire de Carvalho. Discriminação algorítmica e transparência na lei geral de proteção de dados pessoais. In: Revista de direito e as novas tecnologias, v. 8, jul.-set./2020, p. 2.
5 Na doutrina, cf. DONEDA, Danilo Cesar Maganhoto; SOUZA, Carlos Affonso Pereira de et al. Considerações iniciais sobre inteligência artificial, ética e autonomia pessoal. In: Pensar, v. 23, n. 4, pp. 1-17, out.-dez./2018, p. 4; MENDES, Laura Schertel; MATTIUZZO, Marcela. Discriminação algorítmica: conceito, fundamento legal e tipologia. In: RDU, v. 16, n. 90, pp. 36-64, nov.-dez/2019, pp. 47-55; FRAZÃO, Ana. Objetivos e alcance da lei geral de proteção de dados. In: TEPEDINO, Gustavo; FRAZÃO, Ana; OLIVA, Milena Donato (Coords.). Lei geral de proteção de dados pessoais: e suas repercussões no Direito Brasileiro. São Paulo: Revista dos Tribunais, 2019, p. 100.
6 Departamento de Proteção e Defesa do Consumidor da Secretaria Nacional de Relações de Consumo do Ministério da Justiça.
7 Sobre o tema, v. FRAZÃO, Ana. Geopricing e geoblocking: as novas formas de discriminação de consumidores. In: Jota. Acesso em: 12 fev. 2021; MEDON, Filipe. Inteligência artificial e responsabilidade civil: autonomia, riscos e solidariedade. Salvador: JusPodivm, 2020, p. 253.
8 JUNQUEIRA, Thiago. Tratamento de dados pessoais e discriminação algorítmica nos seguros. São Paulo: Revista dos Tribunais, 2020, p. 102-103.
9 DUBUISSON, Bernard. Solidarité, segmentation et discrimination en assurances, nouveau débat, nouvelles questions. Acesso em: 31 jan. 2021.
10 Cf. FALEIROS JÚNIOR, José Luiz de Moura; BASAN, Arthur Pinheiro. Desafios da predição algorítmica na tutela jurídica dos contratos eletrônicos de consumo. In: Revista da Faculdade de Direito da UFRGS, n. 44, pp. 131-153, dez./2020, p. 141.
11 V. art. 15, § 3º do Estatuto do Idoso e art. 15, parágrafo único, da Lei nº 9.656/1998.
12 V. JUNQUEIRA, Thiago. Tratamento de dados pessoais e discriminação algorítmica nos seguros. São Paulo: Revista dos Tribunais, 2020, p. 381.
13 JUNQUEIRA, Thiago. Tratamento de dados pessoais e discriminação algorítmica nos seguros. São Paulo: Revista dos Tribunais, 2020, p. 381-382.
14 FRAZÃO, Ana. Nova LGPD: ainda sobre a eficácia do direito à explicação e à oposição. In: Jota. Acesso em: 12 fev. 2021.
15 CALABRICH, Bruno Freire de Carvalho. Discriminação algorítmica e transparência na lei geral de proteção de dados pessoais. In: Revista de direito e as novas tecnologias, v. 8, jul.-set./2020, p. 9.
16 FRAZÃO, Ana. Fundamentos da proteção dos dados pessoais. Noções introdutórias para a compreensão da importância da Lei Geral de Proteção de Dados. In: TEPEDINO, Gustavo; FRAZÃO, Ana; OLIVA, Milena Donato (Coords.). Lei geral de proteção de dados pessoais: e suas repercussões no Direito Brasileiro. São Paulo: Revista dos Tribunais, 2019, p. 38.