Ao dispor Castells¹ sobre a gênese de um novo mundo cuja forma e modelo inicial se fizeram sentir ao final do milênio, por meio de uma estrutura social dominante,  decorrente de uma sociedade em rede impactada pela tecnologia informacional, resultando numa economia global gerando a partir de  um mundo interdependente, a  cultura da virtualidade real, subjacente a ação e as instituições sociais, denotando-se que um tratamento específico e atual deve ser atribuído à coleta de dados pessoais com um viés protetivo.

Deve-se considerar neste ambiente de base tecnológica e inovadora, tanto as questões relacionadas à IoT - Internet das Coisas², como infraestrutura que integra a prestação de serviços de valor adicionado com capacidades de conexão física ou virtual de coisas e de pessoas, com dispositivos baseados em tecnologias da informação e comunicação, como também os aspectos relativos à privacidade e proteção dos dados pessoais, observadas as disposições da LGPD.

E exatamente foi a tecnologia da informação a ferramenta primordial para a implantação efetiva dos processos de restruturação socioeconômica e formação das redes autoexpansíveis de organização da atividade humana, transformando e impactando as relações sociais econômicas.

Todavia, Castell já alertava para o fato de que este novo sistema geraria ou teria uma tendencia a aumentar a desigualdade social e a polarização decorrente do crescimento simultâneo de ambos os extremos da escala social, numa visão do que denominou de capitalismo informacional, contribuindo para a exclusão social, desassociando nesta dinâmica, as pessoas, trabalhadores e consumidores.³ 

Será neste ambiente  que o país caminha para a  instituição  da Estratégia Brasileira de Inteligência Artificial⁴, com a finalidade de  nortear as ações em prol do fortalecimento da pesquisa, desenvolvimento e inovações de soluções em Inteligência Artificial, como o  seu uso consciente e  ético,  que propomos reflexões acerca da utilização de tecnologias informacionais e possível viés discriminatório atribuído a algoritmos como resultado final inesperado, que podem ser entendidos como uma série de instruções delegadas a uma máquina para resolver problemas pré-definidos.   

Em alguns casos, a aplicação de algoritmos pode, de alguma forma previsível ou imprevisível, contribuir para gerar a exclusão social e a mitigação da utilização de direitos constitucionais, através de viés discriminatório, decorrentes da utilização de sistemas de inteligência artificial baseados em processo computacional.

A partir de um conjunto de objetivos definidos por humanos, a IA e seus algoritmos, na efetivação de processamento de dados e informações, poderá aprender a perceber, interpretar e interagir com o ambiente externo, fazendo predições, recomendações, classificações ou decisões. Aliás, esta funcionalidade foi bem definida no PL 21/20 de autoria do Deputado Eduardo Bismark que pretende a criação do Marco da Inteligência Artificial no Brasil.⁵

Como subconjunto da Inteligência Artificial temos a machine learning, que se constitui em um sistema de aprendizagem de máquina, supervisionado ou não, que pode deter tecnologia de autoconstrução ou de projetar outros algoritmos e, ainda, sistemas baseados em conhecimento ou em lógica; abordagens estatísticas, inferência bayesiana, métodos de pesquisa e otimização.

Os processos de automação podem incluir a capacidade do sistema de aprender a perceber, interpretar e interagir com o ambiente externo a partir das ações e das informações recebidas. 

A problemática Coded Bias

O documentário Coded Bias (2020), dirigido por Shalini Kantayya, investiga o viés racista e machista da Inteligência Artificial por trás dos algoritmos de reconhecimento facial e se aprofunda na análise de como as redes sociais e os algoritmos das big techs estão impactando os grupos mais marginalizados da sociedade. 

Coded Bias mostra como Joy Buolamwini, mulher negra e cientista da computação do Instituto de Tecnologia de Massachussets (MIT), ao realizar pesquisas no MIT Media Lab, e posicionar rostos em frente a uma tela com dispositivo de captação de imagem por Inteligência Artificial, detectou um problema neste sistema de reconhecimento facial, consistente da falha frequente na análise de rostos, interferindo diretamente nos resultados, atribuindo a falha aos aspectos étnico-raciais.

Ao sobrepor ao seu rosto uma máscara branca para prosseguir na captação facial, Joy Buolamwini teve finalmente a sua face reconhecida plenamente.  A partir desse episódio, a pesquisadora decidiu investigar como e porque este fato acontecia e quais seriam as consequências às pessoas de seu grupo étnico.

Ao aprimorar a pesquisa, acabou por constatar também que grandes grupos empresariais, utilizavam-se de máquinas e algoritmos desenvolvidos para uso em reconhecimento facial e tecnologias assemelhadas, onde os resultados gerados identificavam o reconhecimento de rostos de homens brancos com muito mais exatidão, possibilitando o desenvolvimento de predições, constatações e criações de tendências e padrões de consumo, que, na realidade, possuíam um claro viés discriminatório e não inclusivo.

O documentário levanta questionamentos sobre a utilização desses mecanismos tecnológicos, seja por empresas privadas ou por governos "democráticos". Entre eles, mostra como os preconceitos inerentes de suas visões de mundo são incorporados aos códigos por meio de um viés próprio, denominado pela Joy como um "olhar codificado".

Apesar de estarmos cada vez mais imersos em uma sociedade inteligente do ponto de vista da tecnologia, reproduzimos em nossas máquinas, as fissuras sociais existentes no cotidiano. As pesquisas acadêmicas do MIT contribuíram para mudar legislações nos EUA e abalaram empresas de tecnologia, justamente em razão da detecção do viés tóxico e não inclusivo.

Na busca de respostas ao dilema proposto por Joy Buolamwini, o documentário apresenta os resultados das pesquisas algorítmicas de Cathy O'Neil, matemática e pós-doutora pelo MIT que partiram da premissa de que as aplicações matemáticas fomentadoras da economia dos dados, eram baseadas em escolhas feitas por seres humanos falíveis, independente das suas intenções.

Muitos dos modelos denominados pela Autora de Armas de Destruição Matemática, programavam preconceitos, equívocos e vieses humanos nos sistemas de software que geriam vidas. Os modelos matemáticos eram na sua ótica, opacos e seus mecanismos invisíveis a todos, exceto aos iniciados, matemáticos e cientistas da computação. As decisões, mesmo quando erradas ou danosas, estavam além de qualquer contestação, demonstrando razoável tendência de gerar a punição de classes sociais menos favorecidas e oprimidas e a multiplicação de ganhos dos mais ricos.⁶ 

A toxidade algorítmica e o viés discriminatório

Esta problemática relativa ao viés discriminatório dos algoritmos e da utilização da I.A inclusive no Poder Judiciário é objeto de especial atenção tanto por parte do governo como das associações e organizações voltadas para esta temática, a exemplo do IAPD, Instituto Avançado de Proteção de Dados, que desenvolve pesquisas relacionadas a sistemas protetivos de titulares de dados pessoais e uso da tecnologia. 

Neste contexto, foram apresentados por associados fundadores, em importantes congressos internacionais na Europa e no Brasil, dois estudos impactantes.  O primeiro objetivou demonstrar a necessidade de construção de políticas identitárias não  excludentes, traçando  um paralelo entre os princípios da LGPD e a Agenda 2030 da ONU, em especial no que tange aos objetivos relativos à busca do pleno e produtivo empreso e trabalho decente,  inclusive para com as pessoas com deficiência, gerando empoderamento  e inclusão social, econômica e política, independentemente da idade, gênero, deficiência, raça, etnia, origem, religião, condição econômica, garantindo a igualdade de oportunidade e reduzindo desigualdade por meio da eliminação de práticas discriminatórias.

Neste ponto, alertou-se para a necessidade de se evitar que o sistema algorítmico e de coleta de dados pessoais, possa gerar viés de excludência social, principalmente aos deficientes de forma contraria ao sistema protetivo de LGPD e ao sistema previsto no EPD- Estatuto da Pessoa com Deficiência.⁷ 

Já, no evento específico sobre Inteligência Artificial, o Diretor Jurídico do IAPD, Prof. Dr. Adalberto Simão Filho e a Presidente do IAPD, Prof. Dra. Cintia Rosa Pereira de Lima, apresentaram a problemática da (in)decisão judicial e os algoritmos tóxicos, clamando pelo direito de revisão de decisões judiciais automatizadas, uma vez demonstrando que existe a  possibilidade de o algoritmo expressar de forma voluntária ou involuntária, um viés discriminatório de qualquer natureza. Demonstraram a incompatibilidade do modelo de Inteligência Artificial , com os princípios gerais do direito que conduzem o "due processo of law", invocando a resolução nº 322 do CNJ⁸ acerca da necessidade de adoção de medidas corretivas ao se detectar um viés discriminatório ou, ainda, de descontinuar a utilização do programa ou sistema na impossibilidade de eliminação deste  viés. Neste sentido, defenderam o direito de revisão das decisões automatizadas, reforçando a posição do capítulo II da resolução n. 332 do CNJ,  destacando que  as ferramentas ligadas à predição e algoritmos devem ser concebidas desde o início de sua formulação no conceito privacy by design, realçando a missão desafiadora tendo em vista a opacidade dos algoritmos, muitas vezes podendo ser caracterizados como tóxicos, pois ensejam vieses intoleráveis segundo o princípio da não discriminação e da transparência.⁹

A fragilidade e vulnerabilidade do algoritmo que registra viés indesejado, com reflexos discriminatórios e não transparentes, num desvio de percepção e de função intencional ou não, a demonstrar a necessidade de se gerar a necessária proteção à pessoa titular dos dados, também se faz sentir nas redes neurais  profundas de última geração  (DNNs) gerando situações críticas à segurança ao usuário desta tecnologia que, em ambiente de Internet das Coisas e das pessoas,  pode estar embarcada em  vários tipos de equipamentos e veículos tecnológicos, coletando dados e se utilizando de Inteligência Artificial com resultados não satisfatórios.

Multiplicam-se pesquisas que demonstram problemas decorrentes de distorções na recepção e coleta de imagens e dados captados por tecnologia com o concurso de algoritmos. Neste ponto, oportuno o estudo de Kevin Eykholt e um grupo de pesquisadores, que demonstraram, que certos algoritmos utilizados são vulneráveis a exemplos contraditórios captados pelos instrumentos, resultantes perturbações de pequena magnitude adicionadas à entrada, podendo enganar esses sistemas e causar situações perigosas. 

Observe-se, portanto, o algoritmo de reconhecimento facial de Coded Bias que gerava por si só a discriminação racial e, portanto, o universo de suas informações e dados pessoais captados e analisados poderia se refletir de forma equivocada, os pesquisadores comprovaram que algoritmos e instrumentos embarcados em veículos autônomos ou semiautônomos, poderiam captar sinais rodoviários nas estradas, mas que seriam registrados internamente de forma distorcidas. Como exemplo, se utilizaram de camuflagens de vários níveis em placas de trânsito e verificaram que este simples fato gerava a distorção sistêmica de resultados e altas taxas de classificação incorreta direcionadas.¹⁰ 

Esta constatação gerou a necessidade de se desenvolver algoritmos de aprendizagem mais resilientes. Os pesquisadores propuseram então, um algoritmo de ataque geral, criando uma metodologia própria (Robust Physical Perturbations) para gerar perturbações contraditórias visuais robustas em diferentes condições físicas por meio de testes de laboratório e de campo, com vistas a detectar e contribuir para a correção das distorções das manipulações físicas contraditórias em objetos reais. 

A questão apontada dos equívocos de análise advindos da tecnologia de Inteligência Artificial e da possibilidade discriminatória, é preocupante tanto do ponto de vista da proteção da pessoa dos titulares dos dados, como também da sua aplicação na Justiça. Neste ponto, importante o escólio de Fausto Martin De Sanctis onde, para a utilização dos algoritmos, estes devem ser inatacáveis em sua ética e solidez, garantindo-se os princípios da neutralidade e da transparência.¹¹     

Pelo direito de não ser discriminado e de correção

Diferentemente da denominada sociedade disciplinar, caracterizada segundo Michel Foucault, pela sua função disciplinadora de comportamentos onde o poder passa a ser aplicado sobre os corpos das pessoas, inclusive por meio da coerção física, na   sociedade do controle onde prepondera  "surveillance state" e a utilização de plataformas de base tecnológica  onde uma de suas  características  de gestão mais expressivas é exatamente a capacidade de modulação das opções e dos caminhos de interação e de acesso aos conteúdos publicados.¹²

Esta modulação deleuziana¹³ gera a redução do campo de visão e um processo de controle da visualização de informações, conteúdos, imagens e sons por meio de sistemas algoritmos que distribuem os discursos criados pelos usuários, corporações, pessoas e empresas, controlando-os indiretamente por parte daqueles que instituíram os critérios e políticas de interação dos espaços virtuais internos destas plataformas.

Há um aspecto decorrente do processo de modulação, consistente da necessidade de se conhecer precisamente o perfil do agente modulável, por meio da construção de dispositivos e procedimentos de acompanhamento cotidiano de seus passos, como forma de gerar a atuação sobre o mesmo, podendo se conduzir as suas opiniões, seu comportamento e as suas opções de consumo.

A utilização de modelos de Inteligência Artificial deve buscar garantir a segurança jurídica e igualdade de tratamento aos casos absolutamente iguais, a partir de amostras representativas e observância às cautelas necessárias quanto aos dados pessoais e ao segredo de justiça. Uma vez verificado viés discriminatório de qualquer natureza ou incompatibilidade do modelo de Inteligência Artificial, deverão ser adotadas medidas corretivas e/ou de salvaguardas e mecanismos de gerenciamento e mitigação dos riscos aos direitos fundamentais e exercício da cidadania.

São tempos de apoio ao desenvolvimento tecnológico e a inovação, como elementos e instrumentos que possibilitam a melhoria da qualidade de vida, mas de perplexidade com certos resultados obtidos, onde se deve afastar quaisquer níveis de preconceito e de discriminação algorítmica tóxica proveniente de um "olhar codificado" como bem denomina Joy Buolamwini. 

*Adalberto Simão Filho é professor Titular dos programas de Mestrado e Doutorado em Direitos Coletivos e Cidadania da UNAERP/RP. Obteve os títulos de mestre e de doutor em direito das relações sociais pela PUC/SP e de pós doutor em direito e educação pela Universidade de Coimbra.  Diretor Jurídico do Instituto Avançado de Proteção de Dados- IAPD. É autor de obras temáticas envolvendo o direito da sociedade da informação e a nova empresarialidade.

**Janaina de Souza Cunha Rodrigues é profissional da área jurídica consultiva que conta com mais de quinze anos de experiência em departamentos jurídicos empresariais e escritórios de advocacia, com atuação na área empresarial e tecnológica. Associada Fundadora e membro da Comissão permanente de assuntos Jurídicos do Instituto Avançado de Proteção de Dados - IAPD.  Pesquisadora externa em grupo de estudo voltado para o Direito e a Tecnologia. Advogada Sênior do Escritório De Vivo, Castro, Cunha e Withaker Advogados, com atuação nas áreas consultivo digital e contratos.

__________

1 CASTELLS, Manuel. Fim de Milênio - A era da informação: economia, sociedade e cultura. Vol. 3: Paz e terra. São Paulo, 2012. p. 412.

2 BRASIL. Decreto nº 9.854, de 25 de junho de 2019. Institui o Plano Nacional de Internet das Coisas e dispõe sobre a Câmara de Gestão e Acompanhamento do Desenvolvimento de Sistemas de Comunicação Máquina a Máquina e Internet das Coisas. Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2019-2022/2019/decreto/D9854.htm, acesso em 14 out. 2021.

3 CASTELLS, Manuel. Fim de Milênio - A era da informação: economia, sociedade e cultura. Vol. 3: Paz e terra. São Paulo, 2012. p. 420.

4 BRASIL. Portaria GM n.º 4.617, de 6 de abril de 2021, que institui a Estratégia Brasileira de Inteligência Artificial e seus eixos temáticos. Disponível aqui, acesso em 14 out. 2021.

5 BRASIL. PL. 21/2020 que pretende a criação do Marco da Inteligência Artificial no Brasil. Disponível aqui, acesso em 14 out. 2021.

6 CATHY O'NEIL. Algoritmos de destruição em massa. Editora Rua do Sabão: São Paulo. 2020.

7 SIMÃO FILHO, Adalberto; RODRIGUES, Janaina de Souza Cunha. Artigo em resumo denominado "Pela construção de políticas identitárias não excludentes - Um paralelo entre os princípios da LGPD e a Agenda 2030", apresentado em 12/10/21 no VI Congresso Internacional de Direitos Humanos de Coimbra- Portugal. 

8 BRASIL. Conselho Nacional de Justiça. Resolução n. 332/2020. Dispõe sobre ética, a transparência e a governança na produção e no uso de Inteligência Artificial no Poder Judiciário e dá outras providências. Disponível aqui, acesso em 14 out. 2021.

9 SIMÃO FILHO, Adalberto; LIMA, Cintia Rosa Pereira de. Artigo em resumo denominado "A (In)decisão judicial e os algoritmos tóxicos", apresentado em 14/10/21 no III Seminário de Inteligência Artificial e Direito-Associação Ibero Americana de Direito e Inteligência Artificial.

10 EYKHOLT, Kevin; EVTIMOV, Ivan; FERNANDES, Earlence; LI BO; RAHMATI, Amir; XIAO, Chaowei; PRAKASH, Atul; KOHN, Tadayoshi; SONG, Dawn. Robust Physical-World Attacks on Deep Learning Visual Classification. Open access version, provid by de Computer Vision Foundation-CVF, version available on IEEE Splore. visit. 17/09/21.

11 DE SANCTIS, Fausto Martin. Inteligência Artificial e Direito.  Almedina: São Paulo. 2020.

12 SOUZA, Joyce; AVELINO, Rodolfo; SILVEIRA, Sergio Amadeu da. A sociedade de controle. Manipulação e modulação nas redes digitais. São Paulo: Editora Edra, 2018.

13 DELEUZE, Gilles. Conversações. Editora 34: São Paulo. 2013.