Recentemente, a FTC (Federal Trade Commission)¹ introduziu um novo remédio para violações de proteção à privacidade de consumidores, causadas por empresas que utilizam dados ilicitamente obtidos para treinar algoritmos de aprendizado de máquina.  Esse radical mecanismo, vem sendo chamado de destruição algorítmica, algorithmic disgorgement ou simplesmente exclusão de modelo de aprendizado de máquina (machine learning model deletion). A eliminação algorítmica, pode ser percebida como remédio ou direito, sendo conceituada como a destruição ou expropriação de um conjunto de dados, algoritmos, modelos e outros relevantes produtos de trabalho criados por meios ilícitos.²

O disgorgement algorítmico é um remédio preventivo extracompensatório que busca desencorajar e literalmente desfazer os meios tecnológicos danosos, privando os agentes dos benefícios de seus ilícitos.³ O seu design objetiva alterar o comportamento de organizações e máquinas, exigindo-se que empresas não apenas excluam os dados coletados indevidamente, porém, indo além, suprimam todos os modelos de aprendizado de máquina treinados nesses dados. Isto implica que as corporações reverterão os seus modelos para o momento anterior à introdução dos dados obtidos ilicitamente, cabendo a elas treinar novamente o machine learning.

No sistema atual, percebe-se uma inconsistência no entroncamento entre privacidade, inteligência artificial e danos algorítmicos. A chamada "Unfair AI" pode causar uma série de danos algorítmicos, tendo como base, exemplificativamente, sistemas de supervisão que mantêm uma vigilância constante no espaço pessoal do aluno e pretendem analisar objetos, emoções e voz; sistemas que rastreiam as teclas digitadas pelos trabalhadores e as combinam com outras que criam uma "pontuação de produtividade"; empresas que extraem informações sobre indivíduos, criando um perfil de milhões de pessoas para vender pelo lance mais alto. Além desses fenômenos mais recentes, os danos algorítmicos vêm na forma de ferramentas de triagem de locatários e pontuações de crédito mediante constante aprimoramento de scanners e ferramentas de avaliação de risco.⁴

Na tutela da privacidade digital é perceptível uma mitigação da efetividade dos direitos de exclusão - direito ao esquecimento (right to be forgotten) e direito ao apagamento (right to erasure)⁵ - devido a limitações técnicas de remoção de informações em sistemas de aprendizado de máquina. O art. 17 (2) da GDPR permite ao titular dos dados invocar o direito de apagar "quaisquer links ou cópia ou replicação de dados pessoais". No mesmo sentido caminha a LGPD.⁶ Ou seja, mesmo sob os parâmetros atuais, reconhecemos que, uma vez transferidos ou tornados públicos, os dados são difíceis de apagar completamente da longa memória da internet. Assim, ilustrativamente, dados dos links removidos do Google ainda podem ser usados como parte do algoritmo de pesquisa da corporação, mesmo após a determinação judicial de remoção dos links. Isso pode influenciar futuros resultados de pesquisa.

Neste cenário de limitação de aptidão dos direitos de exclusão já legislados quanto à efetiva proteção da esfera privada, até o momento três importantes cases da FTC introduziram o algorithmic disgorgement como alternativa superior de tutela das situações existenciais de usuários. Em comum aos episódios, tanto a inteligência artificial utilizada para fins fraudulentos, como o aprendizado ilícito de máquina podem ser quebrados, mais especificamente: expelidos.⁷

O primeiro processo foi o notório imbróglio da Cambridge Analytica, em 2019,⁸ depois que a empresa se envolveu em práticas enganosas para explorar o acesso de usuários no Facebook, coletando os seus dados sem consentimento. A FTC ordenou que a empresa excluísse ou destruísse todas as informações coletadas dos consumidores por meio de seu aplicativo e qualquer informação ou produto de trabalho, incluindo algoritmos ou equações, originados, no todo ou em parte, dessas Informações. Portanto, isso representou a eliminação de qualquer modelo de aprendizado de máquina criado com dados obtidos de forma ilícita, bem como qualquer modelo resultante, alimentado com dados de usuários ilícitos.

Na sequência, a ideia de algorithmic disgorgement como remédio ganhou força em 2021, com a ação da FTC contra a Everalbum, Inc,⁹ que havia criado uma ferramenta de reconhecimento facial para seu aplicativo, oferecendo aos usuários uma mensagem permitindo que escolhessem se desejavam ativar ou desativar o recurso. No entanto, a FTC descobriu que a Ever não concedia aos usuários uma escolha real, pois o recurso de reconhecimento facial foi ativado por padrão e não havia como desativá-lo. A Ever se valeu das fotos desses usuários para treinar seus modelos de aprendizado de máquina para reconhecimento facial, possivelmente sem o consentimento informado dos usuários. Além disso, coletou outras imagens de usuários e as combinou com dados disponíveis publicamente para criar uma variedade de conjuntos de dados utilizados para desenvolver a tecnologia de reconhecimento facial. No mais, mesmo após eventual desativação, a empresa não excluiu fotos e vídeos, mas armazenou-os. Além de exigir que a Ever excluísse as fotos e vídeos dos usuários que solicitaram a desativação de suas contas, a FTC também determinou que a empresa eliminasse todas as incorporações faciais derivadas da coleta de informações biométricas dos usuários que não consentiram a isto, assim como qualquer produto de trabalho afetado. Em última análise, como remédio para violação da privacidade, a FTC exigiu a exclusão da máquina dos modelos de aprendizado desenvolvidos com a utilização antijurídica de dados - uma radical destruição algorítmica.

Fundamental é perceber que a sanção de exclusão de modelo de aprendizado transcende a resposta tradicional de exclusão dos dados dos usuários que, como remédio, não tutela eficazmente a vítima de privacidade, na medida em que as informações ainda mantêm uma impressão duradoura no modelo de aprendizado de máquina, como marca dos dados do indivíduo. Em outras palavras, o input de qualquer dado em um sistema de aprendizado de máquina deixa uma "sombra algorítmica" (algorithmic shadow). O dano de sombra algorítmica representa um agravamento do dano inicial à privacidade.

Quando se alimenta um conjunto de dados específicos para treinar um modelo de aprendizado de máquina, esses dados produzem um impacto no modelo resultante desse treinamento. Mesmo que se exclua posteriormente os dados do conjunto de dados de treinamento, o modelo já treinado ainda conterá uma "sombra" persistente dos dados excluídos. Ilustrativamente, cogitemos de um sistema de aprendizado de máquina treinado para identificar se um animal em uma foto é um gato. Se treinarmos o algoritmo inserindo apenas fotos de gatos laranja, o algoritmo resultante treinado nesses dados terá mais probabilidade de reconhecer gatos laranja como gatos e menor probabilidade de prever quando um gato cinza peludo for um gato. Se alguém decidir que o algoritmo projetado e treinado é tendencioso a favor da identificação de animais laranja como gatos, será possível optar por excluir todas as fotos de gatos laranja do conjunto de dados de treinamento. No entanto, isso não teria impacto no algoritmo que já foi treinado nos dados. O algoritmo ainda irá superestimar os animais laranja como gatos. Mesmo que os dados sejam excluídos do conjunto de dados original, ainda permanecerá a "sombra" dos dados no algoritmo.¹⁰

Ao exigir que as empresas excluam os modelos treinados com base nos dados dos indivíduos, a FTC elimina essencialmente a sombra algorítmica. Isto se aproxima de uma compensação integral, já que nenhuma parte dos dados violados será utilizada ativamente, pois a empresa terá que treinar novamente os seus modelos com base em algoritmos não influenciados pela sombra dos dados do indivíduo. Com efeito, a mera exclusão de dados não repara os danos psicológicos/emocionais de saber que seus dados foram mal utilizados em treinamento de modelo de aprendizado de máquina, tal como no uso de reconhecimento facial na vigilância policial, tecnologia na qual muitos não consentiriam com a inclusão de suas fotos faciais em bancos de dados para utilização no desenvolvimento de modelos de reconhecimento facial. Mesmo que a empresa de vigilância seja obrigada a excluir as fotos, o dano de ter a foto incluída no modelo de aprendizado de máquina persiste pois lá remanesce a sombra algorítmica como marca, servindo para quaisquer previsões que ele faça para vigilância.¹¹ Contudo, outro resultado se alcança pela via do disgorgement algorítmico. Se determinado modelo, essencial para os serviços de uma empresa for irremediavelmente contaminado pela ilicitude, a eliminação algorítmica resulta na necessidade dessa empresa de destruir o modelo contaminado e começar do zero

Adiante, o terceiro e mais recente episódio se deu em 2022. A FTC empregou o disgorgement algorítmico em um acordo com a WW International, Inc. e a subsidiária Kurbo, Inc. que coletou dados pessoais de crianças menores de treze anos, sem informações adequadas e suficientes aos pais, contrariamente à Lei de Proteção e Privacidade Online das Crianças. A empresa se obrigou a excluir ou destruir qualquer "Produto de Trabalho Afetado", ou seja, qualquer modelo ou algoritmo desenvolvido no todo ou em parte com base em informações pessoais obtidas de forma ilícita. Novamente, a FTC empregou a destruição algorítmica como remédio para uma violação de privacidade, reconhecendo que a simples exclusão de dados não é suficiente para sancionar violações de privacidade onde as empresas usam dados ilegítimos para desenvolver modelos de aprendizado de máquina.¹²

O disgorgement algorítmico é uma importante concretização do princípio da "minimização de dados", que exige que se limite a coleta de informações pessoais ao que é diretamente relevante e necessário para atingir um propósito específico e pelo tempo necessário para cumprir esse propósito. A conformidade ao data minimization reduz o número de casos em que surge o descompasso algorítmico, enquanto a sua desconformidade - aferida por auditorias e avaliações de impacto - permite que agências de fiscalização e consumidores infiram isso como uma violação em si, que potencialmente conduzirá a destruição algorítmica se danos forem constatados.¹³

A destruição algorítmica impede o enriquecimento injustificado, eliminando os ganhos ilícitos das empresas que violam a privacidade. Em similitude ao que ocorre com o emprego do remédio do disgorgement no mundo físico, objetiva-se a remoção de ganhos monetários ilícitos. Na esfera virtual, os casos aqui evidenciados demonstram que "gains based remedies" podem ser estendidos a casos de privacidade em que empresas coletam e usam os dados dos consumidores de maneira ilegal, possibilitando que os infratores suprimam não apenas os dados obtidos de forma ilícita, mas também os "frutos" - benefícios: aqui os algoritmos - gerados a partir disso dados. A premissa é singela: quando empresas coletam dados ilegalmente, elas não devem lucrar com os dados ou com qualquer algoritmo desenvolvido com base em sua utilização.¹⁴

Fato é que, simultaneamente, o algorithmic disgorgement concebe uma penalidade financeira para as empresas e sinaliza uma neutralização de danos para os usuários que tiveram seus dados mal utilizados. A eliminação algorítmica é bem-sucedida onde a medida de exclusão de dados falha na prevenção dos danos da sombra algorítmica persistente. Em termos mais amplos, o disgorgement algorítmico representa uma renovação para o clássico disgorgement, porque pode não apenas remediar os danos subjacentes da IA, mas também reverter os incentivos estruturais para a maximização da coleta de informações e os abusos correlatos. Surge mais uma ferramenta de moderação do "capitalismo de vigilância", mediante desincentivo à extração de dados arbitrária.¹⁵

Ademais, no atual estado da arte nos EUA, a destruição algorítmica é um facilitador de governança. Todo o produto de trabalho de IA de uma empresa está agora em risco se ela não proceder corretamente na coleta, segurança, procedência e higidez de dados. O desperdício algorítmico forçará a indústria às melhores práticas, nivelando o campo de jogo para a aplicação da lei, quebrando a assimetria de informação e poder entre agências e empresas de tecnologia que desenvolvem e implantam inteligência artificial e tecnologias de aprendizado de máquina. Isso permite ações de fiscalização mais rápidas e politicamente rígidas, desde que a autoridade seja capaz de identificar quais são os dados, modelos e algoritmos "envenenados"; garantir ou realizar a destruição dos dados, modelos e algoritmos apropriados; verificar se isso foi feito de maneira adequada, ou se há a necessidade de complementar o remédio com sanções adicionais.

Contudo, eventual introdução legislativa do disgorgement algorítmico não apenas como remédio, porém como uma nova faceta do direito à privacidade, gera controvérsias. Se em princípio um direito à destruição algorítmica tem a vantagem de ultrapassar a zona da proteção à privacidade do consumidor e tutelar a propriedade intelectual ou reforçar garantias antidiscriminatórias, por outro lado pode significar, como externalidade, um extremo efeito dissuasivo sobre os incentivos ao ambiente de inovação. A ampliação dos encargos de compliance e governança das empresas, torna-as excessivamente cuidadosas com o uso de dados e aprendizado de máquina. É possível que alguns desenvolvedores considerem que o risco e os custos são muito elevados para prosseguir na atividade, desencorajando novos entrantes no mercado. Particularmente, nos EUA, frear a inovação significa um papel menor na formação de normas globais em torno de IA e privacidade, portanto, reduzida capacidade de defender ideais democráticos para o futuro da tecnologia. Assim, qualquer lei que inclua como remédio a exclusão de modelo como consequência do uso indevido de dados, deve estabelecer limites para proteger organizações sem fins lucrativos, pequenas startups e outras partes com recursos limitados para compliance.

Ademais, é cada vez mais difícil para o indivíduo mensurar a extensão das violações de privacidade relacionadas à sua privacidade. No complexo ecossistema de dados, encontramo-nos em enorme disparidade de informações em comparação com as grandes corporações e governos. É bem possível que nunca tenhamos conhecimento de que nossos dados estão sendo utilizados para desenvolver um sistema de aprendizado de máquina ou que remanesça uma sombra persistente, mesmo após a exclusão deles. Usuários possuem expectativas sobre a exclusão de dados que não são corroboradas pela realidade da exclusão de dados técnicos. Acreditamos que solicitar a exclusão de dados de uma plataforma também significa que esta excluirá os dados de seu armazenamento privado, o que pode não seja o caso. Assim, uma medida de private enforcement cujo ônus executivo recaia sobre o indivíduo - e não sobre uma agência ou autoridade nacional - talvez seja inefetiva para proteger a sua própria privacidade.

Os críticos comparam o disgorgement algorítmico a um martelo cego (blunt hammer) e há um fundo de verdade nessa afirmação. Cego, contudo, não deve ser confundido com aleatório ou equivocado, porém contundente, com a função de eviscerar incentivos estruturais para coleta e manipulação de grandes quantidades de dados de forma despreocupada. É contundente porque dói, não como um martelo no polegar, mas pelo fato de que a accountability doí no começo, mas é necessária. Sim, o disgorgement algorítmico é um martelo, mas estamos construindo uma casa.¹⁶

Por tudo que vimos e pela minha longa dedicação ao tema,¹⁷ reconheço que a expressão "disgorgement algorítmico" pode ser imperfeita para descrever o novo cenário. O tradicional disgorgement envolve a remoção de lucros que são redistribuíveis para as partes impactadas. Aqui, no entanto, embora o algorithmic disgorgement prive os agentes do produto do trabalho afetado, não implica a redistribuição de ganhos, em vez disso, diz respeito totalmente à destruição do modelo.

Independentemente da completa conformação da expressão, o disgorgement algorítmico merece endosso expresso por legisladores como ferramenta essencial para a proteção do consumidor na complexa camada de ilicitude em produtos e negócios edificados com uso intensivo de dados. Portanto, devemos levar a sério a efetivação desse remédio. A inteligência artificial se tornará cada vez mais importante em nossas vidas, sendo imperativo que colaboremos agora para criar estruturas para proteger nossos direitos e interesses em um futuro que esperamos seja melhor para todos.

__________

1 Na ausência de uma lei federal de privacidade, a FTC impõe ações de privacidade com base em sua autoridade da Seção 5 - defesa da concorrência - para regulamentar práticas injustas e enganosas aos consumidores.