Sistemas de IA e seus respectivos algoritmos influenciam uma grande parte das decisões públicas e privadas que afetam direta ou indiretamente nosso dia a dia. Algoritmos já são empregados para atividades tão variadas como o auxílio a diagnósticos médicos e a moderação da liberdade de expressão em redes sociais. Esses sistemas também influenciam decisões relevantes como a concessão de crédito, a avaliação de candidatos a emprego, a gestão de serviços estatais, como o acesso a benefícios sociais, o direcionamento da vigilância policial, o controle de fronteiras, e a administração da justiça, podendo afetar, inclusive, a privação de liberdade de indivíduos sujeitos à investigação criminal. 

Embora as decisões, predições e recomendações dos algoritmos possam levar a uma maior eficiência e, por vezes, precisão, no desempenho das mais variadas atividades, a aplicação desses sistemas pode violar direitos individuais e coletivos, diante da inerente opacidade de determinados sistemas de IA, e seu potencial de discriminação de grupos já marginalizados socialmente. Tendo em vista os impactos sistêmicos que aplicações de IA e seus respectivos algoritmos podem gerar às relações sociais como um todo, mostra-se urgente o desenvolvimento de mecanismos regulatórios para que os riscos da inteligência artificial e da automatização sejam acessados e potencialmente mitigados, antes que essas tecnologias sejam implementadas e comercializadas. É neste sentido que mecanismos de prestação de contas de sistemas de IA têm sido propostos, sendo a avaliação de impacto algorítmico um destes instrumentos, conforme veremos em seguida.

O que é a Avaliação de Impacto Algorítmico (AIA)?

A avaliação de impacto algorítmico (AIA) é um instrumento que vem sendo cada vez mais recomendado por acadêmicos e formuladores de políticas públicas, no intuito de estimular uma reflexão sobre as consequências sociais e éticas dos sistemas de IA e promover uma aplicação segura e responsável dessa tecnologia. Embora ainda esteja em estágio inicial de formulação teórica e regulatória, a AIA vem sendo concebida como um instrumento essencial para avaliar previamente os riscos de sistemas algorítmicos aos direitos humanos e, assim, viabilizar uma prestação de contas por parte dos agentes responsáveis por seu desenvolvimento e sua implementação.

Muito embora a AIA seja um instrumento regulatório recente, ela tem origem em processos de avaliação de impacto já desenvolvidos em outros campos, como a avaliação de impacto à proteção de dados e a avaliação de impacto ambiental, que também visam avaliar e mitigar, preventivamente, potenciais impactos negativos decorrentes da exploração de atividades de risco. É recomendável, portanto, que iniciativas de regulamentação e implementação prática da AIA possam aprender com os princípios, erros e acertos já verificados nessas áreas.

Conforme enunciado por Selbst (2021), iniciativas de regulamentação da AIA devem ter dois objetivos principais: "(1) exigir que as empresas considerem os impactos sociais [de sistemas algorítmicos] antecipadamente e trabalhem para mitigá-los antes do desenvolvimento, e (2) criem documentação de decisões e testes que possam apoiar a aprendizagem de políticas futuras"¹. No que se refere ao conteúdo da AIA, relatório desenvolvido pelo Instituto de pesquisa Data & Society (2021) esclarece que ela deve buscar responder três questões principais: "o que um sistema faz; quem pode fazer algo sobre o que o sistema faz; e quem deve tomar decisões sobre o que o sistema pode fazer"². O objetivo da AIA é, portanto, prover transparência sobre o funcionamento e finalidades do sistema algorítmico, documentar os impactos e medidas de prevenção de danos, e identificar seus responsáveis, viabilizando posterior fiscalização pela autoridade competente e, desejavelmente, pela própria sociedade.

Devido ao potencial da AIA em prevenir e mitigar ameaças futuras que sistemas algorítmicos possam causar aos direitos humanos, ela tem sido considerada como um elemento de governança essencial de um modelo de regulação de IA baseado em risco ("risk-based approach"), que vem sendo adotado por diversas jurisdições. A tendência, portanto, parece ser pela crescente inclusão da AIA, tanto em iniciativas regulatórias já em vigor, como é o caso da Directive on Automated Decision-Making (2019), do Canadá³, como em propostas ainda em discussão, como o AI Act, na União Europeia, e um dos projetos de lei (PL) brasileiro que tratam sobre o tema, o PL 2.338/2023, do qual trataremos a seguir. 

O  PL 2.338 e o instrumento de avaliação de impacto algorítmico

O PL 2.338/2023 é o resultado do trabalho da Comissão de Juristas responsável por subsidiar a elaboração de um substitutivo sobre inteligência artificial no Brasil (CJSUBIA), que foi constituída pelo Presidente do Senado, Rodrigo Pacheco, em fevereiro de 2022. A referida Comissão foi instituída para apresentar um substitutivo ao PL 21/2020, o primeiro projeto de lei no Brasil a propor um Marco Legal da Inteligência Artificial. Este PL, contudo, foi objeto de diversas críticas por parte da comunidade acadêmica e sociedade civil, dentre elas, sobre o seu texto majoritariamente principiológico, sem a definição de deveres e responsabilidades por parte dos fornecedores da tecnologia, e sem previsão de mecanismos fiscalizatórios, sancionatórios, coercitivos, e de governança. Diante da robusta proposta de substitutivo apresentada pela CJUSBIA, fruto do intenso trabalho da Comissão, o Senador Rodrigo Pacheco optou em converter o então substitutivo em um novo projeto de lei, que se tornou o PL 2.338/2023.

O texto do referido PL pretendeu desmistificar o pretenso trade-off entre uma regulação que garante e protege direitos ou uma regulação que incentiva o desenvolvimento econômico e a inovação, a partir do estabelecimento de uma abordagem baseada em riscos e em direitos, por meio de regulação assimétrica. Isto é, conforme o nível de risco de um sistema de IA, maior será a carga obrigacional dos agentes regulados.

O PL cria, portanto, dois níveis de risco de sistemas de IA: os de risco excessivo e de alto risco, reconhecendo também a existência de um terceiro grupo, de menor risco, não classificado nem como de risco alto nem como de risco excessivo. Dependendo da classificação do nível do risco, são definidas obrigações mais ou menos exigentes para cada um dos sistemas. Enquanto sistemas de risco excessivo são proibidos pelo PL, em consonância com o princípio da precaução, os sistemas de alto risco devem cumprir com obrigações de governança gerais (aplicáveis para todos os sistemas de IA, independentemente do risco) e específicas. Uma das obrigações específicas para estes sistemas de alto risco é justamente a avaliação de impacto algorítmico.

Considerando as experiências internacionais em que se verifica o protagonismo da avaliação de impacto como ferramenta de governança e prestação de contas de sistemas de IA,⁴ o PL 2.338/2023 previu uma seção específica (Seção III do Capítulo IV) para sua procedimentalização mínima, destrinchada ao longo dos artigos 22 ao 26.O primeiro artigo sobre a AIA, o art. 22, estabelece que a sua realização será obrigatória para todos os sistemas que forem considerados de alto risco pela avaliação preliminar. Sobre este ponto é importante ressaltar a diferença entre a avaliação preliminar, indicada no PL em seu artigo 13, e a avaliação de impacto algorítmico prevista no art. 22 e seguintes. A avaliação preliminar se refere à análise prévia que deve ser feita pelo fornecedor antes de um sistema de IA ser colocado em mercado ou em utilização. Esta primeira avaliação visa apenas classificar o seu grau de risco, de acordo com as definições de IA de risco excessivo e alto risco previstas nos arts. 14 e 17, respectivamente, a fim de averiguar quais são as obrigações que deverão ser observadas pelo fornecedor.

Como esta avaliação é, a princípio, uma atividade autorrealizada pelos próprios agentes regulados, o § 2º do referido artigo determina o registro e documentação da avaliação preliminar para fins de responsabilização e prestação de contas no caso de o sistema não ser classificado como de risco alto naquele momento. Inclusive, há a possibilidade de a autoridade competente determinar a reclassificação (§3º) e até a imposição de eventuais penalidades em caso de avaliação preliminar fraudulenta, incompleta ou inverídica (§4º). É por meio do compartilhamento da avaliação preliminar e, posteriormente, da AIA com a autoridade competente que esta tomará ciência sobre a existência de um sistema de alto risco (art. 22, parágrafo único).

Assim, uma vez que o sistema de IA é enquadrado como de alto risco pela avaliação preliminar, surge a obrigação de elaboração da AIA, procedimentalizada no art. 24. O projeto prevê uma metodologia com, ao menos, quatro etapas, formada por: preparação, cognição do risco, mitigação dos riscos encontrados e monitoramento. O §1º elenca o conteúdo mínimo dessa avaliação, o que inclui uma explicação sobre a lógica de funcionamento do sistema; o registro dos riscos conhecidos e previsíveis à época em que o sistema foi desenvolvido, assim como os riscos que podem razoavelmente dele se esperar (em atenção ao princípio da precaução, reforçado no §2º, do art. 24); benefícios do sistema; probabilidade de consequências adversas (incluindo quantas pessoas poderiam ser afetadas) e gravidade destas consequências adversas. Como a AIA possui uma finalidade não apenas de avaliação, mas de prevenção de danos, o §1º determina que também sejam registradas as medidas de mitigação e testes adotados pelos agentes de inteligência artificial para prevenir riscos, especialmente àqueles relacionados a  "impactos discriminatórios".. Também devem ser registradas a realização de treinamento e ações de conscientização dos riscos associados ao sistema, bem como as medidas de transparência adotadas, no sentido de informar o público sobre esses riscos.

Quando um sistema de alto risco gerar impactos irreversíveis ou de difícil reversão, a AIA deverá levar em consideração, também, as evidências incipientes, incompletas ou especulativas, em atenção ao princípio da precaução (§2º, do art. 24). Ou seja, é necessário um esforço adicional em elucubrar tais riscos, e indicar as medidas que foram e podem ser adotadas para mitigá-los. Não sendo possível eliminar ou mitigar de maneira substantiva os riscos identificados na AIA, o uso do sistema de IA será descontinuado (art. 21 § 2º). Caso seja identificado um risco inesperado a direitos de pessoas naturais de um sistema de IA já colocado no mercado, a autoridade competente e as pessoas afetadas deverão ser comunicadas (art. 24, §5º).

No que se refere aos atores competentes para a condução da AIA, o projeto determina que ela deverá ser realizada por profissional ou equipe de profissionais que possuam conhecimentos técnicos, científicos e jurídicos, portanto, com perfil multidisciplinar, e com independência funcional (art. 23). A autoridade competente poderá regulamentar que a realização ou auditoria da AIA possa ser realizada por agentes externos ao fornecedor (art. 23, parágrafo único). É curioso que esta seja a única menção do PL sobre a possibilidade de realização de auditoria, considerando que esta tem sido uma medida recorrentemente defendida pela doutrina⁵ para realizar uma análise mais técnica de sistemas de IA, à luz dos princípios da transparência e prestação de contas.

Apesar de o projeto de lei definir metodologia e conteúdo mínimo da AIA, alguns pontos ficam em aberto e dependerão de posterior definição pela autoridade competente, a ser designada pelo Poder Executivo (art. 32). Por exemplo, o §3º do art. 24 determina que a autoridade poderá estabelecer outros critérios e elementos a serem considerados na AIA, incluindo a participação de diferentes grupos sociais afetados, de acordo com o risco e porte econômico do fornecedor. Esse dispositivo chama atenção por duas questões principais: primeiro, a possibilidade da autoridade competente estabelecer obrigações adicionais na AIA para fornecedores de maior porte, aliviando a carga obrigacional dos de menor porte. Segundo, por levantar a necessidade de participação social nos processos de avaliação de impacto, o que, além, de ser uma exigência obrigatória em outras áreas, como na avaliação de impacto ambiental, vem sendo recomendada pela doutrina como uma forma de propiciar um controle social sobre esses sistemas e de permitir uma avaliação mais completa dos impactos, a partir de múltiplas perspectivas.

No que tange às atribuições da autoridade competente, ela poderá não apenas estabelecer obrigações adicionais às já previstas no projeto, como também deverá regulamentar os procedimentos e requisitos para a elaboração da AIA (art. 32, VI, b), dentre eles, a periodicidade de atualização das avaliações de impacto (obrigação indicada no § 4º do art. 24 e reforçada pelo §1º do art. 25).

Considerando que os sistemas de IA são complexos e com grande potencial evolutivo em curto prazo, é essencial que a AIA seja um processo iterativo contínuo, e realizado ao longo de todo o ciclo de vida dos sistemas, conforme determina o art. 25. De acordo com esse artigo, as atualizações periódicas são necessárias e devem contar com a participação pública, a partir de procedimento de consulta a partes interessadas, ainda que de maneira simplificada (§2º). Causa estranhamento, no entanto, o fato da participação ser exigida pelo projeto apenas na etapa de atualização da AIA, e não desde o início. Tal participação é essencial, especialmente quando o fornecedor do sistema for órgão ou ente do poder público, para que as avaliações tenham um caráter democrático, dotando o seu processo e resultado de legitimidade, permitindo a participação dos grupos potencialmente impactados, já que, em certos contextos, eles podem ser os mais adequados para relatar os  riscos reais do sistema.

Ademais, dado o papel das avaliações de impacto enquanto ferramenta de prestação de contas, o PL 2.338 prevê a obrigatoriedade de publicação de um  conteúdo mínimo de suas conclusões, resguardados os segredos industrial e comercial (art. 26). Esta previsão é importante, pois aponta para a possibilidade de que os sistemas de IA de alto risco possam ser também avaliados e fiscalizados por toda a sociedade, que poderão acessar por meio da base de dados pública as informações sobre as IAs de alto risco e suas respectivas AIAs (art. 43). Contudo, a ressalva da proteção aos segredos industrial e comercial pode servir como uma barreira jurídica relevante para justificar que fornecedores deixem de compartilhar informações importantes sobre seus sistemas de IA, mantendo a caixa-preta fechada.

A partir da análise realizada neste artigo, pudemos identificar os principais parâmetros indicados pelo PL 2338/2023 para a regulamentação da AIA no Brasil. No entanto, o projeto ainda possui um longo caminho legislativo a trilhar. Assim como ocorreu com outros projetos de lei que tratam de temas ligados à tecnologia, como a Lei Geral de Proteção de Dados Pessoais e o Marco Civil da Internet, é importante que a proposta ainda seja objeto de debates e consultas públicas para amadurecer o seu conteúdo, além de contemplar outras perspectivas sociais, técnicas e culturais. Tendo em vista a importância da AIA para uma governança precaucionária e responsável da IA, espera-se que o texto futuramente aprovado possa efetivamente institucionalizar esse instrumento, de maneira a garantir uma devida avaliação de riscos, prestação de contas e mitigação de danos por parte dos agentes de inteligência artificial.

__________

1 Tradução livre do original: "An AIA regulation has two main goals: (1) to require firms to consider social impacts early and work to mitigate them before development, and (2) to create documentation of decisions and testing that can support future policy-learning". SELBST, A. D. An Institutional View of Algorithmic Impact Assessments. Harvard Journal of Law & Technology, v. 35, n. 1, 2021.

2 MOSS, Emanuel et. al. Assembling Accountability: Algorithmic Impact Assessment for the Public Interest. Jul. 2021, p. 5.

3 Disponível aqui.

4 Comissão de Juristas responsável por subsidiar elaboração de substitutivo sobre inteligência artificial no Brasil  (CJSUBIA). Relatório Final. Senado Federal, dez. 2022. p. 11 e 12.

5 Ver por todos: PASQUALE, Frank. The Black Box Society. Cambridge: Harvard University Press, 2015.