Migalhas de Responsabilidade Civil

Responsabilidade civil do Estado e falhas algorítmicas no autosserviço

Pode o Estado ser responsabilizado pelos "ilícitos algorítmicos" derivados de falhas de sistemas que porventura utilize?

27/2/2024

Em recente obra1, tive a oportunidade de refletir sobre os contornos peculiares que a responsabilidade civil do Estado passa a ostentar na sociedade da informação. Percebe-se a necessidade de revisitação da teoria do risco administrativo para que se possa tutelar situações geradoras de danos que desbordam dos exemplos clássicos, restritos ao mundo analógico.

Nas origens do Estado contratualista, a frase "Public office is a public trust" (O cargo público pressupõe a confiança pública) indicava a imprescindibilidade da fidúcia depositada pelos cidadãos na atuação estatal. Na contemporaneidade, com a tendência irrefreável à adoção do autosserviço2, o que se nota é o efeito contrário: uma crescente dificuldade de se confiar em algoritmos3, especialmente naqueles que são como "caixas-pretas" (black boxes), em comparação com a confiança depositada na atuação dos agentes públicos para fins de responsabilização do Estado.

Logo, questiona-se: pode o Estado ser responsabilizado pelos “ilícitos algorítmicos” derivados de falhas de sistemas que porventura utilize? Haveria o que se pode chamar de “algorithmic misconduct”4, para referenciar Teubner e Beckers? E mais: no apogeu da Internet das Coisas, também se pode dizer que há risco de que a própria rede se torne uma Internet de Ilícitos (Internet of Torts, como denota o trocadilho de Rebecca Crootof)5?

Ora, o avanço tecnológico trouxe consigo uma série de desafios legais e éticos, e um tema cada vez mais relevante é a responsabilidade do Estado diante dos chamados “ilícitos algorítmicos”, aos quais o risco é inerente6.

O autosserviço é um dos pilares do Governo Digital, que busca oferecer serviços públicos mais ágeis, eficientes e acessíveis à população, reduzindo a burocracia e aumentando a transparência e a participação social. O objetivo é que os cidadãos possam realizar suas demandas com a administração pública de forma autônoma, sem precisar de intermediários humanos, o que reduz custos e tempo para a prestação dos serviços públicos. Na prática, o autosserviço pode incluir o acesso a informações, solicitação de serviços, envio de documentos e outras demandas por meio de plataformas digitais disponibilizadas pelos órgãos públicos7.

Com a Lei do Governo Digital (14.129/2021), os órgãos públicos passaram a disponibilizar serviços digitais que sejam desejavelmente de fácil utilização e acessíveis a todos os cidadãos8, embora ainda exista acentuada assimetria em relação a isso. Na lei, o autosserviço é visto como uma das principais medidas para a implementação do Governo Digital no Brasil – tanto é que sua adoção é “preferencial” (art. 14, parágrafo único) desde 2021 –, e o que se busca é tornar a administração pública mais moderna e eficiente, facilitando a vida dos cidadãos e das empresas que precisam lidar com os serviços públicos9.

Porém, a adoção do autosserviço no atendimento ao cidadão pode trazer alguns desafios e riscos que precisam ser levados em consideração pelos gestores públicos. Dentre os principais desafios, podemos destacar a exclusão digital de parte da população, a falta de capacitação e treinamento dos usuários para o uso de tecnologias, a falta de confiança nos serviços públicos on-line e o risco de incidentes de segurança com dados pessoais.

Além disso, há uma relação intrínseca entre o autosserviço e os sistemas de inteligência artificial (IA) no contexto do Governo Digital10 e não se nega que tais sistemas possam ser usados para melhorar a eficiência e a qualidade dos serviços públicos oferecidos por meio de plataformas de autosserviço11. Por exemplo, chatbots ou assistentes virtuais podem ser implementados para responder a perguntas frequentes e auxiliar os usuários na realização de serviços de forma mais rápida e eficiente. Algoritmos e sistemas de IA também podem ser usados para processar grandes volumes de dados e fornecer inferências úteis aos gestores públicos, permitindo a melhoria contínua dos serviços oferecidos.

Além disso, sistemas de IA podem ser usados para personalizar a experiência do usuário em plataformas de autosserviço, oferecendo sugestões e recomendações com base nas preferências e no histórico de uso do usuário. Isso pode melhorar significativamente a satisfação geral e aumentar a adoção de serviços digitais pelo público em geral12, pois, por meio do autosserviço, torna-se possível acessar serviços que antes eram burocráticos, sem a necessidade de deslocamentos ou atendimentos presenciais, com longas filas e logística dificultosa, o que contribui para diminuir a perda de tempo e facilitar a resolução de demandas mais triviais.

Tudo isso permite que o cidadão tenha maior controle sobre seus interesses na interação com o Estado e evite a espera em filas e a burocracia tradicional13. Isso não apenas economiza tempo, mas também promove maior eficiência na prestação de serviços públicos, proporcionando uma experiência mais satisfatória ao administrado e uma administração mais moderna e adaptada aos desafios do século XXI. A empolgação, contudo, parece ofuscar situações nas quais o Estado parece não ser responsabilizado in concreto pela simples invocação de excludentes causais em disputas regidas pela teoria do risco administrativo, que subjaz à norma definida no artigo 37, §6º, da Constituição da República.

Os exemplos são abundantes e variam dos “megavazamentos” de dados – como o que ocorreu no início de 2021 e envolveu os números de CPF de todos os cidadãos do país14 – a situações mal explicadas como o episódio de indisponibilidade do Sistema ConecteSUS15, no auge da pandemia de Covid-19, e os diversos ataques de DDoS e ramsonware a sítios eletrônicos de tribunais brasileiros.16 Em todos esses casos, a invocação do fortuito externo – viável pela regência formal da responsabilização a partir do risco administrativo – se torna uma recorrente matéria de defesa nas contestações da advocacia pública, servindo como um pretenso “salvo conduto” para justificar a impossibilidade da condenação. Claramente, um cenário insustentável e injusto.

Segundo Felipe Braga Netto, “ao analisar, teórica e criticamente, a responsabilidade civil do Estado, percebemos que há avanços realizados, e pontos por avançar. Certamente, hoje, o Estado responde civilmente por atos e omissões que durante boa parte do século passado, no Brasil, ele não respondia. Essas mudanças, sabemos, são lentas, e culturalmente complexas. (...) Avançamos lentamente. Essa parece ser a nota das mudanças sociais, e isso se mostra particularmente verdadeiro no direito, que – não por acaso – recebeu a pecha de ser conservador, de não apreciar mudanças que não contam com o apoio sereno dos (muitos) anos”.17

A pergunta que se coloca é se o Estado pode ser responsabilizado por eventuais danos causados por esses sistemas algorítmicos falhos de autosserviço. De fato, o conceito de “algorithmic misconduct” de Teubner e Becker parece denotar alguma necessidade de averiguação fática de conduta dotada de ilicitude, pelo que tenho preferido me referir ao tema, na língua inglesa, pela nomenclatura “algorithmic wrongdoing”18, referindo-me mais particularmente à possibilidade de o Estado ser responsabilizado por danos decorrentes de algoritmos que falhem ao cumprir seus propósitos previamente definidos na escala de programação, ou que produzam resultados danosos injustificados.

No contexto da crescente "Internet das Coisas" (IoT), a preocupação se intensifica, uma vez que a interconexão de dispositivos e a coleta massiva de dados ampliam a exposição a riscos. Com a possibilidade de sistemas automatizados controlarem carros, cidades inteligentes e outras infraestruturas críticas, a “Internet of Torts” passa a ser uma expressão de alerta19. Isso porque, se falhas algorítmicas ocorrerem em larga escala, podem resultar em prejuízos significativos para a sociedade, indo além dos danos individuais20.

A responsabilização do Estado nos casos de “ilícitos algorítmicos” envolve aspectos complexos, como a definição de quem seria responsável por tais falhas, em última instância: os desenvolvedores dos algoritmos, os gestores públicos que os utilizam, ambos...? Além disso, é necessário estabelecer critérios claros para identificar o agir culposo que viabilize eventual discussão de regresso, bem como compreender a dificuldade de responsabilizar uma figura como o Estado por danos causados por sistemas automatizados incognoscíveis21.

Por outro lado, argumenta-se que a responsabilização é imprescindível para garantir a accountability do Estado e a proteção dos direitos individuais e coletivos22. Nesse sentido, é importante buscar a transparência e a auditoria dos algoritmos, garantindo que as decisões automatizadas sejam justas, éticas, imparciais e sempre resguardadas pelas melhores práticas de segurança da informação. Nesse sentido, para além da Política Nacional de Segurança da Informação (decreto 9.637/2018), a definição de normas específicas para o uso de algoritmos pelo Estado pode ser uma solução para minimizar os riscos e aumentar a confiança na utilização dessas tecnologias em regimes de autosserviço.

Ademais, é fundamental promover a conscientização sobre os possíveis reflexos negativos dos “ilícitos algorítmicos” e a necessidade de responsabilização nos casos de falhas. O desafio, como se vê, é homérico e não se tem uma solução clara... O que se reconhece é que encontrar o ponto de equilíbrio entre a promoção da inovação tecnológica e a proteção dos direitos fundamentais é um desafio que requer a atuação proativa.

Somente a partir da maior colaboração entre a comunidade jurídica, especialistas em tecnologia e governos é que se poderá encontrar soluções adequadas para lidar com esse desafio crescente, pois a complexidade do tema exige uma abordagem criteriosa para que se estabeleçam as bases da boa governança voltada às tecnologias automatizadas.

__________

1 FALEIROS JÚNIOR, José Luiz de Moura. Responsabilidade civil do Estado e tecnologia: uma releitura da teoria do risco administrativo. Indaiatuba: Foco, 2024. p. 183-184.

2 Trata-se de conceito formal, definido no artigo 4º, inciso II, da Lei de Governo Digital (lei 14.129/2021) como sendo “o acesso pelo cidadão a serviço público prestado por meio digital, sem necessidade de mediação humana”.

3 FALEIROS JÚNIOR, José Luiz de Moura. Administração Pública digital: proposições para o aperfeiçoamento do Regime Jurídico Administrativo na sociedade da informação. 2. ed. Indaiatuba: Foco, 2024. p. 135.

4 TEUBNER, Gunther; BECKERS, Anna. Responsibility for Algorithmic Misconduct: Unity or Fragmentation of Liability Regimes? Yale Journal of Law and Technology, New Haven, v. 25, n. 76, p. 78-100, 2023. p. 93.

5 Rebecca Crootof comenta: “Even as the potential for harm escalates, contract and tort law work in tandem to shield IoT companies from liability. Exculpatory clauses limit civil remedies, IoT devices’ bundled object/service nature thwarts implied warranty claims, and contractual notice of remote interference precludes common law tort suits. Meanwhile, absent a better understanding of how IoT-enabled injuries operate and propagate, judges are likely to apply products liability and negligence standards narrowly, in ways that curtail corporate liability”. CROOTOF, Rebecca. The Internet of Torts: expanding civil liability standards to address corporate remote interference. Duke Law Journal, Durham, v. 69, p. 583-667, 2019, p. 583.

6 Sobre o tema: “Talvez, caiba mais uma reflexão. Vivemos, atualmente, em sociedades de risco (a afirmação virou quase um truísmo). Em nossas atuais sociedades de risco, há – ou, melhor ainda, deveria haver – uma permanente (e democrática) discussão acerca de quais riscos são socialmente aceitáveis. E quem por eles deverá responder. O caminhar das décadas e dos séculos altera, por certo, nossas percepções acerca dos riscos. Não só isso. Altera também nosso olhar sobre quais riscos, hoje, o Estado (por exemplo) deverá responder, e quais estão sob a responsabilidade dos cidadãos. Trata-se de discussão democrática e necessária”. BRAGA NETTO, Felipe; FALEIROS JÚNIOR, José Luiz de Moura. A atividade estatal entre o ontem e o amanhã: reflexões sobre os impactos da inteligência artificial no direito público. In: BARBOSA, Mafalda Miranda; BRAGA NETTO, Felipe; SILVA, Michael César; FALEIROS JÚNIOR, José Luiz de Moura (coord.). Direito digital e inteligência artificial: diálogos entre Brasil e Europa. Indaiatuba: Foco, 2021. p. 457.

7 BEHN, Robert D. The challenge of evaluating m-government, e-government, and p-government: what should be compared with what? In: MAYER-SCHÖNBERGER, Viktor; LAZER, David (ed.). Governance and information technology: from electronic government to information government. Cambridge: The MIT Press, 2007, p. 215-238.

8 KREUZ, Letícia Regina Camargo; VIANA, Ana Cristina Aguilar. 4ª Revolução Industrial e governo digital: exame de experiências implementadas no Brasil. Revista Eurolatinoamericana de Derecho Administrativo, Santa Fe, v. 5, n. 2, p. 267-286, jul./dez. 2018.

9 Cf. CORVALÁN, Juan Gustavo. Digital and intelligent Public Administration: transformations in the Era of Artificial Intelligence. A&C – Revista de Direito Administrativo e Constitucional, Belo Horizonte, ano 18, n. 71, p. 55-87, jan./mar. 2018.

10 BRAGA, Lamartine Vieira. Fostering e-government in Brazil: a case study of digital certification adoption. Revista Brasileira de Políticas Públicas, Brasília, v. 7, n. 3, p. 585-600, dez. 2017.

11 SANTANNA, Gustavo da Silva. Administração pública eletrônica: o caminho para a implantação de serviços públicos 4.0. Londrina: Thoth, 2022. p. 23-88.

12 Reduzindo-se a “perda de tempo” do administrado, torna-se pertinente eventual discussão sobre a lesão ao tempo (e seu afastamento). Com relação ao tema específico, conferir GUGLINSKI, Vitor Vilela. Da responsabilidade civil do Estado pela perda do tempo útil/livre do administrado. Boletim de Administração Pública e Gestão Municipal, Curitiba, v. 6, n. 54, p. 405–408, mar. 2016. Em linhas mais amplas, considere-se o conceito de lesão ao tempo e a ponderação bem contextualizada de Carlos Edison do Rêgo Monteiro Filho, “no exemplo genérico da injustificada perda do tempo na fila de agência bancária, é bem crível que, para além da questão extrapatrimonial, decorram do inesperado atraso efeitos de ordem patrimonial na vítima, como a perda de compromissos profissionais [...]”. MONTEIRO FILHO, Carlos Edison do Rêgo. Lesão ao tempo: configuração e reparação nas relações de consumo. Revista da Ajuris, Porto Alegre, v. 43, n. 141, p. 87-113, dez. 2016. p. 107.

13 Cf. VILLELA, João Baptista. Relação de consumo e responsabilidade civil do estado. Revista IOB de Direito Civil e Processual Civil, São Paulo, v. 9, n. 59, p. 59–71, maio/jun. 2009.

14 O fato foi noticiado pelo Migalhas, à época. Acesso em: 30 jan. 2024.

15 Em março de 2022, o tema foi analisado em interessante reportagem do Migalhas. Acesso em: 30 jan. 2024.

16 SALVADOR, João Pedro Favaretto; GUIMARÃES, Tatiane. O ataque ao STJ é mais um grito de socorro da segurança cibernética no Brasil. Migalhas de Peso, 10 nov. 2020. Disponível aqui. Acesso em: 30 jan. 2024.

17 BRAGA NETTO, Felipe. Manual da responsabilidade civil do Estado: à luz da jurisprudência do STF e do STJ e da teoria dos direitos fundamentais. 5. ed. Salvador: Juspodivm, 2018. p. 345.

18 FALEIROS JÚNIOR, José Luiz de Moura. Responsabilidade civil do Estado e tecnologia: uma releitura da teoria do risco administrativo. Indaiatuba: Foco, 2024. p. 125.

19 CROOTOF, Rebecca. The Internet of Torts: expanding civil liability standards to address corporate remote interference. Duke Law Journal, Durham, v. 69, p. 583-667, 2019, p. 666-667.

20 DEMPSEY, James X.; CATE, Fred H. Recommendations for Government and Industry. In: CATE, Fred H.; DEMPSEY, James X. (ed.). Bulk collection: systematic government access to private-sector data. Oxford: Oxford University Press, 2017. p. 423-432.

21 BARBOSA, Mafalda Miranda. Responsabilidade civil do Estado e sistemas autónomos. Revista de Direito da Responsabilidade, Coimbra, ano 4, p. 640-668, 2022, p. 666. Comenta: “O desenvolvimento dos sistemas de inteligência artificial fica dependente do acesso a quantidades massivas de dados, através dos quais a máquina poderá «autonomamente» aprender, com base nas técnicas de machine learning e deep learning. Mas, para além desses dados, outros podem estar relacionados com os sistemas de IA. Na verdade, a tomada de decisão que se baseia em algoritmos inteligentes está diretamente relacionada com o tratamento que se possa fazer de dados dos sujeitos que serão afetados pela atuação da Administração”.

22 FALEIROS JÚNIOR, José Luiz de Moura. O Estado entre dados e danos: uma releitura da teoria do risco administrativo na sociedade da informação. In: FALEIROS JÚNIOR, José Luiz de Moura; LONGHI, João Victor Rozatti; GUGLIARA, Rodrigo (coord.). Proteção de dados pessoais na sociedade da informação: entre dados e danos. Indaiatuba: Foco, 2021. p. 43.

Veja mais no portal
cadastre-se, comente, saiba mais

Colunistas

Carlos Edison do Rêgo Monteiro Filho é professor titular e ex-coordenador do programa de pós-graduação em Direito da Faculdade de Direito da UERJ (mestrado e doutorado). Doutor em Direito Civil e mestre em Direito da Cidade pela UERJ. Presidente do Fórum Permanente de Direito Civil da Escola Superior de Advocacia Pública da Procuradoria-Geral do Estado do Rio de Janeiro (ESAP/PGE). Vice-presidente do IBERC (Instituto Brasileiro de Estudos da Responsabilidade Civil). Autor de livros e artigos científicos. Advogado, parecerista e consultor em temas de Direito Privado.

Fernanda Schaefer é pós-doutora pelo Programa de pós-graduação Stricto Sensu em Bioética da PUC-PR. Doutora em Direito das Relações Sociais pela Universidade Federal do Paraná, curso em que realizou Doutorado Sanduíche nas Universidades do País Basco e Universidade de Deusto (Espanha). Professora do UniCuritiba. Coordenadora do Curso de Pós-Graduação em Direito Médico e da Saúde da PUC-PR. Assessora Jurídica do CAOP Saúde MPPR.

Igor de Lucena Mascarenhas é advogado e professor universitário nos cursos de Direito e Medicina (UFPB / UNIFIP). Doutorando em Direito pela UFBA e doutorando em Direito pela UFPR. Mestre em Ciências Jurídicas pela UFPB. Especialista em Direito da Medicina pelo Centro de Direito Biomédico vinculado à Faculdade de Direito da Universidade de Coimbra.

Nelson Rosenvald é advogado e parecerista. Professor do corpo permanente do Doutorado e Mestrado do IDP/DF. Pós-Doutor em Direito Civil na Università Roma Tre. Pós-Doutor em Direito Societário na Universidade de Coimbra. Visiting Academic na Oxford University. Professor Visitante na Universidade Carlos III, Madrid. Doutor e Mestre em Direito Civil pela Pontifícia Universidade Católica de São Paulo – PUC/SP. Presidente do Instituto Brasileiro de Estudos de Responsabilidade Civil – IBERC. Foi Procurador de Justiça do Ministério Público de Minas Gerais.

Paulo Roque Khouri é doutorando em Direito Constitucional pelo Instituto Brasiliense de Direito Público — IDP. Graduado em Direito pelo Centro Universitário de Brasília – UNICEUB (1992) e em Jornalismo pela Universidade Federal de Juiz de Fora (UFJF) (1987); mestrado em Direito Privado pela Universidade de Lisboa (2006). Atualmente é professor do Instituto Brasiliense de Direito Público (IDP), sócio do escritório de advocacia Roque Khouri & Pinheiro Advogados Associados S/C.