A maior parte da doutrina nacional tem se debruçado sobre os aspectos teóricos da lei geral de proteção de dados pessoais (LGPD - lei 13.709/18), discorrendo sobre (i) direitos dos titulares, (ii) hipóteses de tratamento, (iii) penalidades previstas, (iv) a Autoridade Nacional, dentre outros aspectos.
Poucos, porém, são os textos que criticam alguns dos seus dispositivos, o que teremos a ousadia de fazer neste breve artigo. Sem querer esgotar o tema, nosso objetivo será trazermos alguns breves apontamentos sobre o artigo 20 da LGPD, que regulamenta o direito de o titular ter a revisão, por um humano, de decisões tomadas por mecanismos automatizados. Falaremos, mais especificamente, do direito à revisão à tomada de decisão apoiada em mecanismos de inteligência artificial na área médica.
Do pano de fundo à elaboração do presente texto
O presente texto é escrito em, talvez, um dos momentos mais desafiadores da humanidade: durante a pandemia do covid-19. A mudança de comportamento das pessoas guarda relação direta com o regime jurídico da LGPD.
Muito se discute, por exemplo, o uso pelo poder público de informações relativas à geolocalização de pessoas através de celular, permitindo ao agende público avaliar a adesão da população ao denominado isolamento ou distanciamento social.
Em paralelo ao uso governamental das informações pessoais, verificamos alguns motivos que tornam o debate em torno da LGPD mais atual do que nunca. Em primeiro lugar, há que se reconhecer que muitas empresas precisaram, do dia para a noite, adotar o sistema de home office, sem que houvesse tempo hábil para desenvolver ferramentas que pudessem proteger as informações corporativas ou de seus colaboradores. Além disso, algumas empresas precisaram – e, novamente, do dia para a noite – fazer uma extensa adaptação de seus modelos de negócio, passando a adotar o modelo de e-commerce ao invés do ambiente físico. Por fim, ocorreram infindáveis discussões (ou dilemas, a depender da perspectiva adotada) sobre o início de vigência da lei, em amplo cenário de indefinições e insegurança jurídica.
O pano de fundo da covid-19 é importante ao presente texto na medida em que os sistemas de saúde do mundo todo passaram a adotar ferramentas de mecanismos de inteligência artificial no seu enfrentamento.
Do uso de mecanismos de inteligência artificial na medicina – diagnóstico através de algoritmos
A inteligência artificial permite a um algoritmo entender a linguagem das pessoas, desenvolvendo habilidades cognitivas e de aprendizado. Surgem conceitos como machine learning, deep learning e processamento de linguagem natural. Machine learning é uma espécie de aprendizado computacional baseado na aplicação de algoritmos a padrões de dados e empregado para formular previsões e tomar decisões de modo automático. Deep learning é uma modalidade de machine learning baseada em redes neurais compostas por camadas (ou etapas de processamento de informação) que se conectam para realizar tarefas de classificação.
O problema jurídico aparece nos robôs que possuem inteligência artificial (IA), permitindo-lhes "aprender" a partir das informação programadas e ações que executam, usando este “conhecimento” para tomar decisões em casos com mesmo padrão. Não podemos negar que algumas destas decisões terão consequência jurídica direta, especialmente em um cenário cuja legislação foi ajustada para uma realidade (muito) longe destas novas aplicações.
As soluções médicas apresentadas atualmente envolvem, dentre outras soluções, a possibilidade de diagnósticos por imagem e análise computacional de exames1, nos quais algoritmos de inteligência artificial conseguem, por exemplo, detectar quais lesões aparentemente inofensivas em mamografias são, potencialmente, letais, ou mesmo determinar a existência de doenças cerebrais e alguns tipos de câncer. Este movimento começou com maior força na radiologia. O deep learning, permite relacionar os conteúdos da literatura científica com dados clínicos e genéticos de pacientes. Ainda na medicina diagnóstica, outra solução envolve a emissão de laudos médicos à distância, comparando exames presenciais a uma base de dados de imagens e exames semelhantes.
Há um aumento exponencial da aplicação dos mecanismos de inteligência artificial e aprendizagem de máquina (machine learning) na medicina em geral. E aqui, surge o impacto da pandemia da covid-19:
Diversos foram os mecanismos de inteligência artificial que foram desenvolvidos para permitir que, a partir de análise de imagens e informações comparativas constantes em banco de dados, predizer a probabilidade de um determinado paciente ter covid-19 e de ele vir a precisar de internação ou necessitar de ventilação mecânica.
O algoritmo é capaz de realizar uma triagem automática de imagens do paciente, analisando alterações relacionadas à pneumonia e covid-19, indicando a gravidade dos exames analisados para médicos e detecção de alterações relacionadas à covid-19 e pneumonia. Uma dessas plataformas é a RadVid-19, utilizada pelo HC - Hospital das Clínicas da Universidade de São Paulo.
As técnicas de inteligência artificial utilizam informações que já são coletadas como procedimento de rotina nos hospitais e, através de análise comparativa de dados de um determinado paciente, conseguem prever a hipótese de diagnóstico e estimar o tratamento necessário.
Um diagnóstico preciso e precoce da covid-19 é extremamente importante para o melhor cuidado do paciente, com melhor tratamento e menor risco de contágio dos profissionais da saúde. Ganha-se tempo e acuracidade, já que é notória a dificuldade em realizar testes para covid-19 devido ao limitado número de testes disponíveis, demoras laboratoriais e falta de profissionais treinados.
O tratamento de dados de forma automatizada – artigo 20 da LGPD e caixa preta dos algoritmos – críticas ao modelo proposto
O artigo 20 da LGPD, inserido no capítulo dos direitos dos titulares, teve sua redação alterada pela lei 13.853/19. Regulamenta a hipótese de decisões tomadas com base em tratamento automatizado e que conduzem à construção do perfil do titular de dados. Normalmente, estes mecanismos automatizados obtêm informações através de várias bases de dados pessoais, razão pela qual surge a necessidade de o legislador inserir dispositivo semelhante na LGPD.
O caput do dispositivo prevê o direito de o titular “solicitar a revisão de decisões tomadas unicamente com base em tratamento automatizado de dados pessoais que afetem seus interesses, incluídas as decisões destinadas a definir o seu perfil pessoal, profissional, de consumo e de crédito ou os aspectos de sua personalidade”.
Pela leitura do caput, percebe-se a utilização de expressões extremamente genéricas, cuja interpretação poderia levar a uma extensão demasiadamente ampla do escopo legislativo inicial, quais sejam (i) “afetem seus interesses” (ii) “incluídas as decisões destinadas”, o que permite ao interprete entender que as situações mencionadas como “perfil pessoal, profissional, de consumo e de crédito” são apenas exemplificativas e (iii) “aspectos de sua personalidade”, sem especificar trata-se do denominado profiling ou aspectos de direito pessoal.
Surge, portanto, um primeiro aspecto de preocupação: qual seria a amplitude deste dispositivo à luz dos mecanismos de inteligência artificial que estão sendo utilizados para conter a pandemia de covid-19.
Mas não é só. O parágrafo primeiro do mesmo artigo menciona o controlador deverá fornecer, sempre que houver solicitação, informações claras e adequadas a respeito dos critérios e procedimentos utilizados a decisão automatizada, resguardado o segredo industrial ou comercial. Pela leitura do dispositivo, percebe-se que o controlador terá duas obrigações distintas em (i) fornecer os critérios e (ii) indicar os procedimentos de tomada de decisão.
A crítica que se faz a este dispositivo é que, mesmo que se resguarde o segredo industrial ou comercial, a amplitude do dispositivo, tanto no caput quanto no seu parágrafo primeiro, abrirá uma real e enorme possibilidade de o titular ter acesso à chamada “caixa preta” do algoritmo.
Como se não bastasse, o parágrafo 2º do mesmo artigo prevê a possibilidade de a Autoridade Nacional realizar auditoria no mecanismo de inteligência artificial caso o desenvolvedor alegue que não poderá atender ao parágrafo 1º em razão de segredo comercial e industrial. Assim, caso o controlador não ofereça as informações solicitadas sob o argumento de que se impõe a observância do segredo comercial e industrial, a Autoridade Nacional poderá realizar auditoria para a verificação de aspectos discriminatórios de tratamento.
A crítica que se faz a este dispositivo é a possibilidade real de se ter acesso à chamada “caixa preta” do algoritmo. Ou melhor, como identificar os passos ou mecanismos que levaram um sistema de inteligência artificial chegar a tal ou qual decisão? A chamada “caixa preta” dos algoritmos2 caracteriza-se pela lacuna de explicações acerca do comportamento (inteligente) de sistemas de Inteligência Artificial. Tanto que atualmente surge uma enorme preocupação sobre a possibilidade de os programadores injetarem nesses códigos suas visões de mundo e vieses pessoais que poderão levar a distorções da realidade.
Este fenômeno da “caixa preta” adquire contornos mais significativos na área médica, porque significaria a necessidade de esclarecimento do funcionamento interno de um algoritmo para que os órgãos de saúde possam regulamentar e aprovar sua implantação.
Assim, será necessário oferecer uma espécie de rastro do raciocínio automático, identificando os passos tomados pela dedução lógica e os fatos por ela empregados.
O ponto crítico de aplicação do artigo 20 da LGPD diz respeito ao limite de inspeção do sistema. Entrar nesse limite, cuja linha é muito tênue, poderá simplesmente desestimular o desenvolvedor, que corre o risco de ver exposto (ou auditado, cujo conceito é questionável) a metodologia total do desenvolvimento de sua ferramenta.
Em última análise, há chance real de abrir-se a caixa preta do algoritmo pela aplicação ampliada do artigo 20, com claro prejuízo ao desenvolvedor. Como os investimentos necessários ao desenvolvimento destas ferramentas são enormes, na casa de dezena de milhões de reais, é do interesse das empresas desenvolvedoras não exporem o modelo de negócio adotado.
E já se disse da importância dos desenvolvedores em um momento tão dramático como o que estamos vivendo. Uma interpretação do artigo 20 da LGPD poderia, em última análise, desestimular o desenvolvimento de ferramentas que foram essenciais neste momento da pandemia.
A transparência e interpretabilidade buscada pelo artigo 20 poderá implicar em riscos ao modelo de negócio do desenvolvedor e, em última análise, frear os investimentos nessa área do conhecimento. Lembre-se que tais ferramentas estão sendo amplamente utilizadas neste momento crucial de nossa sociedade (pandemia do covid-19) e é razoável imaginar que não se busque interromper ou frear o desenvolvimento dessa nova tecnologia sob o pretexto de conhece-la integralmente aos olhos de um leigo.
Ao longo do presente texto, pudemos analisar os mecanismos de inteligência artificial que foram implantados durante a pandemia da covid-19. Fizemos críticas à atual redação do artigo 20 da LGPD, no sentido de que a compreensão do funcionamento do mecanismo por um leigo não poderá ser tal a ponto de inviabilizar seu desenvolvimento.
_________
LOBO, Luiz Carlos. Inteligência Artificial e Medicina. Revista Brasileira de Educação Médica, [s.l.], v. 41, n. 2, p.185-193, jun. 2017. FapUNIFESP (SciELO). Acesse aqui.
LOTTENBERG, Claudio; SILVA, Patrícia Ellen da; KLAJNER, Sidney. A Revolução Digital na Saúde: como a inteligência artificial e a internet das coisas tornam o cuidado mais humano, eficiente e sustentável. São Paulo: Editora dos Editores, 2019.
Referência: LOBO, Luiz Carlos. Inteligência artificial, o Futuro da Medicina e a Educação Médica. Revista Brasileira de Educação Médica, [s.l.], v. 42, n. 3, p. 3-8, set. 2018. FapUNIFESP (SciELO). Acesse aqui.
GONÇALVES, Bernardo; DE SOUZA, Clarisse; CARBONERA, Joel. O problema da explicação em Inteligência Artificial: considerações a partir da semiótica. Teccogs: Revista Digital de Tecnologias Cognitivas, TIDD | PUC-SP, São Paulo, n. 17, p. 59-75, jan-jun. 2018.
_________
1 - Inclusive com o uso de celulares smartphones: Clique aqui.
2 - Com a evolução tecnológica, os algoritmos passaram a apresentar maior complexidade, apresentando estruturas de controle com maiores possibilidades e bifurcações, apresentando resultados imprevisíveis (não-deterministas), podendo ser programados para aprender a resolver problemas (aprendizado de máquinas e inteligência artificial) e até mesmo para programar novos algoritmos.
_________
*Henrique Schmidt Zalaf é advogado no escritório Claudio Zalaf Advogados e membro relator da 17ª turma do TED Campinas.