O papel dos exames de imagem na prática médica está passando por uma fase de transformação, haja vista a possibilidade de implemento de algoritmos de Inteligência Artificial para diagnosticar as mais variadas enfermidades.¹ Eric Topol, nos seus livros sobre o futuro da Medicina, indica diversos estudos científicos que atestam a capacidade da IA de diagnosticar alguns tipos de câncer de pele ou identificar anormalidades específicas do ritmo cardíaco, tão bem ou talvez até melhor do que os dermatologistas e cardiologistas. Todavia, um dos maiores temores do setor de saúde em tempos de fomento ao uso de algoritmos na prática médica é a chamada black box medicine, segundo expressão de Nicholson Price, dada a obscuridade na forma como as informações são processadas pelos algoritmos.

No presente estudo, apresentamos uma tese por nós desenvolvida de que há três diferentes dimensões semânticas da opacidade algorítmica particularmente relevantes para a Medicina, e com repercussão direta no consentimento do paciente e na responsabilidade civil médica: (i) opacidade epistêmica; (ii) opacidade pela não revelação (medical disclosure) da utilização da Inteligência Artificial; (iii) opacidade explicativa.

(i) Opacidade epistêmica:

A opacidade epistêmica reflete a absoluta complexidade no processamento dos dados pelos algoritmos, que podem descobrir padrões dentro de um número tão alto de variáveis, que se torna extremamente difícil - ou até mesmo impossível - para uma mente humana compreendê-los. Nesse contexto, a opacidade se origina de uma falta de compreensão do próprio médico sobre como o sistema "inteligente" opera.

O processo de aprendizado da máquina, para chegar ao diagnóstico ou a uma predição sobre o quadro clínico do paciente, muitas vezes constitui uma verdadeira incógnita para os médicos, o que gera compreensíveis receios quanto ao implemento da tecnologia na prática médica. Esse é, em realidade, um problema presente na generalidade dos sistemas de Inteligência Artificial, chamado por Frank Pasquale de "problema da caixa preta" (black box problem), no livro The Black Box Society.² A falta de transparência se associa, ainda, à problemática da confiabilidade dos algoritmos. Afinal de contas, não é desprezível a dúvida sobre a efetiva possibilidade de se confiar no acerto das previsões algorítmicas.

Por isso, ao serem implementados sistemas algorítmicos na prática clínica, mostra-se essencial que o médico conheça suas limitações e o que é efetivamente levado em conta para as predições. Entender os limites dos algoritmos ajudará o médico a melhor julgar suas decisões e propostas, evitando, assim, visões simplistas e reducionistas, além de evitar que pacientes se tornem "reféns" de decisões tomadas na "caixa-preta" dos algoritmos. Diante desse cenário, à medida que forem implementadas estruturas algorítmicas de Inteligência Artificial e novas tecnologias no setor da saúde, crescerá a necessidade de discussão sobre a necessidade de conhecimento interdisciplinar dos médicos, de treinamento dos profissionais da saúde para o uso dessas novas tecnologias como ferramentas de apoio à decisão clínica, desde os bancos da universidade.³

A falta de conhecimento aprofundado dos benefícios e riscos de tecnologias na área da saúde pode se traduzir em piores resultados para os pacientes devido à falta de compreensão sobre quais ferramentas agregam valor às suas atividades ou sobre como integrar a IA de forma adequada ao fluxo de trabalho clínico. Por isso, justifica-se a urgência para a educação médica dos estudantes de Medicina em saúde digital, novas tecnologias e Inteligência Artificial. Inclusive, estudo já desenvolvido no âmbito das cirurgias robóticas⁴ permitiu constatar a necessidade de educação e constante treinamento dos médicos nas plataformas robóticas, tendo em vista os inúmeros litígios sobre a imperícia e a consequente mudança do modelo de treinamento, especialmente com a criação de simuladores do próprio robô para que os médicos possam praticar no hospital onde atuam.

No cenário da educação médica em saúde digital e Inteligência Artificial, há no Canadá, por exemplo, a Universidade de Toronto, que é uma das primeiras instituições a reconhecer a necessidade crescente de conhecimento interdisciplinar dos acadêmicos de Medicina, e uma das primeiras a criar oportunidades de educação extracurricular, com certificação de IA em saúde aos estudantes durante a faculdade.

Sobre a opacidade epistêmica, decorrente da falta de compreensão dos médicos sobre como o sistema "inteligente" opera, oportuna a análise de uma hipótese fática. Imagine-se um médico que faz o diagnóstico de um paciente oncológico, acreditando, num primeiro momento, que ele tem um determinado tipo de câncer, mas, após inserir os dados clínicos do paciente em um software preditivo, como o Watson for Oncology, da IBM, este apresenta resultado diverso, dizendo que o paciente tem um tipo diferente de câncer. Então, surge a indagação: se o médico segue ou desconsidera o resultado da IA, e sobrevêm danos ao paciente, após diagnóstico e tratamento inapropriados, como deverá ser responsabilizado? Essa questão complexa já foi objeto de discussão em trabalho recente.⁵

Ainda, é importante destacar que, somada à natural falibilidade dos algoritmos preditivos na área médica, há a potencialidade discriminatória,⁶ pois eles podem ser programados a partir dos dados de estudos científicos e registros eletrônicos de saúde de populações determinadas, onde predominam algumas raças, correndo-se, assim, o risco de que as decisões sejam contaminadas por vieses significativos.  

Então, toda essa opacidade epistêmica demanda do médico educação interdisciplinar. O profissional não pode simplesmente implementar a tecnologia na sua prática clínica, pois é preciso compreender de maneira geral como funcionam as ferramentas de apoio à tomada de decisão, bem como seus riscos e benefícios para o paciente, em cada caso concreto.

Nicholson Price afirma que, em tese, caso o médico não seja diligente na utilização da IA, pode ser responsabilizado. No mesmo sentido, Fruzsina Molnár-Gábor defende que, se os médicos reconhecerem, com base em suas expertises, que as informações fornecidas pela IA estão incorretas naquele caso específico, não devem considerá-las como base para a tomada de decisão. Assim, para verificar se um médico agiu culposamente em um caso específico, devem ser analisados os padrões de conduta profissional exigidos no momento da atuação médica. Em linhas gerais, conclui-se que o médico especialista que utiliza a tecnologia estará na difícil posição de justificar: a) as razões que o levaram a seguir o diagnóstico ou curso de ação sugerido pela IA; ou b) porquê - e com base em quais fatores - se desviou da recomendação algorítmica. O médico é livre para escolher seus meios de diagnóstico e propostas de terapia, mas também é responsável por suas escolhas.⁷

(ii) opacidade pela não revelação (medical disclosure) da utilização da IA:

Partindo para a segunda dimensão semântica da opacidade algorítmica particularmente relevante para a Medicina, observa-se que há um risco considerável de os algoritmos de IA serem utilizados para apoiar a decisão médica, mas sem a ciência dos pacientes e familiares. O medical disclosure é o processo estruturado de comunicação transparente entre os sujeitos envolvidos durante a assistência médica. O disclosure se insere em um contexto de programas de compliance médico em clínicas e hospitais, levando sempre em conta o dever de informação qualificado com os pacientes.

Inúmeras críticas a isso têm surgido pelo fato de os pacientes, muitas vezes, não serem informados ou solicitados a consentir com o uso de algoritmos de Inteligência Artificial em seus cuidados. Inclusive, alguns médicos utilizam um discurso acentuadamente paternalista de que eles dominam a legis artis da profissão, motivo pelo qual não precisariam informar o paciente sobre todos os recursos que utilizam no processo de decisão clínica. Contudo, informar o paciente e oportunizar o seu consentimento representa um dos mecanismos de efetivação do direito geral ao livre desenvolvimento da personalidade humana, tendo feição instrumental por ser uma forma de concretização do direito fundamental de autonomia do paciente.

Assim, o tipo de opacidade algorítmica pela não revelação não diz respeito às características intrínsecas dos sistemas de IA, mas tem sua origem nos riscos à autodeterminação informativa do paciente, isto é, deriva da maneira como a atividade de processamento de dados pode ser realizada pelo médico sem que os titulares dos dados (pacientes) tenham conhecimento disso, nem durante a intervenção médica, tampouco posteriormente ao evento danoso.

Nesse sentido, constatamos que alguns hospitais norte-americanos têm implementado os chamados "AI Dying Algorithms", que utilizam os dados dos pacientes para prever as chances de sobrevivência entre indivíduos hospitalizados, realizando triagem de doentes com necessidades paliativas ou, até mesmo, determinando o tempo até a morte dos pacientes com doenças terminais ou incuráveis.⁸ Há benefícios desses algoritmos enquanto ferramentas de suporte à decisão médica na indicação de cuidados paliativos, a fim de evitar o prolongamento indevido da vida e proporcionar a opção do paciente de "viver o fim de vida com melhor qualidade", por meio da indicação de cuidados paliativos.

Contudo, médicos que atuam no Stanford Hospital, nos Estados Unidos, onde os profissionais utilizam algoritmos para apoio nas decisões sobre cuidados paliativos, afirmam que muitas vezes não revelam e não explicam para os pacientes que utilizam essa tecnologia. Nesse cenário, torna-se discutível a opacidade pela não revelação (medical disclosure) da utilização da Inteligência Artificial. Isso, porque os médicos não informam ao paciente que utilizam a tecnologia, ao argumento de esta ser "também uma questão de aproveitar ao máximo o breve tempo que os médicos têm com cada paciente (...). Quando você tem 30 minutos para falar com o doente, você não quer começar uma conversa dizendo que um algoritmo indicou este paciente para cuidados paliativos - e depois perder os outros 29 minutos respondendo às perguntas sobre isso, ao invés de outras questões mais importantes".⁹

Seguindo essa lógica, o profissional, em tese, poderia indicar cuidados paliativos para um paciente, informando diversos aspectos do seu quadro clínico e fazendo recomendações médicas sem a necessidade de informá-lo especificamente sobre a utilização do "AI Dying Algorithm". Todavia, seja no âmbito da Medicina curativa ou da paliativa, o dever de informação é essencial para a expressão da vontade livre, consciente e esclarecida. Em se tratando do dever de informação, cabe ao médico fornecer todos os esclarecimentos relativos ao diagnóstico e ao prognóstico, incluindo-se as vantagens e as desvantagens dos procedimentos empregados. Além disso, o dever de informar corretamente o paciente e obter seu consentimento livre e esclarecido decorre da boa-fé objetiva, que sempre deve preponderar nessas relações jurídicas.

Diante disso, pode-se concluir que, em regra, o médico deve informar e esclarecer o paciente de que diagnóstico, prognóstico, proposta de tratamento ou mesmo a sua indicação de cuidados paliativos são apoiados por diversos fatores, dentre eles um algoritmo de Inteligência Artificial, explicando, na medida do possível - e de acordo com o nível de compreensão do paciente -, sobre a tecnologia empregada.

(iii) opacidade explicativa:

Por fim, há a opacidade explicativa nos algoritmos utilizados no setor da saúde. Além do dever do médico de informar que, por exemplo, utilizou um algoritmo de IA para apoiar a sua avaliação de determinado quadro clínico, ele precisa também explicar o funcionamento da tecnologia utilizada, de acordo com o grau de compreensão de cada paciente, sob pena de ocorrer a chamada opacidade explicativa.

Em que pese existir divergência doutrinária sobre a quantidade de informações que se deve repassar ao paciente para que o médico cumpra seu dever de informação, defendemos que, com a evolução das novas tecnologias na área da saúde, os médicos precisam compreender que o direito à informação adequada (que lhes corresponde a um dever de informar) engloba ainda o consentimento para o uso das novas tecnologias, a partir do conhecimento do paciente de seu funcionamento, objetivos, vantagens, custos, riscos e alternativas.¹⁰ No mesmo sentido, defendemos que há a exigência de uma nova interpretação ao princípio da autodeterminação do paciente: saímos do simples direito à informação e caminhamos para uma maior amplitude informacional, ou seja, há um direito à explicação e justificação.¹¹

Pertinente mencionar as lições de Edson Fachin, no sentido de que, para o direito, impõe-se a consciência da própria história e que não se deve acomodar "na falsa ideia de que o que existe não pode ser mudado (...) Cabe aos seus operadores, mais sensíveis à realidade, a abertura para a constante reflexão e renovação das categorias jurídicas de acordo com as exigências e necessidades sociais".¹²

Há inclusive uma tese defendida por Nelson Rosenvald - à qual aderimos: não basta o criador ou utilizador de um algoritmo dizer "the algoritm did it" [ops, o algoritmo fez isso; ele errou]. Há, desde o princípio da decisão por utilizar o algoritmo, a necessidade de uma explicação e justificação para aquele que é atingido pela tecnologia. Portanto, é imprescindível a substancial revisão do atual sistema de obtenção do consentimento informado, convertendo-o realmente em um processo de escolha esclarecida, seguindo-se a ideia de um verdadeiro processo de diálogo entre médico e paciente. De igual modo, os diversos reflexos ético-jurídicos do implemento de robôs de assistência à saúde importam na seguinte constatação: na sociedade atual, é imprescindível a compreensão das relações contratuais não apenas nos seus aspectos econômicos, mas também éticos.¹³

Portanto, se voltarmos à hipótese fática do Watson for Oncology, mesmo não sendo configurada a culpa médica, caso o profissional apenas informe - mas não explique de maneira adequada ao paciente sobre a utilização da tecnologia para apoio à decisão médica, ele pode ser responsabilizado pela privação sofrida pelo paciente em sua autodeterminação, por lhe ter sido retirada a oportunidade de ponderar sobre vantagens e riscos do diagnóstico médico apoiado com algoritmos de Inteligência Artificial.

Finalizamos este texto convidando o leitor à uma reflexão trazida por Eric Topol, sobre o presente e o futuro da Medicina: "Eventualmente, médicos adotarão Inteligência Artificial e algoritmos como seus frequentes parceiros de trabalho. Esse novo panorama do conhecimento científico disponível acabará levando a um novo tipo de desafio: encontrar e treinar médicos que tenham o mais alto nível de inteligência emocional com a utilização das novas tecnologias".¹⁴

*José Luiz de Moura Faleiros Júnior é doutorando em Direito pela USP e pela UFMG. Mestre e bacharel em Direito pela Faculdade de Direito da UFU. Especialista em Direito Processual Civil, Direito Civil e Empresarial, Direito Digital e Compliance. Membro do Instituto Avançado de Proteção de Dados - IAPD e do Instituto Brasileiro de Estudos de Responsabilidade Civil - IBERC. Advogado e professor.

**Rafaella Nogaroli é assessora de desembargador no TJ/PR. Mestranda em Direito das Relações Sociais pela UFPR. Especialista em Direito Aplicado pela Escola da Magistratura do Paraná e em Direito Processual Civil pelo Instituto de Direito Romeu Felipe Bacellar. Pós-graduanda em Direito Médico pelo Centro Universitário Curitiba. Coordenadora do grupo de pesquisas em "Direito da Saúde e Empresas Médicas" (UNICURITIBA). Membro do Instituto Brasileiro de Estudos de Responsabilidade Civil (IBERC) e do grupo de pesquisas em direito civil-constitucional "Virada de Copérnico" (UFPR).

__________

1 KFOURI NETO, Miguel; NOGAROLI, Rafaella. Inteligência artificial nas decisões clínicas e a responsabilidade civil médica por eventos adversos no contexto dos hospitais virtuais. In: BARBOSA, Mafalda Miranda; BRAGA NETTO, Felipe; SILVA, Michael César; FALEIROS JÚNIOR, José Luiz de Moura (coord.). Direito digital e inteligência artificial: diálogos entre Brasil e Europa. Indaiatuba: Foco, 2021, p. 1079-1107.

2 FALEIROS JÚNIOR, José Luiz de Moura. A evolução da inteligência artificial em breve retrospectiva. In: BARBOSA, Mafalda Miranda; BRAGA NETTO, Felipe; SILVA, Michael César; FALEIROS JÚNIOR, José Luiz de Moura (coord.). Direito digital e inteligência artificial: diálogos entre Brasil e Europa. Indaiatuba: Foco, 2021, p. 3-26.

3 FALEIROS JÚNIOR, José Luiz de Moura; LONGHI, João Victor Rozatti. Adaptive learning e educação digital: o uso da tecnologia na construção do saber e na promoção da cidadania. Revista de Estudos Jurídicos UNESP, Franca, a.23, n.37, p. 487-514, 2019.

4 NOGAROLI, Rafaella; KFOURI NETO, Miguel. Estudo comparatístico da responsabilidade civil do médico, hospital e fabricante na cirurgia assistida por robô. In: KFOURI NETO, Miguel; NOGAROLI, Rafaella. (coord.) Debates contemporâneos em direito médico e da saúde. São Paulo: Thomson Reuters Brasil, 2020, p. 33-67.

5 NOGAROLI, Rafaella; SILVA, Rodrigo da Guia. Inteligência artificial na análise diagnóstica: benefícios, riscos e responsabilidade do médico. In: KFOURI NETO, Miguel; NOGAROLI, Rafaella. (coord.) Debates contemporâneos em direito médico e da saúde. São Paulo: Thomson Reuters Brasil, 2020, p. 69-91.

6 FALEIROS JÚNIOR, José Luiz de Moura. Discriminação por algoritmos de inteligência artificial: a responsabilidade civil, os vieses e o exemplo das tecnologias baseadas em luminância. Revista de Direito da Responsabilidade, Coimbra, ano 2, p. 1007-1043, 2020.

7 NOGAROLI, Rafaella; KFOURI NETO, Miguel. Algoritmos de inteligência artificial na predição do quadro clínico de pacientes e a responsabilidade civil médica por omissão de cuidados paliativos. In: DADALTO, Luciana. (coord.). Cuidados paliativos: aspectos jurídicos. Indaiatuba: Foco, 2021, p. 163-190.

8 Idem.

9 Idem.

10 DANTAS, Eduardo. NOGAROLI, Rafaella. Consentimento informado do paciente frente às novas tecnologias da saúde (telemedicina, cirurgia robótica e inteligência artificial). Lex Medicinae - Revista Portuguesa de Direito da Saúde, Coimbra, n. 13, ano 17, p. 25-63, jan./jun. 2020.

11 KFOURI NETO, Miguel; NOGAROLI, Rafaella. O consentimento do paciente no admirável mundo novo de robôs de assistência à saúde e algoritmos de inteligência artificial para diagnóstico médico. In: TEPEDINO, Gustavo; SILVA, Rodrigo da Guia. (coord.). O direito civil na era da inteligência artificial. São Paulo: Revista dos Tribunais, 2020, p. 139-164.

12 FACHIN, Luiz Edson. Pressupostos hermenêuticos para o contemporâneo Direito Civil brasileiro: elementos para uma reflexão crítica. Revista de Doutrina da 4ª Região, Porto Alegre, n. 48, jun. 2012., p. 287.

13 NALIN, Paulo; NOGAROLI, Rafaella. Perspectivas sobre ética e responsabilidade civil no contexto dos robôs inteligentes de assistência à saúde.  In: CAMPOS, Aline França; BERLINI Luciana Fernandes. (coord.). Temas contemporâneos de responsabilidade civil: teoria e prática. Belo Horizonte: D'Plácido, 2020. p. 61-94.

14 TOPOL, Eric. Deep medicine: how artificial intelligence can make healthcare human again. Nova York: Basic Books, 2019.

__________

Esta coluna é exclusivamente produzida pelos associados do IBERC (Instituto Brasileiro de Estudos de Responsabilidade Civil). @iberc.brasil