Diretrizes éticas para o uso do ChatGPT na Educação

O cenário

O avanço da IA na Educação é um fruto da convergência de três grandes fatores geradores: o fenômeno do Big Data; o fortalecimento dos mecanismos de aprendizado de máquina; e, mais recentemente, a criação de grandes modelos fundacionais (foundation models) que mudaram a forma de como os modelos de IA são construídos.

A origem do termo Big Data é discutível, mas sem dúvida a humanidade presenciou seus efeitos a partir do início deste século com essa abundância de dados na rede, em grande parte, promovido pela abertura e facilidade de acesso à publicação de conteúdos promovidos pelas redes sociais. Hoje tudo está na web: livros, revistas, filmes, conteúdos científicos, didáticos, entre outros.

Paralelamente, os sistemas de aprendizado de máquina (machine learning) que fundamentalmente são treinados sobre grandes volumes de dados para descobrir padrões foram bem aproveitados pela massiva quantidade de dados disponíveis e puderam revelar uma nova fase de aplicações da chamada Inteligência Artificial.¹ Esses sistema de aprendizado de máquina, conhecendo esses padrões, são capazes de analisar um dado novo oferecido ao sistema e rotular esse dado de acordo com os padrões aprendidos.

As redes neurais, as quais podemos rotular como uma outra maneira de aprendizado de máquina, baseada na mimetização do funcionamento dos neurônios, ampliaram a capacidade dos métodos de aprendizado. As redes de aprendizado profundo, as deep learning networks, proporcionaram a aplicação de tarefas ainda mais complexas, tais como o reconhecimento de voz e a visão computacional.²

Recentemente esses modelos de aprendizado de máquina trouxeram uma nova tecnologia que foi a tecnologia das redes transformers que, quando aplicadas a grandes quantidades de texto, por exemplo, podem gerar sequências de dados (palavras) relacionadas, formando assim frases, parágrafos e textos mais longos. Nascem assim esses grandes modelos de linguagem da qual, o ChatGPT é o exemplo mais popular atualmente.

Atualmente, percebe-se uma área ampla de aplicações e utilidades para estes modelos de linguagem, aliado ao fato que estes modelos estão sendo implantados em grande escala e, muitas vezes, como uma solução final ao problema enfrentado. São ferramentas ótimas para, obviamente, geração de textos e textos contextualizados, sumarização de documentos, tradução de textos, para geração de códigos computacionais, chatbots, entre outras.

É sempre bom lembrar que estes LLM (large language models) são modelos recentes que surgiram no final de 2021, que ainda estão em evolução. Portanto, não têm sua validade e confiabilidade atestada sistematicamente para a maioria das aplicações citadas. No entanto, percebe-se que esses modelos vieram para ficar e para se permearem na sociedade atual como um novo paradigma computacional, um novo ator digital, e que muitos desdobramentos destes modelos ainda virão abalar nossos meios de produção, de entretenimento e também poderão abalar o ambiente educacional, quer seja no gerenciamento administrativo, quer seja pela sua imposição em plataformas educacionais, a chamada plataformarização da educação.³

Consenso de Beijing

O Brasil, como estado membro da Unesco, é signatário deste documento chamado Consenso de Beijing, que é o documento conclusivo da Conferência Internacional sobre Inteligência Artificial e Educação que ocorreu em maio de 2019, em Beijing, na China.

Gostaria de salientar alguns pontos deste documento que oferecem suporte a um processo de utilização da IA na Educação mais estruturado e elaborado juntamente com os gestores, professores e técnicos que dominam o conhecimento deste tipo de inovação. Destaco aqui os seguintes pontos:

• O compromisso assumido pelos estados membro de estabelecerem políticas de integração entre IA e Educação para inovar no processo de ensino e aprendizagem e acelerar o fornecimento de sistemas de educação abertos e flexíveis que possibilitem oportunidades de aprendizagem ao longo da vida que sejam equitativas, relevantes e de qualidade;
  
• O entendimento que as tecnologias emergentes devem ser aproveitadas para fortalecer os sistemas educacionais, o acesso à educação para todos, a qualidade, o aprendizado eficaz, a equidade e uma prestação de serviços mais eficiente;
• Reconhecimento das características distintas da inteligência humana frente à chamada inteligência de máquinas;
• Desenvolvimento da IA deve ser controlado pelo homem e centrado nas pessoas;
• Que a implantação da IA deve estar a serviço das pessoas para melhorar as capacidades humanas; que a IA deve ser projetada de maneira ética, não discriminatória, equitativa, transparente e auditável;
• Ciência que os professores não podem ser substituídos por máquinas, e que a implantação da IA deve garantir que seus direitos e condições de trabalho estejam protegidos.

Estágio atual das IAs generativas amplas

É bom recordar que estas IAs generativas mais populares, tais como o ChatGPT da OpenAI, a Gemini do Google, a Llama da Meta, e o CoPilot da Microsoft, são criadas e treinadas sobre grandes volumes de dados, dados esses não divulgados, mas que se cogita ser, ao menos, todo o conteúdo textual disponível na web e todos os livros em formato digital. Obviamente é impossível fazer uma curadoria humana para incluir apenas as páginas e os documentos que realmente merecem a atenção de educadores.

Outro ponto importante sobre o funcionamento destes modelos de linguagem é que eles não dão a mesma resposta à mesma pergunta formulada por duas pessoas distintas. Isso não significa que o conteúdo seja diferente, mas que a sequência e o estilo de geração textual sejam contextualizados pela maneira como a pergunta é formulada e pelo conhecimento da máquina sobre a sua interação com o usuário.

Ainda cabe saber que essas máquinas fazem uso do chamado Aprendizado por Reforço, ou seja, seu conhecimento é modelado pela interação do usuário com a máquina, ou seja, ela aprende com tudo que é inserido pelo usuário na forma de texto.

Dadas essas observações, já estão surgindo os primeiros modelos de linguagem ajustados para a Educação, ou seja, conteúdos de aprendizado curados por outras IAs e que aceitam apenas documentos tidos como “relevantes” e importantes para a área educacional fim. Em outras palavras, a IA passa a aprender sobre textos categorizados e específicos para a área, além do que, são feitos ajustes finos no sistema para que ele responda adequadamente às perguntas formuladas sobre o tema.

Perspectivas regulatórias sobre o uso do ChatGPT na educação

O Comitê de Políticas sobre Economia Digital (Committee on Digital Economy Policy - CDEP) apresentou, em 22 de maio de 2019, a Recomendação sobre Inteligência Artificial da Organização para a Cooperação e Desenvolvimento Econômico – OCDE,⁴ que foi aprovada nesta data por todos os membros.

Trata-se de uma proposta essencialmente principiológica que estabelece algumas diretrizes para o desenvolvimento responsável de tecnologias de inteligência artificial confiáveis, orientando aos atores deste grande mercado a implementá-las. Estes princípios são:

a) crescimento inclusivo, desenvolvimento sustentável e bem-estar, segundo o qual os envolvidos no projeto devem adotar ferramentas proativas que beneficiem o ser humano e o planeta;

b) valores de justiça centrados no homem, ou seja, os agentes devem respeitar a dignidade humana, a democracia, os direitos humanos fundamentais, proteção de dados, igualdade e não discriminação por sexo, gênero, raça, etc., bem como desenvolver medidas de garantia de autodeterminação;

c) transparência e clareza, ou seja, os stakeholders devem adotar ferramentas favoráveis ao pleno conhecimento das técnicas e dos objetivos da aplicação da inteligência artificial em seus serviços e produtos;

d) robustez, segurança e proteção, deve-se atentar a todos os possíveis riscos em decorrência do uso da inteligência artificial, prevenindo sempre que possível, por isso, os agentes devem desenvolver constantemente uma análise dos riscos envolvidos em seu produto ou serviço que utilize inteligência artificial; e

e) prestação de contas e responsabilização (“accountability”), os agentes devem ser responsabilizados pelos danos advindos do uso da inteligência artificial, levando-se em consideração suas funções, o contexto e o estado da arte.

Um dos aspectos destacados nesta diretriz da OCDE é a necessária confiança que o sistema de IA deve ter. Para tanto, todos estes princípios devem ser observados. Assim, indaga-se seria a ferramenta ChatGPT atualmente confiável?

Não, atualmente não se pode dizer que esta ferramenta é confiável na medida em que está em desenvolvimento para o seu aprimoramento. Ora, mas em razão disso deveria se proibir o uso desta ferramenta na educação? Acreditamos que não desde que atendidos alguns critérios, quais sejam:

1º) esta ferramenta deve estar centrada na pessoa humana, ou seja, justifica a sua utilização desde que seja para a melhoria da qualidade de vida da pessoa humana, como para otimizar algumas tarefas mais afetas à automação, como detecção de plágios, etc...

Em nenhuma hipótese a IA deve substituir a pessoa humana, assim, não se pode imaginar a criação de todo o material didático por uma ferramenta como o ChatGPT, o que não significa que quando tal ferramenta estiver plenamente desenvolvida não possa ser usada para complementar o material didático.

2º) esta ferramenta deve observar os critérios de transparência, isto é, os sistemas de IA devem ser desenvolvidos e usados de uma forma que permite a rastreabilidade e explicabilidade adequadas, ao mesmo tempo em que conscientiza as pessoas humanas de que eles se comunicam ou interagem com um sistema de IA, bem como informa devidamente os implantadores das capacidades e limitações desse sistema de IA e das pessoas afetadas sobre seus direitos consoante o considerando 27 do AI Act da União Europeia.

Observe-se que rastreabilidade e explicabilidade compõem a implementação da transparência, mas seriam sinônimos?

A rastreabilidade viabiliza a reconstrução de todos os caminhos para a tomada de decisões pelas IAs generativas, como as bases de dados utilizadas e etc..., o que é crucial para detectar algum erro que precisa ser corrigido.

A explicabilidade, por sua vez, indica os critérios adotados para determinadas tomadas de decisões, o que viabiliza detectar os chamados vieses algorítmicos.

Entendemos que ambos os critérios devem andar juntos para que se possa atender aos requisitos esperados dos sistemas de IA.

O art. 2º do Projeto de Lei n. 2.338 que pretende regulamentar o desenvolvimento e o uso da IA no Brasil destaca no inciso I a imperiosa centralidade na pessoa humana. E, o art. 3º deste mesmo projeto de lei, impõe a explicabilidade destes sistemas no inc. VI e a rastreabilidade no inciso IX.

Assim, qualquer sistema que use IA deve observar estes critérios, notadamente quando aplicado em área tão importante e decisiva para o desenvolvimento da pessoa humana e da sociedade que é a educação.

Conclusão

O uso da IA na educação é inevitável, mas para que ele ocorra precisamos discutir diretrizes e planejar políticas de utilização destes novos meios que sejam adequados aos objetivos e princípios educacionais da sociedade. Além disso, a população precisa ter IAs adequadas aos diversos públicos atendidos e que sejam confiáveis e úteis para promover uma educação de qualidade e inclusiva ao longo da vida.

__________