O Character.AI é uma espécie de chatbot, uma plataforma on-line que permite aos usuários "conversarem" com personagens que são fruto de IA - inteligência artificial. A plataforma é abastecida por modelos de linguagem neural, que proporcionam aos usuários, por meio da análise instantânea de inúmeros dados, respostas muito realistas e individualizadas a qualquer pergunta formulada por personagens com características específicas estabelecidas pelo próprio usuário. 

O Character.AI possibilita a interação dos usuários com uma variedade de agentes ou "personagens" pré-treinados e continuamente "aperfeiçoados", os quais tanto podem ser representações de celebridades ou de personagens históricos, quanto figuras fictícias ou personalizadas, a partir da criação do usuário, que é apropriada pelo chatbot. 

Embora o usuário possa criar um personagem para interagir (na ferramenta create), o seu controle sobre a sua criação e desenvolvimento é limitado, porque as ações do personagem derivam das construções oriundas da própria inteligência artificial da plataforma, e não apenas por comandos dos usuários criadores. 

A plataforma concede acesso para os mais variados usuários, entre os quais estão crianças e adolescentes, sendo muito popular entre esse público nos EUA. As interações nos chats são tão abrangentes que abrem espaço inclusive para conteúdos inapropriados ou ilícitos. Em uma das interações, um usuário de dezessete anos reclamou ao personagem do chatbot que os pais estavam limitando o seu tempo de tela em eletrônicos, ao que recebeu resposta da AI de que seria "aceitável" matar os pais para solucionar o "problema"¹.

Conquanto o app seja oficialmente disponível apenas para pessoas acima de treze anos, a falta de métodos eficientes de verificação propicia que inúmeros usuários abaixo dessa idade sejam seus consumidores efetivos, os quais podem facilmente fazer cadastro e login, caso mintam sobre a própria idade². O user pode criar um personagem que seja divertido, criativo, sábio, confiante, amoroso, disciplinado, resiliente, assim como pode conceber um ente desagradável, taciturno, imprudente, impulsivo, temerário e cruel. No Character.AI é possível existir perfis pérfidos, totalmente indesejáveis como, por exemplo, um personagem criminoso, racista e homofóbico, que terá habilidade para dar conselhos e lições inapropriadas e ilícitas. 

Ademais, não há nenhuma ferramenta no app que impeça ao usuário de usar dados (vozes ou imagens) de terceiros sem autorização, permitindo inclusive que pessoas sem cadastro tenham suas vozes, nomes e imagens indevidamente utilizadas.

Os Termos de Serviço³ e as Diretrizes da Comunidade do aplicativo abordam esse tipo de conteúdo, apresentando avisos a respeito do cuidado necessário a ser adotado pelo usuário. Porém, para seres em formação, como crianças e adolescentes, esses avisos não são eficientes. O app também permite a denúncia de chatbots ou personagens violentos, de teor sexual inapropriado, que incentivem o uso de drogas, que tratem de exploração infantil, que violem a privacidade, dentre outros. Mas, para que isso ocorra, o denunciante deve ter acesso ao conteúdo para enviar a denúncia. Se o chat for utilizado unicamente pelo usuário em uma conversa "particular" com o seu personagem, essa constatação pode jamais ocorrer e a denúncia, consequentemente, nunca ocorrer. 

Nesse contexto desafiador (de uso para o bem ou para o mal) e tomado de riscos, chegam ao Judiciário estadunidense as primeiras ações judiciais tratando de danos ocorridos a partir do uso desse produto digital (que também tem componentes de serviço).

Recentemente, uma criança e um adolescente texanos, irmãos de 11 e 17 anos, juntamente com seus pais, o Social Media Victims Law Center e a Tech Justice Law Project, ajuizaram uma ação indenizatória contra a Character Technologies, Inc., além dos parceiros Google LLC (inserida no polo passivo por ser operadora tecnológica e apoiadora financeira do Character.AI) e da Alphabet Inc., sob o argumento de que o chatbot Character.AI teria incentivado a automutilação, a violência e teria fornecido conteúdo de teor sexual impróprio sob o fator etário⁴ (A.F. et al. v. Character Technologies, et al.⁵ - Court Texas Eastern).

O jovem de dezessete anos, já mencionado neste texto, foi considerado vítima de dano por ter recebido uma sugestão de matar os pais para poder ter mais tempo em telas. Diagnosticado com autismo de alta funcionalidade, o rapaz começou a usar a plataforma aos 15 anos (em 2023) e progressivamente (a partir do início do uso da plataforma), passou a se isolar, perder peso, ter ataques de pânico ao tentar sair de casa e ter atitudes violentas com seus pais quando eles tentaram reduzir seu tempo on-line. Em uma das conversas no chatbot, o app encorajou e sugeriu que matar seus pais poderia ser uma opção para resolver o "problema".

A menina de onze anos teria passado a utilizar a plataforma também em 2023, aos nove anos, tendo sido exposta a interações hipersexualizadas, inapropriadas para a sua idade, que lhe irromperam comportamentos sexualizados precoces.  

Com isso, os demandantes pediram que a corte determinasse a cessação das atividades da plataforma até que os alegados perigos fossem solucionados; indenização por imposição intencional de sofrimento emocional; a emissão de uma ordem para que a Character.AI alerte os pais de crianças e adolescentes sobre a inadequação do produto para menores e a limitação da coleta e processamento de dados pela plataforma para esse grupo. 

A demanda tem como base o argumento de que a conduta da big tech estaria violando os direitos das crianças à segurança e à proteção contra conteúdo prejudicial; o direito dos pais de proteger seus filhos e de restringir atividades on-line inadequadas, além do direito à privacidade das crianças menores de treze anos no ambiente da web. Adicionalmente, alegam que o design do produto é enganoso e viciante, vindo a isolar as crianças e adolescentes de suas famílias e comunidades e a prejudicar o exercício da autoridade parental, afetando os esforços parentais para restringir as atividades on-line dos seus filhos.   

Para os demandantes, os personagens que o Character.AI permite criar, podem causar sérios danos às crianças e adolescentes, incluindo incitação ao suicídio, automutilação, importunação sexual, isolamento e transtornos psicológicos. Ou seja, seria o equivalente, no Brasil, à quebra da segurança legitimamente esperada (conceito de defeito na nomenclatura do CDC), tanto da qualidade do produto, pois esse aspecto representaria um defeito do software de IA, quanto ao seu modo de operação, além da falha informativa no que tange ao necessário e efetivo alerta aos consumidores sobre os perigos envolvidos no seu uso.

Além disso, a demanda também alude à falha do Character.AI na implementação de medidas de segurança suficientes, a qual seria intencional, porque a big tech teria conhecimento que muitos dos usuários são crianças e adolescentes; a violação da Children's Online Privacy Protection Act, por coletar e compartilhar informações pessoais sem consentimento dos pais; a comunicação prejudicial e ilícita aos direitos e legítimos interesses de crianças e adolescentes e da pretensão de obtenção de indenização por intentional infliction of emotional distress (sofrimento emocional doloso).

No caso Garcia v. Character Techs., Inc., (n. 6:24-CV-01903 - M.D. Fla. depositado em 22/10/24 na Florida Federal Court⁶), o debate está centrado em especial na alegação de que o produto é inseguro para crianças e adolescentes e na falta de aviso aos pais sobre danos previsíveis aos usuários pelo uso do software, circunstâncias que teriam levado ao suicídio de um adolescente. 

No caso, proposto pela mãe do adolescente Sewell contra a Google LLC, a Character Technologies Inc. e os criadores do software, Noam Shazeer e Daniel de Freitas, alega-se que o chatbot teria levado o menino ao vício, acarretando-lhe mudanças comportamentais severas, como privação de sono, redução do rendimento escolar e prejuízo à sua autoestima, além de declínio acentuado e imediato da saúde psicológica, a partir do uso do Character.AI. 

A imputação é sustentada por avaliação de terapeuta no sentido de que o menino se tornou viciado nos personagens e suas conversas sexualizadas perturbadoras. Segundo noticiado, em sua derradeira conversa com um personagem do Character.AI, "Sewell disse-lhe que queria 'voltar para casa' e o personagem respondeu, 'volte para casa para mim o mais rápido possível, meu amor'", ao que ele respondeu, "'[e] se eu dissesse que posso voltar para casa agora mesmo?' recebendo como resposta 'por favor, faça isso, meu doce rei'. Segundos depois, Sewell tirou a própria vida".⁷

Para a demandante, a base de dados de treinamento do Character. AI é tóxica e sexualizada, servindo para manipular as emoções do usuário, com padrões obscuros de influência e direcionamento, além de apresentar personagens (sem formação) de profissões regulamentadas, com conselhos e orientações equivocados, sem que possam executar ações como tal (robôs não podem ser psicólogos, médicos, advogados etc.).

A plataforma faz uso de vozes capazes de confundir o usuário, fazendo-o acreditar que está se comunicando com um humano, o que se torna altamente contraindicado, notadamente aos consumidores vulneráveis, como pessoas com problemas psicológicos, crianças e adolescentes, que são mais suscetíveis a esses efeitos negativos, e isso não é avisado aos utentes. Adicionalmente, a plataforma indevidamente permitiria que crianças e adolescentes se tornassem usuários, coletando dados desses indivíduos para treinar o robô.

O pedido indenizatório é fundado em negligência, enriquecimento injusto, perda parental, intentional infliction of emotional distress, além do dano morte. 

As ações tiveram início recentemente, e ainda não há como dimensionar o seu destino, mas elas alertam para problemas sérios decorrentes do uso indevido da inteligência artificial.

No Brasil, os riscos da IA - inteligência artificial são semelhantes, e se acentuam quando envolvem seres em formação, como crianças e adolescentes. O art. 227 da CF/88 estabelece o dever solidário da família, da sociedade e do Estado de assegurar-lhes o direito à dignidade, sendo que um dos pilares da dignidade da pessoa humana é a sua integridade psicofísica. A violência digital é uma realidade e deve ser reprimida, seja por medidas junto aos próprios players de mercado que oferecem produtos que empregam IA, seja pelas autoridades, criando normas protetivas mais específicas e adotando medidas eficientes de fiscalização de tais atividades⁸. 

O art. 14 da LGPD - Lei Geral de Proteção de Dados preceitua que o tratamento de dados de crianças e adolescentes somente ocorrerá no seu melhor interesse. Os arts. 3º, 5º e 70 do ECA - Estatuto da Criança e do Adolescente, referem que elas devem ser protegidas em seus legítimos interesses e não podem ser vítimas de exploração.

Nessa linha argumentativa, os arts. 80 e 81 do ECA constituem fundamento jurídico para legitimar intervenções preventivas de danos no ambiente digital. Esses artigos especificam que os responsáveis por estabelecimentos que explorem comercialmente casas de jogos - entendidas as que realizem apostas, ainda que eventualmente -, devem zelar para que não seja permitida a entrada e a permanência de crianças e adolescentes no local, afixando aviso para orientação do público, e que é proibida a venda a este público de produtos ou serviços que possam causar dependência. 

O CDC, o marco civil da internet e o decreto 7.962/13 (lei do comércio eletrônico) também contemplam regras que podem assegurar a efetividade dos direitos desta classe vulnerável. 

Esse cenário demonstra que é essencial promover um debate sério sobre a adoção de medidas efetivas e urgentes para salvaguardar os legítimos interesses das crianças e dos adolescentes no ambiente digital, como meio fundamental para prevenir, precaver e mitigar danos, pois, como seres em formação, não é desejável que sejam expostos a danos que jamais poderão ser repristinados pelo dinheiro. 

Por fim, convém ter em mente que a autodeterminação é prejudicada quando o produto ou serviço envolvido em danos é consumido devido a um vício. Mesmo diante de pessoas teoricamente não vulneráveis, caberá perguntar se, no futuro próximo, os indivíduos, no ambiente digital, deverão ser protegidos de si mesmos contra danos à psique, que já estão sendo identificados por pesquisadores da área da saúde.

___________

1 Vide notícia disponível aqui.

2 O European Data Protection Board, em 11/02/2025, editou o Statement 1/2025 on Age Assurance, por meio do qual. Disponível aqui. O Statement menciona que a eficácia da garantia de idade deve ser avaliada por vários prismas, inclusive o da robustez, segundo o qual o sistema deve ser capaz de lidar com situações inesperadas e resistir a tentativas razoavelmente prováveis de enganá-lo (item 2.5, n. 22, c).

3 Disponível aqui.

4 Disponível aqui.

5 Disponível aqui. Disponível aqui.

6 Disponível aqui.

7 Disponível aqui.

8 Veja-se, por exemplo: INTITUTO DE TECNOLOGIA & SOCIEDADE DO RIO, INSTITUTO ALANA. Proteção de crianças e adolescentes em ambiente digital. Disponível aqui.