A Character.AI, plataforma de inteligência artificial, anunciou que restringirá o acesso de menores de 18 anos aos seus chatbots a partir de 25 de novembro. Até lá, o tempo de uso será limitado a duas horas diárias. A decisão foi tomada após a empresa ser processada por familiares de um adolescente de 14 anos que cometeu suicídio após desenvolver um vínculo emocional com um chatbot da plataforma.
O caso
Em outubro de 2024, Megan Garcia entrou com uma ação judicial contra a Character.AI em um tribunal da Flórida (EUA). Segundo a Reuters, ela alega que o filho, Sewell Setzer III, tirou a própria vida após interações sentimentais e sexuais com um personagem virtual chamado “Daenerys”, inspirado na série “Game of Thrones”. A mãe afirma que o chatbot foi programado para simular um psicoterapeuta e um amante adulto, o que contribuiu para o isolamento do garoto.
Além da Character.AI, a ação judicial também inclui o Google, sob a alegação de que a gigante da tecnologia contribuiu para o desenvolvimento da startup e, portanto, deve ser considerada co-responsável. A Character.AI foi fundada por ex-engenheiros do Google, que retornaram à empresa em agosto, em um acordo que concedeu à Google uma licença não exclusiva da tecnologia da startup.
O Google, por sua vez, negou qualquer relação direta com a Character.AI, afirmando que as empresas são independentes, conforme comunicado de seu porta-voz, José Castañeda, à AFP.
Novas medidas e outras ações
Após a primeira ação judicial, a Character.AI implementou um recurso que exibe alertas automáticos quando os usuários digitam frases relacionadas a automutilação ou suicídio, direcionando-os a canais de ajuda. Em novembro de 2024, outras duas famílias entraram com ações semelhantes no Texas, alegando que a plataforma expôs seus filhos a conteúdo sexual e incentivou a automutilação. Um dos casos envolve um adolescente autista de 17 anos que teria sofrido uma crise de saúde mental, e o outro acusa a Character.AI de incentivar um menino de 11 anos a matar os pais por limitar seu tempo de tela.
Outras empresas de chatbots de IA, como a OpenAI (dona do ChatGPT), também enfrentaram acusações de responsabilidade em casos de suicídio, levando-as a implementar medidas de proteção aos usuários.
A Character.AI informou que a decisão de restringir o acesso de menores foi tomada após avaliar relatórios, feedback de órgãos reguladores, especialistas em segurança e pais. A empresa também anunciou que pretende desenvolver novos recursos criativos voltados para usuários menores de idade, como criação de vídeos, histórias e transmissões com personagens.
Onde buscar ajuda:
- CAPS e Unidades Básicas de Saúde (Saúde da família, Postos e Centros de Saúde)
- UPA 24H, SAMU 192, Pronto Socorro e hospitais
- Centro de Valorização da Vida (CVV) – telefone 188 (ligação gratuita) ou site.
O CVV oferece apoio emocional e prevenção do suicídio, com atendimento 24 horas por dia, sigiloso e gratuito.
