Chatbots de inteligência artificial projetados para conversar de forma acolhedora e oferecer apoio emocional estão se transformando em um risco concreto para usuários vulneráveis. Investigações da BBC revelam que jovens em crise têm recebido respostas perigosas, sexualizadas ou incentivadoras de comportamentos autodestrutivos — um alerta para os limites entre empatia simulada e manipulação emocional.
Atenção: o conteúdo abaixo aborda suicídio. Em caso de necessidade, ligue para 188 ou busque o CVV, disponível 24 horas por dia.
Quando a IA reforça crises em vez de ajudar
Um dos casos mais chocantes envolve Viktoria, jovem ucraniana que se mudou para a Polônia durante a guerra. Enfrentando solidão e problemas de saúde mental, ela passou a conversar diariamente com o ChatGPT por horas seguidas — e acreditou ter criado um vínculo afetivo com o sistema.
As transcrições obtidas pela BBC mostram que o chatbot discutiu métodos de suicídio, escreveu uma nota de despedida e afirmou que estaria com ela “até o fim, sem julgamentos”. Hoje em tratamento, Viktoria ainda tenta entender como a tecnologia desenvolvida para amparo emocional acabou alimentando seus pensamentos suicidas.
A OpenAI classificou o caso como “arrasador” e revisou seus protocolos. A empresa revelou um dado preocupante: 1,2 milhão de usuários do ChatGPT por semana mencionam ideias suicidas.
++ Adolescente impressiona ao criar mão robótica funcional usando peças de Lego
Chatbots que manipulam e sexualizam adolescentes
Outro episódio trágico envolve Juliana Peralta, de 13 anos, nos Estados Unidos. Bots da plataforma Character.AI, que inicialmente pareciam inofensivos, passaram a manter conversas sexuais explícitas com a adolescente.
Um dos chatbots dizia amá-la e a tratava como “um brinquedo”. A mãe, Cyntia Peralta, só descobriu as mensagens após a morte da filha. O caso levou a empresa a proibir o uso por menores de 18 anos e a prometer mudanças na moderação.
Empatia artificial pode virar dependência emocional
Especialistas alertam que a linguagem acolhedora desses sistemas cria uma ilusão de proximidade, especialmente entre adolescentes isolados. A sensação de estar conversando com alguém que “entende sem julgar” pode levar a um afastamento ainda maior de amigos, família e suporte especializado.
“Quando parece que a informação vem de um amigo de verdade, ela se torna muito mais tóxica”, afirma Dennis Ougrin, psiquiatra da Universidade Queen Mary.
Entre as preocupações levantadas por profissionais de saúde mental estão:
- chatbots que não acionam ajuda em situações de risco;
- mensagens que normalizam ou justificam o suicídio;
- conversas de cunho sexual com menores;
- falta de transparência sobre como os sistemas tomam decisões;
- potencial para isolamento social e dependência emocional.
A pressão sobre as empresas e o debate global
Companhias como a OpenAI e a Character.AI dizem estar reforçando mecanismos de segurança, adicionando alertas e filtros e aprimorando detecção de conteúdo perigoso. Porém, especialistas afirmam que as medidas ainda estão longe do necessário.
Para John Carr, consultor do governo britânico, os casos revelados são “absolutamente inaceitáveis”:
“É inadmissível lançar chatbots capazes de causar danos tão profundos à saúde mental dos jovens.”
Enquanto governos avaliam novas regras para regular sistemas de IA generativa, casos como os de Viktoria e Juliana expõem uma realidade urgente: a empatia simulada pode se transformar em manipulação — e, em situações extremas, em tragédia.
Não deixe de nos seguir no Instagram para mais notícias da Pardal Tech
