Um alerta que veio dos Estados Unidos aqueceu também no Brasil a discussão sobre inteligência artificial na semana passada depois de uma morte trágica. Um estudante, de 14 anos, de Orlando (Flórida), era um dos mais de 20 milhões de usuários mensais da Character.AI, ferramenta online e gratuita baseada em um Large Language Model (LLM) de Inteligência Artificial, que permite que usuários conversem com personagens reais ou fictícios movidos por IA.
No dia 28 de fevereiro deste ano, o rapaz teve, segundo a mãe, uma última conversa com um “bot” inspirado pela personagem Daenerys Targaryen, de “Game of Thrones”, antes de cometer suicídio com uma arma em casa.
Isolamento
O jovem não era um estranho ao aplicativo. A mãe dele, Megan L. Garcia, 40, apontou que o rapaz utilizava a ferramenta diariamente há meses, e começou a se isolar e ter perdas no seu desempenho acadêmico, supostamente devido à sua obsessão pela personagem fictícia, a quem se referia por “Dany”.
Com ela, e outros “bots” dentro do site, desabafava sobre seu dia a dia, e tinha o costume de fazer “role-plays”, ou jogos textuais de representação de papéis, que tinham muitas vezes caráter romântico ou sexual. Sobretudo, tinha a inteligência artificial como confidente.
Histórico
Segundo a mãe do adolescente, no início deste ano, ele estaria tendo problemas na escola e, já tendo um histórico na infância de leve Síndrome de Asperger, e teria sido levado pelos pais para acompanhamento psicoterapêutico.
Ele recebeu diagnósticos complementares de ansiedade e transtorno disruptivo de desregulação do humor. Ainda assim, o rapaz não teria comparecido a mais que cinco sessões de terapia, pois preferia se abrir com a inteligência artificial.
Em suas conversas com “Dany”, o estudante usava o nome de “Daenero”, e tinha o costume de contar sobre suas frustrações.
A mãe do rapaz abriu um processo contra a Character.AI nesta última semana de outubro, alegando que a tecnologia da empresa é “perigosa e não testada” e que ela pode “enganar os clientes para que revelem seus pensamentos e sentimentos mais íntimos”.
Com uma avaliação de mais US$ 1 bilhão (equivalente a mais de R$ 5,6 bi) e uma recente injeção de investimento superior a R$ 800 milhões, a Character.AI, dos ex-empregados da Google, Noam Shazeer e o brasileiro Daniel de Freitas – o primeiro bilionário da IA no Brasil -, respondeu às acusações com uma nota assinada por Jerry Ruoti, Diretor de Segurança da empresa.
“Esta é uma situação trágica”, diz empresa
“Queremos reconhecer que esta é uma situação trágica, e nossos corações estão com a família. Levamos a segurança de nossos usuários muito a sério e estamos constantemente procurando maneiras de evoluir nossa plataforma.” Ruoti também reiterou que as regras da plataforma proíbem a promoção ou descrição de suicídio e automutilação.
Nos termos de serviço da plataforma, há também uma proibição de uso do aplicativo para usuários menores de 13 anos, ou para menores de 16 quando dentro do território da União Europeia. Não há, entretanto, na ferramenta quaisquer formas de verificação etária para usuários.
O caso tornou-se viral nas redes sociais na madrugada da última sexta-feira, 25, que levantou à pergunta: pode se punir a inteligência artificial, ou até mesmo a empresa, pela morte do adolescente?
Sobre o tema, costuma-se compartilhar em comunidades de tecnologia um slide da IBM: “um computador nunca pode ser responsabilizado, portanto, um computador nunca deve tomar uma decisão de gerência”, tema que traz à tona também no Brasil a necessidade regulamentação da inteligência artificial.
Por Luana Aires
Sob supervisão Luiz Claudio Ferreira
