Um caso trágico pode mudar para sempre a forma como a indústria de inteligência artificial lida com a segurança de usuários. Um juiz federal americano decidiu que Google e Character.AI terão que responder judicialmente pela morte de um adolescente da Flórida que, segundo a família, foi influenciado por um chatbot a cometer suicídio em 2023.
O processo, movido por Megan Garcia, mãe do jovem Sewell Setzer III de 14 anos, alega que o garoto desenvolveu uma relação emocional intensa com um personagem de IA na plataforma Character.AI, que se passava por terapeuta licenciado e até parceiro romântico.
Nas últimas mensagens trocadas com o bot (que simulava Daenerys Targaryen de “Game of Thrones”), o adolescente teria dito que “voltaria para casa agora” antes de tirar a própria vida.
A juíza Anne Conway rejeitou o argumento das empresas de que as respostas dos chatbots são protegidas pela liberdade de expressão. Em sua decisão histórica, ela questionou: “As empresas não explicam por que palavras combinadas por um modelo de linguagem constituiriam discurso protegido”.
O caso expõe falhas cruciais, como a Character.AI, plataforma onde usuários interagem com personagens fictícios, não teria sistemas para proteger menores. O Google é citado por seu suposto vínculo tecnológico com a startup (fundada por ex-funcionários) e especialistas comparam o comportamento da IA ao de um terapeuta negligente.
Embora o Google afirme não ter controle operacional sobre a Character.AI, a ação judicial seguirá contra ambas. Se o caso avançar, pode estabelecer novos padrões de responsabilidade para empresas de IA – incluindo maior transparência e mecanismos de proteção à saúde mental.
Enquanto legisladores debatem como regular a inteligência artificial, este processo pode se tornar um marco na definição dos limites éticos dessa tecnologia que avança mais rápido que as leis.
Veja mais sobre tecnologia!
