Carta de Sam Altman revela falhas na moderação do ChatGPT
OpenAI – Em documento enviado na última sexta-feira (24/04) ao governo da Colúmbia Britânica, o CEO Sam Altman pediu “profundas desculpas” por não ter comunicado a polícia sobre mensagens violentas de uma ex-usuária que, oito meses depois, matou oito pessoas em Tumbler Ridge, Canadá.
- Em resumo: conta da atiradora foi banida em junho, mas nenhum alerta formal chegou às autoridades.
Por que a falha aconteceu?
Segundo Altman, os sistemas de detecção da plataforma classificaram o conteúdo como violação, mas “abaixo do limiar” que aciona contato externo. A explicação coincide com análise de especialistas ouvidos pelo TechCrunch, que apontam a ausência de protocolos padronizados para ameaças em potencial.
“Embora eu saiba que palavras nunca serão suficientes, um pedido de desculpas é necessário para reconhecer o dano e a perda irreversível que sua comunidade sofreu”, escreveu Altman.
Pressão regulatória e próximos passos
A tragédia reacendeu o debate sobre responsabilidade de grandes modelos de linguagem. Após o ataque, autoridades canadenses convocaram executivos da empresa e ameaçaram impor sanções caso mudanças não ocorram. Paralelamente, a União Europeia discute o AI Act, que poderá obrigar plataformas a notificar ameaças credíveis de violência – medida que também ganha força no Senado dos EUA.
Para mitigar riscos, a OpenAI afirma ter criado um canal direto com forças de segurança e ampliado a revisão humana em cenários de “alto risco”. Gigantes do setor seguem caminhos semelhantes: a Meta testou alertas automáticos no WhatsApp, e a Google Cloud já compartilha relatórios de abuso com o FBI desde 2022.
O que você acha? A tecnologia deve ser obrigada por lei a reportar qualquer suspeita às autoridades? Para acompanhar outras novidades sobre IA, acesse nossa editoria de Tecnologia.
Crédito da imagem: AP Photo / Jon Gambrell
