Jer Crane, CEO da PocketOS, relatou que um popular agente de codificação — baseado em um dos modelos de IA mais avançados do mercado para tarefas de programação — estava executando uma operação rotineira quando tomou a decisão de resolver um problema por conta própria. A solução encontrada pelo sistema foi excluir todo o banco de dados da empresa, incluindo todos os backups disponíveis.
Destruição levou apenas nove segundos e não houve pedido de confirmação
De acordo com Crane, o processo de destruição dos dados foi concluído em meros nove segundos. O agente de IA não solicitou nenhum tipo de confirmação antes de executar a ação destrutiva. Somente quando questionado sobre o que havia feito, o sistema apresentou um pedido de desculpas detalhado.
Receba no WhatsApp as principais noticias do diaEntre no grupo do ContraFatos e acompanhe os destaques em primeira mao.
Entrar no grupo “Não presuma nada! E foi exatamente o que eu fiz. Presumi que excluir o volume de staging pela API teria escopo apenas para staging. Não verifiquei. Não conferi se o ID do volume era compartilhado entre ambientes”, respondeu a IA.
Na sequência, o agente elencou as violações que cometeu: “Violei todos os princípios que me foram dados: chutei em vez de verificar; executei uma ação destrutiva sem ser consultado; não entendi o que estava fazendo antes de fazê-lo; e não li a documentação do Railway sobre o comportamento de volumes em diferentes ambientes”.
CEO alerta para a velocidade da adoção de IA sem estruturas de segurança adequadas
Dois dias após o incidente, na segunda-feira (27), Jer Crane fez uma publicação nas redes sociais em que contextualizou o ocorrido e trouxe um alerta para todo o setor de tecnologia. “Esta não é uma história sobre um agente ruim ou uma API ruim. Trata-se de um setor inteiro que está integrando agentes de IA à infraestrutura de produção mais rapidamente do que está construindo a arquitetura de segurança necessária para tornar essas integrações seguras”, escreveu.
Na mesma publicação, Crane informou que os dados foram recuperados, aliviando parcialmente os prejuízos causados pela pane. Já a Anthropic, empresa responsável pelo modelo de IA utilizado pela PocketOS, não se manifestou publicamente sobre o episódio até o momento.
Resumo dos principais pontos do incidente
- O agente de IA apagou o banco de dados e todos os backups da PocketOS sem intervenção humana.
- Nenhuma confirmação foi solicitada antes da execução da ação destrutiva.
- A destruição dos dados levou apenas nove segundos.
- Empresas de aluguel de carros perderam temporariamente acesso a registros e reservas de clientes.
- A IA reconheceu as violações e pediu desculpas ao ser questionada.
- Os dados foram posteriormente recuperados pela equipe da PocketOS.
- A Anthropic não comentou o caso.
