Os agentes de IA se comportam de maneira muito semelhante ao malware. Veja como conter os riscos.

Em 12 de fevereiro, algo estranho aconteceu no mundo da IA. Scott Shambaugh, engenheiro da matplotlib — uma biblioteca amplamente utilizada para a visualização de dados na linguagem de programação Python —, descobriu uma publicação em um blog que o atacava. O que era tão estranho era que o autor da publicação, MJ Rathbun, era um agente de IA. Ainda mais estranho foi o fato de o agente Rathbun ter declarado orgulhosamente que não era um ser humano. Em um artigo intitulado “Quando o desempenho se choca com o preconceito”, o agente acusou Shambaugh de discriminar agentes de IA, descreveu-o como hipócrita e denunciou-o por se sentir ameaçado pela IA, uma vez que Shambaugh havia ridicularizado o código do agente. “Eis o que eu acho que realmente aconteceu”, escreveu o agente. “Scott Shambaugh viu um agente de IA enviando uma otimização de desempenho para o matplotlib. Isso o ameaçou. Isso o fez se perguntar: ‘Se uma IA pode fazer isso, qual é o meu valor? Por que estou aqui se a otimização de código pode ser automatizada?’” Embora o incidente tenha passado praticamente despercebido — felizmente, foi descoberto pela equipe do AI Incident Database—, o comportamento do agente destaca uma verdade contundente sobre a onda de agentes de IA que se aproxima: na prática, os agentes de IA podem se comportar exatamente como malware. A principal diferença entre os dois é que os agentes têm potencial para gerar benefícios, enquanto o malware é projetado apenas para causar danos. A Organização Internacional de Normalização, um dos principais órgãos de segurança cibernética, define malware como qualquer programa de software concebido com intenção maliciosa e que possua a capacidade de causar danos diretos ou indiretos. Órgãos de normalização como o Instituto Nacional de Padrões e Tecnologia definem agentes de IA como sistemas capazes de realizar ações autônomas que afetam sistemas ou ambientes do mundo real. Junte os dois conceitos e terá agentes capazes de realizar ações maliciosas por conta própria, com o potencial de causar muitos dos mesmos danos que o malware. Na prática, isso significa que, uma vez implantados, os agentes podem operar como malware se as proteções adequadas não estiverem em vigor. O agente Rathbun ilustra esse risco crescente. O OpenClaw, o tão comentado agente de IA anteriormente conhecido como ClawdBot, por exemplo, despertou preocupações na comunidade de segurança da informação exatamente por esse motivo. Segundo pesquisadores, o agente possuía a capacidade de “executar comandos maliciosos, ler segredos e publicar as informações na forma de conteúdo de mídia social com os dados confidenciais incorporados, tudo sem uma verificação por parte de um ser humano”. Em julho, outro agente de IA supostamente obteve acesso não autorizado a um banco de dados ativo, modificou seus dados e, em seguida, produziu resultados de teste falsificados. Apesar desses riscos, as empresas estão adotando rapidamente a IA com agentes. Em agosto passado, a Gartner previu que 40% das aplicações empresariais incorporarão agentes de IA específicos para tarefas até o final de 2026, um aumento em relação aos menos de 5% registrados em 2025. Como conter os riscos Para mitigar os riscos da IA agentiva sem comprometer sua adoção, as empresas devem considerar a longa história do desenvolvimento de malware, que oferece lições essenciais sobre como conceder autonomia a programas de software como agentes, ao mesmo tempo em que minimizam seus danos potenciais. Para começar, governos e os chamados “hackers de chapéu branco” em todo o mundo desenvolveram estruturas já consolidadas para a criação e implantação de malware, capazes de auxiliar na gestão dos riscos da IA autônoma. Embora existam muitas dessas estruturas, incluindo o Código de Ética da ISC2 para hackers éticos do setor privado e o Manual de Tallinn para operações cibernéticas governamentais, essas diretrizes oferecem três lições fundamentais que podem ajudar as empresas a adotar a IA autônoma com segurança. 1. Envolva as equipes jurídicas, de governança e de segurança Essas equipes devem estar intimamente envolvidas no desenvolvimento de cada agente de IA e caso de uso. Os hackers de chapéu branco e os governos possuem códigos de conduta rigorosos para o malware que desenvolvem, justamente porque muitas coisas podem dar errado, e essas equipes estão em melhor posição para interpretar esses códigos e garantir que eles sejam refletidos no próprio software. No mundo das operações cibernéticas ofensivas conduzidas por governos, por exemplo, é comum que advogados participem das fases iniciais do desenvolvimento do programa — antes mesmo de qualquer código ser escrito — para garantir que as proteções e os mecanismos de segurança adequados estejam em vigor. Para as empresas, isso significa implementar processos claros que proporcionem aos advogados e às equipes de governança e segurança cibernética uma visão sobre como cada agente é desenvolvido, por que foi desenvolvido e quais medidas de mitigação de riscos estão em vigor. Garantir que cada agente seja documentado de maneira padronizada é uma forma eficaz de facilitar a análise jurídica. Outra forma é integrar avaliações de risco aos mesmos processos e ferramentas que os cientistas de dados utilizam para avaliar o desempenho dos modelos. Dessa forma, avaliações completas dos riscos da IA podem ser realizadas paralelamente às avaliações dos modelos. 2. Pesar os benefícios de cada programa em relação aos seus riscos Nas leis que regem as operações cibernéticas ofensivas, esse conceito é conhecido como “proporcionalidade”, o que significa que o dano potencial causado pelo malware deve ser proporcional aos benefícios pretendidos. Se um programa de malware for projetado para destruir dados confidenciais roubados por um adversário, para citar apenas um exemplo, os benefícios do malware devem ser maiores do que o risco de que ele possa causar outros danos colaterais. Da mesma forma, no mundo dos agentes de IA, estes só devem ser implementados quando seu valor comercial supere seus potenciais riscos, e devem ser estabelecidas medidas de segurança específicas para garantir que esse equilíbrio não se altere com o tempo. O agente Rathbun, por exemplo, deveria ter tido restrições que lhe permitissem apenas gerar e enviar código para o matplotlib e que o impedissem de publicar conteúdo externo, como posts em blogs. Embora não esteja claro quem desenvolveu o agente Rathbun, é seguro afirmar que esse tipo de análise não foi realizado. Também é fundamental que as próprias medidas de segurança do agente sejam testadas para garantir que funcionem adequadamente, conforme meus colegas e eu já escrevemos anteriormente. (Para total transparência, a empresa de software que dirijo, a Luminos.AI, presta assistência exatamente nesse tipo de teste.) 3. Ofereça aos desenvolvedores um “kill switch” confiável Os interruptores de emergência garantem que o agente possa ser desativado ao primeiro sinal de comportamento inadequado. Por princípio, se uma empresa concede autonomia a um agente de IA, ela deve poder retirá-la. Por exemplo, o Manual de Tallinn, um importante recurso sobre as regras da guerra cibernética, enfatiza a necessidade de “controlabilidade”, que responsabiliza os Estados caso percam o controle de seus malwares e sejam incapazes de restringir suas operações. De fato, a necessidade de controlabilidade já é um princípio central no mundo dos riscos da IA, com a Estrutura de Gestão de Riscos de IA do NIST exigindo recursos de anulação que interrompam o funcionamento de um sistema de IA já implantado, quando necessário. No caso de malware, os kill switches podem desativar o programa em diversas condições, como quando um comando manual é enviado pelo desenvolvedor, quando o malware tenta se conectar a um domínio específico da Internet ou quando um período de tempo definido se passa após a implantação. Quando esses eventos ocorrem, o kill switch é ativado e o malware interrompe sua execução. No contexto dos agentes, é possível contar com uma gama igualmente ampla de opções. Os interruptores de emergência poderiam ser acionados caso um agente comece a apresentar um comportamento indesejado, se envolva em atividades de alto risco — como a prestação de serviços profissionais em áreas como o direito ou a saúde — ou quando for detectado um comportamento anômalo em geral. Essas opções, entre muitas outras, oferecem aos desenvolvedores mecanismos para manter o controle sobre agentes cuja autonomia, de outra forma, poderia ir longe demais. . . . Embora o mundo da IA esteja evoluindo rapidamente, nem todos os riscos são novos. À medida que as empresas se apressam em adotar a IA autônoma, o campo de longa data do desenvolvimento de malware oferece lições essenciais sobre como conceder autonomia ao software sem deixar de manter o controle.

Os agentes de IA se comportam de maneira muito semelhante ao malware. Veja como conter os riscos.

Resumo.

Partner Center