Pesquisa: A segurança cibernética convencional não protege sua IA

Em junho de 2025, pesquisadores descobriram uma vulnerabilidade que expunha dados confidenciais do Microsoft 365 Copilot sem qualquer interação do usuário. Ao contrário das violações convencionais que dependem de phishing ou erro do usuário, essa exploração, agora conhecida como EchoLeak, contornou totalmente o comportamento humano, extraindo silenciosamente informações confidenciais ao manipular a forma como o Copilot interage com os dados do usuário. O incidente destaca uma realidade preocupante: os modelos de segurança atuais, projetados para sistemas de software previsíveis e defesas na camada de aplicativos, não estão preparados para lidar com a natureza dinâmica e interconectada da infraestrutura de IA. A IA passou rapidamente de projetos-piloto experimentais para infraestruturas essenciais à missão, gerando ganhos de produtividade sem precedentes e moldando fundamentalmente a vantagem competitiva em todos os setores. No entanto, como o EchoLeak demonstrou de forma tão clara, essa integração da IA expõe as organizações a uma nova e sofisticada classe de vulnerabilidades: explorações de IA sem clique que comprometem dados confidenciais sem qualquer interação do usuário. Essa realidade decorre de uma incompatibilidade fundamental. A maioria das organizações continua a confiar em estruturas convencionais de segurança cibernética, criadas para software determinístico, para proteger sistemas de IA que são tudo menos determinísticos. Os sistemas de IA estão constantemente aprendendo e interagindo com vastos fluxos de dados externos, criando pontos cegos onde as defesas tradicionais simplesmente não se aplicam. O resultado é uma crescente lacuna de segurança. Os líderes subestimam esses riscos únicos, os invasores descobrem novos vetores e as empresas continuam a ampliar as implantações de IA sem as proteções adequadas ao seu perfil de ameaças distinto. Compreender por que nossas abordagens atuais são insuficientes é o primeiro passo essencial para preencher essa lacuna. Pesquisa, metodologia e conclusões Para entender melhor como diminuir a lacuna entre a nova IA e a segurança cibernética, minha empresa, a Canonical, o Google e a IDC realizaram uma pesquisa com 500 executivos em todo o mundo, abrangendo as áreas de finanças, saúde, manufatura e tecnologia. Os entrevistados incluíram CIOs, CISOs, CTOs e diretores de IA. A pesquisa investigou práticas atuais, pontos cegos e riscos percebidos, abrangendo estruturas, IA oculta e a grave escassez de talentos. Para complementar os dados, conversamos diretamente com CIOs, CISOs e líderes de IA. Essas conversas revelaram a dinâmica organizacional, as lacunas conceituais e as restrições diárias que moldam as decisões do mundo real sobre segurança de IA. Por fim, recriamos implantações de IA empresarial em ambientes controlados. Ao testar cenários como dados corrompidos, prompts adversários, drivers comprometidos e aceleradores vulneráveis, observamos as vulnerabilidades em primeira mão, baseando nossa análise em evidências empíricas. Para transformar essa complexidade em insights acionáveis, estruturamos nossas descobertas usando a Estrutura de Gerenciamento de Riscos de IA (AI RMF) do NIST. Essa estrutura oferece quatro funções orientadoras (governar, mapear, medir, gerenciar) que, juntas, formam um manual prático para gerenciar riscos de IA. Alinhar nossos resultados com esse modelo nos permitiu mostrar aos executivos não apenas quais são os riscos, mas também como reduzi-los sistematicamente. Em todas as três camadas de pesquisa, uma conclusão se destacou: a segurança da IA não é principalmente um problema de aplicação. É um problema de infraestrutura e cadeia de suprimentos. Embora as proteções de aplicação continuem sendo necessárias, elas são insuficientes por si só. As verdadeiras vulnerabilidades, que exploraremos na próxima seção (dados corrompidos, manipulação adversária, aceleradores comprometidos e explorações no nível do sistema), residem na base da pilha de IA. Para os executivos, a implicação é clara: proteger a IA requer uma mudança fundamental de foco, passando de correções superficiais para o fortalecimento da arquitetura subjacente e dos processos gerenciais que tornam a IA possível. Novos riscos que os executivos devem abordar Poucos líderes empresariais percebem como a IA pode ser facilmente usada contra as próprias organizações que a implementam. Estão surgindo novas formas de ataques que têm como alvo os sistemas de IA em suas bases (desde os dados com os quais aprendem até o hardware em que são executados), expondo as empresas a riscos silenciosos e sistêmicos. Entre eles estão: Contaminação de dados. A corrupção deliberada dos dados de treinamento de uma IA permite que invasores insiram informações falsas ou tendenciosas nos dados de treinamento de uma IA, distorcendo os resultados de maneiras que podem permanecer invisíveis até que as decisões se tornem catastróficas. Alimentar uma IA financeira com dados comerciais contaminados pode levá-la a posições desastrosas, enquanto uma IA de saúde exposta a imagens médicas manipuladas pode diagnosticar pacientes incorretamente. Em ambos os casos, os dados corrompidos prejudicam silenciosamente a integridade das decisões e a confiança da empresa. Prompts adversários. Outra ameaça crescente são os prompts que induzem os modelos a violar seus próprios limites, seja vazando detalhes confidenciais de um caso de uma IA jurídica ou gerando resultados maliciosos. O resultado não é apenas uma falha técnica, mas uma crise de reputação e conformidade. Ataques de inversão de modelo. Eles ocorrem quando hackers extraem dados confidenciais de treinamento ou até mesmo reconstroem algoritmos proprietários. Para organizações que dependem de modelos ou conjuntos de dados exclusivos como propriedade intelectual, isso representa um roubo direto de vantagem competitiva. Cada um desses riscos representa não apenas uma vulnerabilidade técnica, mas uma ameaça direta à resiliência, confiança e conformidade da empresa. No entanto, a superfície de ameaça se estende muito além dos próprios modelos. As empresas estão rapidamente ampliando a IA por meio de provedores de nuvem, contando com hardware especializado, como GPUs e TPUs, para acelerar as cargas de trabalho. Aqui reside um ponto cego perigoso: os padrões de segurança em nuvem atuais são projetados para proteger aplicativos, não os aceleradores e hipervisores subjacentes (o software da camada do sistema) que alimentam as cargas de trabalho de IA. A autenticação e a criptografia robustas oferecem pouco conforto se um driver ou camada de firmware for comprometido. Um invasor operando nesse nível pode silenciosamente extrair dados confidenciais da memória ou contornar completamente os controles no nível do aplicativo. Sem proteções mais explícitas nessa camada, as empresas correm o risco de construir sua estratégia de IA sobre bases instáveis. Considere a história de“Pal”, um desenvolvedor sênior de um banco global. Sua equipe protegeu meticulosamente o principal aplicativo web da instituição: revisão completa do código, testes de penetração, autenticação multifatorial e criptografia robusta. No entanto, mesmo esse rigor não ofereceu defesa quando o aplicativo foi implantado em terminais ou servidores corporativos comprometidos. Um keylogger oculto no sistema operacional podia capturar credenciais silenciosamente, enquanto o software da camada do sistema podia contornar todas as proteções do aplicativo para vazar dados de clientes. A lição para os executivos é clara: mesmo aplicativos rigorosamente protegidos ficam indefesos se implantados em uma infraestrutura comprometida. Nossa pesquisa destaca quatro imperativos inegociáveis para executivos que enfrentam as realidades da segurança da IA. Não se trata de melhorias opcionais aos manuais existentes. Eles exigem uma reformulação completa de como as organizações percebem o risco e a resiliência em uma economia impulsionada pela IA. 1. A infraestrutura de IA é a verdadeira superfície de ataque A mudança mais urgente é reconhecer que o risco real não está nas aplicações de IA com as quais os usuários interagem, mas na infraestrutura especializada (GPUs, TPUs, drivers, firmware e dispositivos de ponta) que as alimenta. Muitos líderes estendem as práticas tradicionais de segurança centradas em aplicações às implantações de IA, deixando a base vulnerável. Considere uma organização de saúde que criptografou seus dados e fortaleceu seu aplicativo de diagnóstico, mas acabou sendo comprometida por meio de uma exploração de firmware de GPU de ponta. Os invasores contornaram as proteções do aplicativo, acessaram dados confidenciais de pacientes na memória da GPU e provocaram uma paralisação operacional completa. A confiança evaporou da noite para o dia. Riscos semelhantes se espalham por todos os setores: empresas financeiras correm o risco de manipulação de algoritmos, fabricantes enfrentam linhas de produção paralisadas e instituições públicas correm o risco de paralisação dos serviços. Os líderes devem recalibrar suas prioridades: tratar a infraestrutura de IA como essencial à missão, formar equipes de segurança dedicadas e estender os princípios de confiança zero a toda a pilha de IA. 2. Ferramentas convencionais não se traduzem Os controles de segurança convencionais, projetados para software determinístico, não conseguem acompanhar as cargas de trabalho complexas e orientadas por dados da IA. Quando aplicados sem adaptação, eles deixam pontos cegos perigosos. Uma empresa de segurança cibernética aprendeu isso da maneira mais difícil: após adotar o serviço de IA proprietário de um grande provedor de nuvem, ela se viu incapaz de auditar as salvaguardas subjacentes ou replicar o serviço em outro lugar. Eles não conseguiram reconstruir um serviço de IA semelhante em seu próprio data center, nem encontrar um serviço comparável em outros fornecedores de nuvem. Presos em uma “caixa preta”, eles herdaram riscos desconhecidos que não podiam verificar ou mitigar por meio de medidas tradicionais de segurança da TI. A lição para os executivos é clara: rejeite a confiança cega em serviços de IA opacos, exija transparência e portabilidade e priorize estruturas abertas que permitam a validação independente. Estratégias híbridas que combinam defesas no nível do aplicativo com monitoramento no nível da infraestrutura não são mais opcionais, mas essenciais. 3. Reforçar as cadeias de abastecimento mais importantes A segurança da IA depende de duas cadeias de abastecimento frágeis e interdependentes: talentos especializados e infraestrutura segura. Ambas estão sob forte pressão, criando gargalos decisivos para as organizações. O desafio de talentos é grande: defender a IA requer conhecimento híbrido em segurança cibernética e aprendizado de máquina, um conjunto de habilidades concentrado em apenas algumas grandes empresas de tecnologia. Ao mesmo tempo, o gargalo da infraestrutura está se aprofundando. A demanda por GPUs, redes de alta velocidade e modelos de terceiros rigorosamente avaliados supera consistentemente a oferta, expondo as empresas a dependências críticas. Considere um banco global que adiou a implementação crítica de um sistema de detecção de fraudes, não porque o modelo falhou, mas porque suas cadeias de suprimentos falharam. A organização de RH não possuía um canal robusto para candidatos a operações de IA com foco em segurança e carecia de um plano de remuneração competitivo para atrair especialistas escassos. Para agravar a escassez de talentos, o banco se viu em uma lista de espera por servidores de computação de alto desempenho de um grande fornecedor de nuvem, um lembrete gritante de que a capacidade de computação segura pode ser tão escassa quanto pessoas qualificadas. Essas falhas expõem o quão frágeis podem ser as cadeias de suprimentos de IA: dependências ocultas em software/hardware básico podem atrapalhar até mesmo planos bem elaborados. Problemas básicos, como atrasos em patches de sistema operacional ou driver de GPU, podem deixar gerações inteiras de GPUs vulneráveis ou inutilizáveis, transformando uma pequena atualização em uma interrupção em todo o programa. Os líderes não podem tratar essas questões como secundárias. Eles devem investir em treinamento cruzado e recrutamento direcionado, estabelecer remuneração alinhada ao mercado e canais para talentos em operação e segurança de IA, além de formar parcerias estratégicas com fornecedores confiáveis de hardware e software. Ao mesmo tempo, diversificar as fontes de infraestrutura, priorizar SLAs contratuais para segurança e patches e mapear rigorosamente todas as dependências na pilha de IA (de fontes de dados a drivers e firmware), para que a organização possa antecipar e absorver os choques da cadeia de suprimentos, em vez de ser prejudicada por eles. 4. Aproveitar a IA para defender a IA O paradoxo da era da IA é que a própria tecnologia que introduz riscos sem precedentes também oferece novas e poderosas vias de defesa. A capacidade da IA de analisar vastos conjuntos de dados e identificar padrões complexos torna-a especialmente adequada para reforçar a segurança da própria infraestrutura de IA. Por exemplo, a IA pode monitorar continuamente as cargas de trabalho da GPU em busca de anomalias no uso de memória ou energia, sinalizando possíveis ataques ou mau funcionamento antes que se espalhem. Ela também pode analisar os dados do sistema para prever problemas de integridade do driver ou do sistema operacional, oferecendo alertas antecipados sobre possíveis vulnerabilidades. Esse poder se estende à defesa proativa: considere uma start-up que utiliza agentes de IA para examinar ambientes de software criados por clientes, identificando e corrigindo vulnerabilidades em tempo real, ao mesmo tempo em que garante que os componentes de software estejam alinhados com as necessidades, evitando atualizações desnecessárias e a remoção de componentes essenciais. Ao incorporar a IA em estratégias defensivas (tanto para monitoramento de infraestrutura quanto para segurança de aplicativos), as organizações podem fazer a transição de controles estáticos baseados em regras para sistemas adaptativos que priorizam riscos de maneira inteligente. Os executivos não devem tratar a segurança habilitada por IA como experimental. Ela deve ser fundamental para a defesa da empresa, com equipes treinadas e capacitadas para operacionalizá-la em escala. . . . A IA está rapidamente se tornando fundamental para a vantagem competitiva, mas seus riscos de segurança são diferentes de tudo que as empresas já enfrentaram antes. Os CEOs e conselhos administrativos devem reconhecer que a segurança cibernética convencional não se estende à camada de infraestrutura onde a IA realmente reside. O risco estratégico é claro: uma infraestrutura insegura pode comprometer os próprios sistemas de IA dos quais as empresas dependem, minar a confiança dos clientes e criar exposição regulatória e reputacional. A oportunidade perdida é igualmente significativa: os líderes que protegem proativamente suas implantações de IA podem agir mais rapidamente, inovar com confiança e construir confiança em um mercado cada vez mais cauteloso com os riscos da IA. A segurança da IA não pode ser uma consideração secundária. Ela deve ser incorporada à estratégia de infraestrutura, governança e canais de talentos desde o início. Somente assim as organizações poderão colher os benefícios da IA sem se expor a vulnerabilidades ocultas.

Pesquisa: A segurança cibernética convencional não protege sua IA

Resumo.

Partner Center