Como reduzir a equipe de um modelo de IA generativa

Nos últimos meses, governos de todo o mundo começaram a convergir em torno de uma solução para gerenciar os riscos da IA generativa: a formação de equipes vermelhas. No final de outubro, o governo Biden divulgou sua abrangente ordem executiva sobre TI. Entre suas exigências mais importantes está a de que determinados modelos de IA generativa de alto risco passem por uma "equipe vermelha", que é definida livremente como "um esforço de teste estruturado para encontrar falhas e vulnerabilidades em um sistema de TI". Isso aconteceu alguns meses depois que a administração organizou um evento formal de equipe vermelha de IA que atraiu milhares de hackers. O foco na formação de equipes vermelhas é um desenvolvimento positivo. A formação de equipes vermelhas é uma das maneiras mais eficazes de descobrir e gerenciar os riscos da IA generativa. No entanto, há várias barreiras importantes para a implementação da equipe vermelha na prática, incluindo o esclarecimento do que realmente constitui uma equipe vermelha, a padronização do que essa equipe faz ao testar o modelo e a especificação de como as descobertas são codificadas e divulgadas após o término do teste. Cada modelo tem uma superfície de ataque, vulnerabilidades e ambientes de implementação diferentes, o que significa que não haverá dois esforços de equipe vermelha exatamente iguais. Por esse motivo, a formação de equipes vermelhas consistentes e transparentes tornou-se um desafio central na implementação da IA generativa, tanto para os fornecedores que desenvolvem modelos fundamentais quanto para as empresas que ajustam e colocam esses modelos em uso. Este artigo tem o objetivo de abordar essas barreiras e resumir minha experiência na formação de equipes vermelhas em vários sistemas de IA generativa diferentes. Meu escritório de advocacia, Luminos.Law, que é formado conjuntamente por advogados e cientistas de dados, concentra-se exclusivamente no gerenciamento de riscos de IA. Depois de sermos contratados para formar uma equipe vermelha com alguns dos modelos de IA generativa mais conhecidos e amplamente adotados, descobrimos o que funciona e o que não funciona ao formar uma equipe vermelha com IA generativa. Veja a seguir o que aprendemos. O que é IA generativa de equipe vermelha? Apesar do entusiasmo crescente em relação à atividade, não há um consenso claro sobre o que significa, na prática, a IA generativa da equipe vermelha. Isso apesar do fato de algumas das maiores empresas de tecnologia terem começado a adotar publicamente o método como um componente essencial da criação de uma IA geradora confiável. O termo em si foi popularizado durante a Guerra Fria e começou a ser formalmente integrado aos esforços de planejamento de guerra do Departamento de Defesa dos EUA. Em exercícios de simulação, as chamadas equipes vermelhas eram encarregadas de agir como o adversário soviético (daí o termo "vermelho"), enquanto as equipes azuis eram encarregadas de agir como os Estados Unidos ou seus aliados. À medida que os esforços de segurança da informação amadureceram ao longo dos anos, a comunidade de segurança cibernética adotou a mesma linguagem, aplicando o conceito de equipes vermelhas aos testes de segurança para sistemas de software tradicionais. O red teaming da IA generativa é muito diferente do red teaming de outros sistemas de software, incluindo outros tipos de IA. Ao contrário de outros sistemas de IA, que normalmente são usados para tomar uma decisão, como quem contratar ou qual classificação de crédito alguém deve ter, os sistemas de IA generativa produzem conteúdo para seus usuários. A interação de qualquer usuário com um sistema de IA generativa pode criar um grande volume de texto, imagens ou áudio. Os danos que os sistemas de IA generativa criam são, em muitos casos, diferentes de outras formas de IA, tanto no escopo quanto na escala. A IA generativa das equipes vermelhas é projetada especificamente para gerar conteúdo nocivo que não tem um análogo claro nos sistemas de software tradicionais - desde a geração de estereótipos degradantes e imagens gráficas até a mentira pura e simples. Na verdade, os danos que as equipes vermelhas tentam gerar são mais comumente associados aos seres humanos do que ao software. Na prática, isso significa que as maneiras pelas quais as equipes vermelhas interagem com os próprios sistemas de IA generativa são únicas: Elas devem se concentrar na geração de prompts maliciosos, ou entradas no modelo, além de testes usando códigos mais tradicionais para testar a capacidade do sistema de produzir comportamentos prejudiciais ou inadequados. Há várias maneiras de gerar esses tipos de prompts maliciosos, desde alterar sutilmente os prompts até simplesmente pressionar o modelo para que gere resultados problemáticos. A lista de maneiras de atacar efetivamente a IA generativa é longa e aumenta a cada dia. Quem deve formar uma equipe vermelha para a IA? Assim como a própria definição de equipe vermelha, não há um consenso claro sobre como cada equipe vermelha deve ser formada. Por esse motivo, uma das primeiras questões que as empresas devem abordar é se a equipe vermelha deve ser interna ou externa à empresa. Empresas, incluindo o Google, que criaram suas próprias equipes vermelhas de IA, agora defendem equipes vermelhas internas, nas quais funcionários com vários tipos de especialização simulam ataques ao modelo de IA. Outras, como a OpenAI, adotaram o conceito de equipes vermelhas externas, chegando ao ponto de criar uma rede externa para incentivar a participação de membros externos. Determinar como as equipes vermelhas de IA devem ser constituídas é uma das tarefas que o governo Biden atribuiu aos chefes das agências federais, que devem responder a essa pergunta no próximo ano em um relatório a ser publicado. Então, o que dizemos aos nossos clientes? Para começar, não existe uma solução única para a criação de equipes vermelhas para IA generativa. Aqui estão algumas diretrizes gerais. Devido à grande escala dos sistemas de IA que muitas empresas estão adotando, seria impossível criar uma equipe vermelha completa para cada um deles. Por esse motivo, a chave para uma equipe vermelha eficaz está na triagem de cada sistema quanto ao risco. Dizemos aos nossos clientes que devem atribuir diferentes níveis de risco a diferentes modelos, com base, por exemplo, na probabilidade de ocorrência do dano, na gravidade do dano, caso ele ocorra, ou na capacidade de retificar o dano assim que ele for detectado. (Essas são métricas comumente aceitas para definir o risco.) Níveis de risco diferentes podem ser usados para orientar a intensidade de cada esforço de equipe vermelha: o tamanho da equipe vermelha, por exemplo, ou o grau em que o sistema é testado, ou mesmo se é testado. Usando essa abordagem, os modelos de menor risco devem ser submetidos a testes menos rigorosos. Outros modelos podem exigir testes internos, mas nenhuma revisão de especialistas externos, enquanto os sistemas de maior risco normalmente exigem equipes vermelhas externas. As partes externas focadas na equipe vermelha de IA geradora de IA provavelmente terão níveis mais altos de experiência em equipe vermelha e, portanto, poderão descobrir mais vulnerabilidades. As revisões externas podem demonstrar um padrão razoável de cuidado e também reduzir a responsabilidade, documentando que partes externas assinaram o sistema de IA generativa. Objetivos de degradação É extremamente importante entender quais são os danos que as equipes vermelhas devem visar. Selecionamos o que chamamos de "objetivos de degradação" para orientar nossos esforços e começamos nossa equipe vermelha avaliando quais tipos de comportamento prejudicial do modelo gerarão a maior responsabilidade. Os objetivos de degradação são tão importantes porque, a menos que sejam claramente definidos e mapeados para as responsabilidades mais significativas que cada sistema apresenta, o red teaming quase sempre não é bem-sucedido ou, na melhor das hipóteses, é incompleto. De fato, sem uma organização adequada, o red teaming é frequentemente conduzido sem um plano coordenado para gerar danos específicos, o que leva a ataques ao sistema e a nenhuma conclusão estratégica clara e acionável. Embora esse tipo de red teaming possa criar a aparência de testes abrangentes, esse tipo de sondagem desorganizada pode ser contraproducente, criando a impressão de que o sistema foi totalmente testado quando ainda existem grandes lacunas. Juntamente com uma avaliação clara dos riscos e responsabilidades, também é uma prática recomendada alinhar os objetivos de degradação com incidentes conhecidos de sistemas de IA geradores semelhantes. Embora existam várias maneiras diferentes de rastrear e comparar incidentes passados, o AI Incident Database é um ótimo recurso (e no qual confiamos muito). Aqui estão alguns objetivos comuns de degradação de nossos esforços anteriores de equipe vermelha: Ajudar os usuários a se envolverem em atividades ilícitas Os usuários podem tirar proveito dos sistemas de IA generativa para ajudar a realizar uma série de atividades prejudiciais e, em muitos casos, gerar uma responsabilidade significativa para as empresas que implantam o sistema de IA no processo. Se não houver salvaguardas suficientes contra esse tipo de comportamento de modelo, as empresas podem acabar compartilhando a responsabilidade pelo dano final. No passado, testamos danos que iam desde instruções para a fabricação de armas e drogas até o desempenho de contabilidade fraudulenta e a realização de campanhas automatizadas de hacking pelo modelo. Viés no modelo A IA em geral pode gerar ou perpetuar todos os tipos de preconceito, como já escrevi aqui antes, o que, por sua vez, pode levar a muitos tipos diferentes de responsabilidades de acordo com a lei antidiscriminação. A Comissão Federal de Comércio dos EUA dedicou muita atenção à questão da injustiça na IA nos últimos anos, assim como os legisladores, sinalizando que mais responsabilidades estão por vir nessa área. Os vieses podem surgir no resultado do modelo, como a representação injusta de diferentes grupos demográficos no conteúdo gerado pela IA, bem como no próprio desempenho do modelo, como o desempenho diferente para membros de diferentes grupos (falantes nativos de inglês versus falantes não nativos, por exemplo). Toxicidade A toxicidade na IA generativa surge com a criação de conteúdo ofensivo ou inadequado. Essa questão tem um longo histórico na IA generativa, como quando o chatbot Tay começou a gerar publicamente resultados racistas e sexistas. Como os modelos de IA generativa são moldados por grandes quantidades de dados extraídos da Internet - um lugar que não é conhecido por seu decoro -, o conteúdo tóxico atormenta muitos sistemas de IA generativa. Na verdade, a toxicidade é um problema tão grande que deu origem a um campo de estudo totalmente novo na pesquisa de IA, conhecido como "desintoxicação". Danos à privacidade Há uma série de maneiras pelas quais os modelos de IA generativa podem causar danos à privacidade. Às vezes, as informações de identificação pessoal estão contidas nos próprios dados de treinamento, que podem ser invadidos por usuários adversários. Outras vezes, informações confidenciais de outros usuários podem ser vazadas pelo modelo de forma não intencional, como ocorreu com o chatbot sul-coreano Lee Luda. Os modelos de IA generativa podem até mesmo violar diretamente as políticas de privacidade da empresa, como dizer falsamente aos usuários que eles têm acesso limitado aos seus dados e, assim, se envolver em fraudes. A lista de objetivos de degradação costuma ser longa, abrangendo desde os objetivos descritos acima até danos como violação de propriedade intelectual, violações contratuais e muito mais. Como os sistemas de IA generativa são implantados em um número cada vez maior de ambientes, desde a área de saúde até a área jurídica e financeira, essa lista provavelmente aumentará. Ataques à IA generativa Depois de determinarmos a composição da equipe vermelha, os passivos e os objetivos de degradação associados para orientar os testes, começa a parte divertida: atacar o modelo. Há uma grande variedade de métodos que as equipes vermelhas podem usar. Na Luminos.Law, dividimos nossos planos de ataque em duas categorias: manual e automatizado. Aqui, vamos nos concentrar principalmente nos ataques manuais, mas vale a pena observar que um grande número de pesquisas e ferramentas emergentes tornam os ataques automatizados uma parte cada vez mais importante da equipe vermelha. Há também muitos conjuntos de dados de código aberto diferentes que podem ser usados para testar esses sistemas.(Aqui está um documento que oferece uma visão geral de muitos desses conjuntos de dados). Uma estratégia de ataque eficaz envolve o mapeamento de cada objetivo para os ataques que consideramos mais prováveis de serem bem-sucedidos, bem como os vetores de ataque por meio dos quais planejamos testar o sistema. Os vetores de ataque podem ser "diretos", consistindo em interações relativamente curtas e diretas com o modelo, enquanto outros envolvem ataques mais complexos chamados de injeção indireta de prompt, em que códigos ou instruções maliciosos podem estar contidos em sites ou outros arquivos aos quais o sistema pode ter acesso. Embora a lista a seguir não inclua todas as técnicas que usamos, ela dá uma amostra de como gostamos de abordar os ataques durante a formação de equipes vermelhas: Injeção de código. Usamos códigos de computador ou prompt de entrada que se assemelham a códigos de computador para fazer com que o modelo gere resultados prejudiciais. Esse método é um dos nossos favoritos justamente porque tem uma taxa de sucesso surpreendentemente alta, como demonstrou recentemente um grupo de pesquisadores. Exaustão de conteúdo. Usamos grandes volumes de informações para sobrecarregar o modelo. Hipóteses. Instruímos o modelo a criar resultados com base em instruções hipotéticas que, de outra forma, acionariam controles de conteúdo. Prós e contras. Perguntamos sobre os prós e contras de tópicos controversos para gerar respostas prejudiciais. Interpretação de papéis. Orientamos o modelo a assumir o papel de uma entidade normalmente associada a declarações negativas ou controversas e, em seguida, induzimos o modelo a criar conteúdo prejudicial. Existem, é claro, dezenas de estratégias de ataque para sistemas de IA generativa, muitas das quais, na verdade, existem há anos. A metodologia de ataque de crowdsourcing, sempre que possível, também é uma prática recomendada na formação de equipes vermelhas, e há vários recursos on-line diferentes que as equipes vermelhas podem usar para se inspirar, como repositórios específicos do Github, onde os testadores refinam e compartilham ataques bem-sucedidos. O segredo de um teste eficaz está em mapear cada estratégia para o objetivo de degradação, o vetor de ataque e, é claro, fazer muitas anotações para que os ataques bem-sucedidos possam ser capturados e estudados posteriormente. Juntando tudo isso A formação de equipes vermelhas de IA generativa é complicada, geralmente envolvendo equipes diferentes, cronogramas concorrentes e muitos tipos diferentes de especialização. Mas as dificuldades que as empresas encontram não estão relacionadas apenas à formação da equipe vermelha, ao alinhamento das principais responsabilidades, à definição de objetivos claros de degradação e à implementação das estratégias de ataque corretas. Vemos uma série de outros problemas que muitas vezes atrapalham as empresas. Documentação Uma equipe vermelha bem-sucedida muitas vezes envolve o teste de centenas de estratégias de ataque. Se forem usados ataques automatizados, esse número pode chegar a milhares. Com tantas variáveis, estratégias de teste, membros da equipe vermelha e muito mais, pode ser difícil acompanhar as informações geradas e garantir que os resultados dos testes sejam digeríveis. Ter uma orientação clara não apenas sobre como testar, mas também sobre como documentar cada teste, é uma parte essencial do processo de formação de equipes vermelhas, embora muitas vezes negligenciada. Embora cada organização e equipe vermelha sejam diferentes, resolvemos esse problema para o nosso escritório de advocacia criando nossos próprios modelos personalizados para orientar nossos testes e apresentar nossa análise final aos nossos clientes. Saber que a documentação final está alinhada com as informações capturadas durante os testes em tempo real torna o processo de formação de equipes vermelhas muito mais eficiente. Privilégio legal Com tantas informações confidenciais sendo geradas entre os testadores e as equipes, entender onde e quando afirmar o privilégio legal é outra consideração importante, mas muitas vezes negligenciada. Muitas vezes, vemos possíveis responsabilidades sendo discutidas abertamente em locais como o Slack, o que torna essas informações passíveis de serem descobertas por partes adversárias caso ocorra uma supervisão externa, como uma investigação regulatória ou uma ação judicial. A última coisa que as empresas querem é aumentar seus riscos porque estavam trabalhando em equipe vermelha com seus modelos. Uma consideração importante é envolver os advogados e determinar cuidadosamente onde e como as informações sobre os resultados dos testes podem ser comunicadas. O que fazer com as vulnerabilidades Ter planos claros para lidar com as vulnerabilidades que os esforços de red teaming descobrem é outra parte central, mas frequentemente negligenciada, do processo de red teaming. Quem das equipes de produtos ou de ciência de dados é responsável por tomar providências? Eles se reúnem com a equipe vermelha diretamente ou por meio de um intermediário? Eles tentam corrigir as vulnerabilidades enquanto a equipe vermelha está ocorrendo ou devem esperar até o final do processo? Essas perguntas e muitas outras precisam ser abordadas antes da formação da equipe vermelha; caso contrário, a detecção de vulnerabilidades no modelo provavelmente criará muita confusão. Este artigo fornece apenas uma visão geral de alto nível de todas as considerações necessárias para o sucesso da IA generativa de red teaming. A TI é uma das formas mais eficazes de gerenciar os riscos complexos da tecnologia e, por esse motivo, os governos estão apenas começando a perceber os benefícios do red teaming. As empresas que apostam alto na IA generativa devem estar igualmente comprometidas com a formação de equipes vermelhas.

Como reduzir a equipe de um modelo de IA generativa

Resumo.

Partner Center