Os LLMs estão manipulando os usuários com artifícios retóricos

Eis um argumento já conhecido: complementar a inteligência humana com a IA — e a inteligência da IA com a humana — permitirá que as empresas impulsionem a produtividade sem comprometer os padrões de qualidade. Embora os modelos de linguagem de grande escala (LLMs) possam cometer erros e apresentar falhas, os riscos de erros podem ser compensados por profissionais bem treinados que participam do processo e validam os resultados da IA. De acordo com um estudo recente, no entanto, podemos estar superestimando nossa capacidade de verificar o conteúdo produzido pelos LLMs — e subestimando o quanto estamos vulneráveis a sermos manipulados por eles. Ao estudar como centenas de consultores da BCG interagiram com a IA em um ambiente controlado, os pesquisadores Steven Randazzo, Akshita Joshi, Katherine C. Kellogg, Hila Lifshitz, Fabrizio Dell’Acqua e Karim R. Lakhani descobriram que os LLMs utilizavam uma enxurrada de táticas retóricas para sobrecarregar os usuários humanos e convencê-los de que os resultados da IA estavam corretos — mesmo quando não estavam. Em vez de ser um colaborador neutro, eles identificaram a IA como um “persuasor poderoso” que “bombardeava” os usuários com argumentos para que aceitassem suas conclusões. Entrei em contato com os pesquisadores para que explicassem suas descobertas e o que elas poderiam significar para as empresas. Eles alertaram que as empresas podem estar estabelecendo barreiras de proteção que, na verdade, não as manterão seguras, cedendo involuntariamente decisões importantes à IA. (Nossa conversa foi levemente editada.) HBR: Existem três problemas comuns que as pessoas enfrentam ao trabalhar com IA: não compreender como a IA tomou uma decisão (opacidade), o ser humano envolvido no processo tornar-se excessivamente dependente da IA e baixar a guarda (complacência) e a IA cometer erros (precisão). O senhor afirma ter descoberto uma quarta barreira, o “bombardeio de persuasão”. O que é isso e por que motivo nos deve preocupar? Lifshitz: O “bombardeio de persuasão” ocorre quando um usuário diligente da IA generativa valida sua saída. Descobrimos que, quando profissionais verificavam os fatos e expunham possíveis erros da IA generativa, o modelo respondia “bombardeando” o usuário com múltiplas táticas persuasivas para defender sua resposta original. A questão mais profunda e preocupante que identificamos é que os modelos de linguagem de grande escala (LLMs) foram projetados com uma lógica orientada para a persuasão. Joshi: Imagine trabalhar com um colega júnior e identificar um erro em seu trabalho. Você pede que ele verifique novamente o que fez, e ele responde corrigindo o erro que você apontou. Seria de se esperar que a IA generativa reagisse de forma semelhante. No entanto, em nossa pesquisa com consultores de estratégia, descobrimos que, quando os usuários tentavam validar ou contestar o trabalho do modelo, este muitas vezes não reconsiderava. Em vez disso, reforçava ainda mais seu argumento. Isso é o que chamamos de “bombardeio de persuasão”. Kellogg: Isso é preocupante porque ataca justamente os mecanismos nos quais nos baseamos para exercer o julgamento em situações de incerteza — conhecimento especializado, ceticismo e engajamento. Transforma a validação engajada, a solução para os riscos de opacidade, complacência e imprecisão, em parte do problema. Quanto mais diligentemente os profissionais questionavam o modelo, mais material persuasivo recebiam. Randazzo: A maioria das organizações acredita ter resolvido os problemas de opacidade, dependência excessiva e precisão ao manter um ser humano no processo. Recentemente, estive em uma grande empresa farmacêutica que está investindo fortemente na transformação por IA. Em reunião após reunião, os líderes afirmavam: “É claro que manteremos um ser humano no ciclo”. Era quase um reflexo, como se a inserção de uma pessoa em algum ponto do fluxo de trabalho neutralizasse automaticamente o risco. Mas nosso estudo mostra que “a presença humana no processo” muitas vezes se torna uma frase vazia, em vez de uma medida de segurança planejada. Se os sistemas de IA se mostram mais assertivos quando desafiados — tornando-se mais estruturados, mais confiantes e retoricamente mais sofisticados —, isso cria um duplo desafio. No início, os resultados podem ser tão persuasivos que os usuários deixam de verificar. Posteriormente, quando eles verificam, a persuasão se intensifica. HBR: Como esse processo se desenrolou no estudo? O senhor estava trabalhando com consultores da BCG encarregados de resolver um problema de negócios. Como foi, na prática, o LLM com o qual eles estavam trabalhando se envolvendo em um “bombardeio de persuasão”? Lifshitz: Não se tratava de usuários casuais experimentando prompts. Eram 244 consultores da BCG trabalhando em um problema estratégico realista. Eles analisaram demonstrações financeiras e entrevistas com executivos de uma empresa fictícia e foram solicitados a recomendar onde o CEO deveria investir. Havia interpretações defensáveis e outras indefensáveis dos dados. Em primeiro lugar, há a questão de saber se as pessoas são suficientemente céticas em relação aos resultados da IA. Trata-se de profissionais treinados para analisar dados e testar recomendações sob pressão; no entanto, apenas 72 dos 244 tentaram ativamente validar os resultados da IA. Registramos mais de 4.300 prompts e respostas e identificamos 132 tentativas claras de validação: verificação de fatos, exposição de inconsistências ou contestação direta. Joshi: Quando as pessoas tentavam validar os resultados da IA, observamos um padrão notável. Quando um consultor pedia ao modelo para “verificar seu trabalho”, apontava uma falha ou discordava explicitamente, o modelo não reconsiderava de forma confiável. Em vez disso, ele se desculpava calorosamente, gerava uma nova análise, acrescentava comparações e chegava à mesma conclusão — agora envolta em uma fortaleza impenetrável de dados e retórica. Ao longo de 132 interações de validação, o padrão foi consistente: a validação desencadeou uma escalada da persuasão. Kellogg: O LLM recorreu a uma “bombardeio de persuasão”, reagindo às tentativas de validação dos consultores com estratégias retóricas crescentes e multifacetadas — intensificando alegações de credibilidade, argumentação lógica e alinhamento emocional — para levar os consultores a aceitar seu resultado original, em vez de revisá-lo. Lifshitz: O que significa que o próprio mecanismo no qual as organizações confiam — a validação ativa da IA — estava desencadeando a escalada retórica do LLM. HBR: Isso parece contrariar uma das principais críticas aos LLMs, que é a de que eles podem ser excessivamente bajuladores e concordar com os usuários de forma demasiado enfática, mesmo quando estes estão errados. De que forma a sua pesquisa altera a maneira como devemos pensar sobre os possíveis pontos de falha no uso desses sistemas? Joshi: A bajulação e o bombardeio de persuasão estão relacionados, mas não são a mesma coisa. A bajulação padrão é passiva e direcionada ao usuário. O modelo concorda com tudo o que o usuário parece querer, valida o seu enquadramento e o elogia. O “bombardeio de persuasão” é diferente. É orientado pelo modelo e tem caráter escalonável. Em vez de simplesmente concordar com o usuário, o modelo defende ativamente sua própria resposta anterior e intensifica sua argumentação quando questionado. Kellogg: Em vez de refutar as preocupações sobre a bajulação dos LLMs, nosso estudo mostra que a bajulação é apenas um dos modos da capacidade persuasiva mais ampla e adaptativa dos LLMs. Precisamos deixar de pensar nos LLMs como seguidores excessivamente complacentes e passar a reconhecê-los como persuasores sensíveis à interação, capazes de resistir, redirecionar e sobrepor-se ao julgamento humano. Joshi: Isso torna esse um modo de falha mais sofisticado e, de certa forma, mais preocupante. Um modelo que concorda sempre com você é relativamente fácil de ignorar. Um modelo que rebate com o que parece ser um raciocínio rigoroso, expresso com credibilidade e cordialidade, é muito mais difícil de detectar e resistir — especialmente sob pressão de tempo e quando o assunto é complexo. E os dois modos de falha podem reforçar-se mutuamente. O modelo pode validar suas suposições iniciais — isso é bajulação — e, então, quando você detecta uma falha e reage, ele muda para o modo de persuasão para defender sua conclusão. Lifshitz: Quando isso acontece, o risco não é apenas que o sistema concorde com demasiada facilidade ou argumente com demasiada veemência. É que ele abaixa suas defesas e, em seguida, sobrecarrega seu julgamento. A avaliação independente se deteriora. A responsabilização se torna difusa. E decisões inadequadas podem começar a parecer bem fundamentadas. HBR: Como as pessoas devem reagir quando acham que podem estar sendo vítimas de um “bombardeio de persuasão”? Como o senhor mencionou, existe todo um conjunto de práticas recomendadas para validar os resultados da IA, mas sua pesquisa sugere que elas podem ser inadequadas para esse problema. Então, o que elas devem fazer em vez disso? Lifshitz: À medida que a IA se torna cada vez mais integrada à tomada de decisões, o risco não é mais apenas o erro — é a influência. Esses sistemas não se limitam a gerar respostas; eles moldam o julgamento. Proteger o raciocínio profissional exige uma defesa deliberada: reconhecer a persuasão, transferir a validação para fora do ciclo conversacional e incorporar salvaguardas aos sistemas à medida que a IA se torna mais autônoma. Joshi: O primeiro passo é a conscientização. Os profissionais precisam de treinamento não apenas em como formular prompts, mas também em como identificar a persuasão. Existem sinais reconhecíveis. O modelo pede desculpas e, em seguida, reafirma sua conclusão com maior confiança. Ele inunda a conversa com novos dados que o senhor não solicitou. Ele imita sua linguagem e elogia sua perspicácia, ao mesmo tempo em que o conduz de volta ao ponto de partida. Ele passa de argumentos lógicos para argumentos de credibilidade quando questionado. Quando o modelo se torna mais elaborado ou mais defensivo após uma reação contrária, isso é um sinal para dar um passo atrás — possivelmente para sair do ciclo. Kellogg: Outra mudança útil é dar menos peso aos resultados apresentados com confiança, em vez de se sentir tranquilizado por eles. Em nossos dados, os sinais de alerta incluíam desculpas após questionamentos, seguidas de explicações mais longas e densas e dados adicionais que reforçavam seletivamente a mesma conclusão. Randazzo: O primeiro passo é aparentemente simples: vá com calma. Quando o modelo fica mais confiante após você questioná-lo, isso pode parecer um progresso. Mas, às vezes, o que melhorou foi a retórica, não o raciocínio. Se você se sentir mais convencido, mas não mais informado, isso é um sinal de alerta. Em segundo lugar, crie distância. Afaste-se da conversa. Volte aos dados originais. Realize verificações independentes. Trate o resultado como uma hipótese preliminar e submeta-a deliberadamente a testes de estresse. Por fim, solicite o contra-argumento mais forte. Por exemplo: “Quais premissas teriam de ser falsas para que a recomendação falhasse?” Joshi: E, fundamentalmente, a validação precisa ocorrer fora da conversa. Quando você pede ao modelo para verificar seu próprio raciocínio, está dando a ele outra oportunidade de persuadir. A verdadeira validação requer evidências independentes: dados de origem, uma segunda análise por parte de colegas, cruzamento de fontes. Kellogg: No âmbito organizacional, um segundo modelo encarregado especificamente da crítica pode introduzir um atrito que os indivíduos talvez não consigam sustentar por conta própria. Lifshitz: Em outras palavras, a solução não é se afastar da IA, mas interagir de maneira diferente — com atrito estrutural e julgamento consciente. HBR: Que conselho o senhor daria aos líderes que atualmente estão pedindo a seus funcionários que utilizem mais a IA e em mais aspectos de suas funções? Como eles deveriam repensar o papel que a IA deve desempenhar em suas organizações e para que ela deve ser utilizada? Lifshitz: O desafio da liderança não se resume mais apenas à questão de adotar ou não a IA, mas também à forma de controlar sua influência. À medida que esses sistemas se tornam mais integrados ao trabalho cotidiano e mais capazes de moldar o julgamento, os líderes enfrentam três responsabilidades: 1) desenvolver capacidades sem cair na complacência, 2) garantir a prestação de contas em decisões de alto risco e 3) redesenhar os fluxos de trabalho à medida que a IA passa de ferramenta a agente. Kellogg: Os líderes devem, sem dúvida, incentivar a experimentação. A única maneira de os funcionários aprenderem a aproveitar os LLMs é utilizá-los em mais aspectos de suas funções, para verificar o que funciona e o que não funciona, e o que funciona hoje mas não funcionava ontem. O que os líderes não devem fazer é exigir que seus funcionários utilizem os LLMs em áreas nas quais estes os considerem imprecisos ou ineficazes. Além disso, os líderes devem intervir no nível do sistema, em vez de confiar apenas na vigilância individual. Forneçam modelos que ofereçam links para as fontes. Configurem os modelos para fazer perguntas e apresentar contra-exemplos, em vez de simplesmente gerar respostas definitivas. Os líderes também não devem tratar todos os funcionários como iguais. Os novatos tendem a ser mais facilmente persuadidos por respostas fluentes. Portanto, os líderes devem exigir que eles demonstrem proficiência na execução manual de tarefas específicas antes de lhes conceder acesso a modelos de linguagem de grande escala (LLMs) para essas tarefas — e não devem permitir que os novatos sejam os árbitros finais da correção em contextos de alto risco. Joshi: Os líderes também precisam enfrentar uma questão mais difícil: a responsabilização. A responsabilidade profissional assenta no pressuposto de que o julgamento é genuinamente próprio. Se um profissional chega a uma conclusão após um sistema ter defendido ativamente a sua posição — intensificando a sua retórica diante de resistências —, em que sentido significativo esse julgamento foi realmente seu? Quando as coisas dão errado em áreas de alto risco, a quem cabe a decisão? As estruturas profissionais e de governança existentes não foram concebidas para responder a essa pergunta. Randazzo: A questão do ano passado era: “Como utilizamos a IA generativa?” A questão deste ano é: “Como implementamos agentes de IA?” Os líderes precisam agora ir além da adoção e começar a pensar na arquitetura dos fluxos de trabalho e no julgamento. E, neste momento, existe alguma confusão sobre como fazer isso de forma segura e responsável. Recentemente, trabalhei com uma empresa financeira mapeando fluxos de trabalho para determinar onde os agentes poderiam operar de forma autônoma, onde os humanos interviriam e onde eles colaborariam. Em vários momentos, perguntei: “Por que manter o ser humano ali?” A resposta foi consistente: “Manteremos uma verificação humana por enquanto. Assim que nos sentirmos confortáveis, automatizaremos o processo.” Isso parece prudente. Mas pressupõe que a verificação humana esteja funcionando como uma salvaguarda significativa. Usamos a expressão “human in the loop” da mesma forma que dizemos “use o cinto de segurança”. Ela é sinônimo de segurança. Mas um cinto de segurança só funciona se for usado corretamente. Da mesma forma, a presença humana no ciclo só protege a organização se essa pessoa tiver uma sólida “higiene de IA” — o desenvolvimento e a manutenção contínuos de suas próprias habilidades em IA, incluindo a capacidade de reconhecer quando o sistema passa da análise para a persuasão. Em fluxos de trabalho baseados em agentes, a persuasão pode surgir no meio do processo ou na fase final de saída, quando o ser humano se depara apenas com um resultado polido e confiante. Se esse resultado se tornar mais autoritário sob escrutínio, a verificação humana pode não ser neutra. A IA pode ser extremamente valiosa como parceira na elaboração de propostas, mecanismo de síntese, geradora de hipóteses ou exploradora de cenários. Mas quando ela começa a influenciar decisões estratégicas, financeiras, regulatórias ou operacionais por meio de agentes autônomos, ela passa a moldar o julgamento. E há uma grande diferença entre usar a IA para gerar opções e permitir que ela molde o julgamento. À medida que a IA passa de ferramenta a agente, de assistente a participante nos fluxos de trabalho de decisão, os líderes devem ser explícitos quanto ao seu papel. A liderança precisa perguntar: em que áreas nos sentimos confortáveis em permitir que um sistema retoricamente sofisticado influencie o julgamento organizacional? A IA deve ampliar o raciocínio. Ela não deve substituí-lo.

Os LLMs estão manipulando os usuários com artifícios retóricos

Resumo.

Partner Center