Trazer valores humanos para a IA

A ideia em resumo O problema Os produtos e serviços utilizam cada vez mais a inteligência artificial para melhorar a eficiência e o desempenho, mas os resultados podem ser imprevisíveis, intrusivos, ofensivos e até perigosos. A solução As empresas precisam levar em conta o comportamento e os valores da IA em seus processos de inovação e desenvolvimento para garantir que coloquem no mercado ofertas habilitadas para IA que sejam seguras de usar e estejam alinhadas com os valores geralmente aceitos e específicos da empresa. Como proceder Este artigo identifica os seis principais desafios que os executivos e empreendedores enfrentarão e descreve como enfrentá-los. As empresas que agirem com antecedência para adquirir os recursos necessários os considerarão uma importante fonte de vantagem competitiva. Quando lançou o GPT-4, em março de 2023, a OpenAI destacou sua superioridade em relação ao seu já impressionante antecessor, dizendo que a nova versão era melhor em termos de precisão, capacidade de raciocínio e pontuação nos testes - todas essas são métricas de desempenho de TI usadas há algum tempo. No entanto, o mais impressionante foi a caracterização da GPT-4 pela OpenAI como "mais alinhada" - talvez a primeira vez que um produto ou serviço de TI tenha sido comercializado em termos de alinhamento com os valores humanos. A ideia de que a tecnologia deve estar sujeita a alguma forma de proteção ética está longe de ser nova. Norbert Wiener, o pai da cibernética, propôs uma ideia semelhante em um artigo seminal da Science de 1960, lançando toda uma disciplina acadêmica focada em garantir que as ferramentas automatizadas incorporem os valores de seus criadores. Mas somente hoje, mais de meio século depois, estamos vendo produtos incorporados à IA sendo comercializados de acordo com o grau de incorporação de valores como segurança, dignidade, justiça, meritocracia, inocuidade e utilidade, bem como medidas tradicionais de desempenho, como velocidade, escalabilidade e precisão. Esses produtos incluem tudo, desde carros autônomos até soluções de segurança, software que resume artigos, eletrodomésticos inteligentes que podem coletar dados sobre a vida cotidiana das pessoas e até mesmo robôs de companhia para idosos e brinquedos inteligentes para crianças. À medida que o alinhamento do valor da IA se torna não apenas um requisito regulatório, mas um diferencial de produto, as empresas precisarão ajustar os processos de desenvolvimento de seus produtos e serviços habilitados para IA. Este artigo procura identificar os desafios que os empreendedores e executivos enfrentarão para levar ao mercado ofertas que sejam seguras e alinhadas a valores nominais. As empresas que agirem com antecedência para enfrentar esses desafios obterão uma importante vantagem competitiva. Os desafios se enquadram em seis categorias, que correspondem aos principais estágios de um processo de inovação típico. Para cada categoria, apresentamos uma visão geral das estruturas, práticas e ferramentas que os executivos podem utilizar. Essas recomendações derivam de nossa pesquisa conjunta e individual sobre métodos de alinhamento de IA e de nossa experiência em ajudar as empresas a desenvolver e implantar produtos e serviços habilitados para IA em vários domínios, incluindo mídia social, assistência médica, finanças e entretenimento. A primeira tarefa é identificar as pessoas cujos valores devem ser levados em conta. Dado o impacto potencial da IA na sociedade, as empresas precisarão considerar um grupo mais diversificado de partes interessadas do que fariam ao avaliar outras características do produto. Isso pode incluir não apenas funcionários e clientes, mas também organizações da sociedade civil, formuladores de políticas, ativistas, associações do setor e outros. O quadro pode se tornar ainda mais complexo quando o mercado do produto abrange regiões geográficas com culturas ou regulamentações diferentes. As preferências de todas essas partes interessadas devem ser compreendidas e as divergências entre elas devem ser superadas. Esse desafio pode ser abordado de duas maneiras. Incorporar princípios estabelecidos. Nessa abordagem, as empresas se baseiam diretamente nos valores de teorias e sistemas morais estabelecidos, como o utilitarismo, ou naqueles desenvolvidos por instituições globais, como os princípios de IA da OCDE. Por exemplo, a start-up Anthropic, financiada pela Alphabet, baseou os princípios que orientam seu assistente de TI, Claude, na Declaração Universal dos Direitos Humanos das Nações Unidas. Outras empresas fizeram praticamente o mesmo; os princípios da BMW, por exemplo, se assemelham aos desenvolvidos pela OCDE. Articule seus próprios valores. Algumas empresas reúnem uma equipe de especialistas - tecnólogos, especialistas em ética, direitos humanos e outros - para desenvolver seus próprios valores. Essas pessoas podem ter um bom entendimento dos riscos (e oportunidades) inerentes ao uso da tecnologia. A Salesforce adotou essa abordagem. No preâmbulo de sua declaração de princípios, a empresa descreve o processo como "uma jornada de um ano de solicitação de feedback de colaboradores individuais, gerentes e executivos de toda a empresa em todas as organizações, incluindo engenharia, desenvolvimento de produtos, UX, ciência de dados, jurídico, igualdade, assuntos governamentais e marketing". Outra abordagem foi desenvolvida por uma equipe de cientistas da DeepMind, um laboratório de pesquisa de IA adquirido pelo Google em 2014. Essa abordagem envolve consultar clientes, funcionários e outras pessoas para obter princípios e valores de IA de forma a minimizar o viés de interesse próprio. A TI se baseia no "véu da ignorância", um experimento mental concebido pelo filósofo John Rawls, no qual as pessoas propõem regras para uma comunidade sem nenhum conhecimento de sua posição relativa nessa comunidade, o que significa que não sabem como as regras as afetarão. Os valores produzidos com a abordagem da DeepMind são menos orientados por interesses próprios do que seriam de outra forma, concentram-se mais em como a IA pode ajudar os mais desfavorecidos e são mais robustos, porque as pessoas geralmente os aceitam com mais facilidade. Além de estabelecer valores orientadores, as empresas precisam pensar em restringir explicitamente o comportamento de sua IA. Práticas como privacidade desde a concepção, segurança desde a concepção e outras semelhantes podem ser úteis nesse esforço. Ancoradas em princípios e ferramentas de avaliação, essas práticas incorporam o valor-alvo à cultura de uma organização e ao processo de desenvolvimento de produtos. Os funcionários das empresas que aplicam essas práticas são motivados a avaliar cuidadosamente e mitigar os possíveis riscos logo no início do projeto de um novo produto; a criar ciclos de feedback que os clientes possam usar para relatar problemas; e a avaliar e analisar continuamente esses relatórios. As plataformas on-line normalmente usam essa abordagem para fortalecer a confiança e a segurança, e alguns reguladores são receptivos a ela. Uma das principais defensoras dessa abordagem é Julie Inman Grant, comissária de segurança eletrônica na Austrália e veterana em políticas públicas no setor. Os sistemas de IA generativa precisarão de proteções formais escritas nos programas para que não violem os valores definidos ou cruzem as linhas vermelhas, por exemplo, acatando solicitações impróprias ou gerando conteúdo inaceitável. Empresas como a Nvidia e a OpenAI estão desenvolvendo estruturas para fornecer essas proteções. O GPT-4, por exemplo, é comercializado como tendo 82% menos probabilidade do que o GPT-3.5 de responder a solicitações de conteúdo não permitido, como discurso de ódio ou código para malware. Se os comportamentos e os dados de IA incluírem conteúdo potencialmente prejudicial, qualquer impacto psicológico sobre os revisores de conteúdo precisa ser considerado. As linhas vermelhas também são definidas por regulamentações, que evoluem. Em resposta, as empresas precisarão atualizar sua conformidade com a IA, que será cada vez mais divergente entre os mercados. Considere um banco europeu que deseja implementar uma ferramenta de IA generativa para melhorar as interações com os clientes. Até recentemente, o banco precisava estar em conformidade apenas com o Regulamento Geral de Proteção de Dados da UE, mas em breve precisará estar em conformidade também com a Lei de TI da UE. Se o banco quiser implantar a TI na China ou nos Estados Unidos, terá que observar as regulamentações locais. À medida que as regras locais mudam e que o banco fica sujeito a regulamentações em várias jurisdições, ele precisará adaptar sua IA e gerenciar requisitos potencialmente incompatíveis. Os valores, as linhas vermelhas, as proteções e as regulamentações devem ser integrados e incorporados à programação da IA para que as alterações nas regulamentações, por exemplo, possam ser inseridas e comunicadas automaticamente a todas as partes do programa de IA afetadas por elas. Em seguida, vem a identificação de como é a conformidade com os valores e o acompanhamento do progresso nesse sentido. Por exemplo, as mídias sociais e os mercados on-line têm se concentrado tradicionalmente no desenvolvimento de algoritmos de recomendação que maximizam o envolvimento do usuário. Mas como as preocupações com a confiança e a segurança aumentaram tanto para os usuários quanto para os órgãos reguladores, as plataformas de mídia social, como o Facebook (agora Meta) e o Snapchat, rastreiam não apenas o tempo gasto em suas plataformas, mas também o que os clientes estão vendo e fazendo nelas, a fim de limitar o abuso do usuário e a disseminação de material extremista ou terrorista. E as empresas de jogos on-line rastreiam a conduta dos jogadores, pois o comportamento agressivo pode ter um impacto negativo sobre a atratividade de seus jogos e comunidades. Nos últimos anos, temos visto as empresas lutarem para equilibrar privacidade com segurança, confiança com proteção, ajuda com respeito à autonomia dos outros e, é claro, valores com métricas financeiras de curto prazo. Por exemplo, as empresas que oferecem produtos para ajudar os idosos ou educar as crianças devem considerar não apenas a segurança, mas também a dignidade e a autonomia: Quando a IA não deve ajudar os usuários idosos de modo a fortalecer sua confiança e respeitar sua dignidade? Quando a TI deve ajudar uma criança para garantir uma experiência de aprendizado positiva? Uma maneira de abordar esse desafio é segmentar um mercado de acordo com seus valores. Por exemplo, uma empresa pode decidir se concentrar em um mercado menor que valoriza mais princípios como a privacidade do que, digamos, a precisão algorítmica. Esse é o caminho escolhido pelo mecanismo de busca DuckDuckGo, que limita a publicidade direcionada e prioriza a privacidade. A empresa se posiciona como uma alternativa para os usuários da Internet que não querem ser rastreados on-line. É particularmente difícil gerenciar o compromisso entre o tempo de entrada no mercado e o risco de desalinhamento de valores. Alguns comentaristas argumentaram que, para obter uma vantagem de pioneira, a OpenAI se apressou em trazer o ChatGPT para o mercado em novembro de 2022, apesar das barreiras de proteção indiscutivelmente fracas na época. Essas ações podem sair pela culatra: O Google perdeu quase US$ 170 bilhões em valor depois que seu chatbot Bard cometeu um erro público em um evento de lançamento em Paris. Embora todos os chatbots tendam a cometer erros semelhantes, relatórios internos sugeriram posteriormente que a pressão do Google por um lançamento rápido pode ter levado a falhas iniciais do produto. Devido aos desafios que enfrentam, os gerentes são forçados a fazer julgamentos com muitas nuances. Por exemplo, como eles decidem se determinado conteúdo gerado ou recomendado pela IA é prejudicial? Se um veículo autônomo por pouco não atinge um pedestre, isso é uma falha de segurança ou um sinal de que o sistema de segurança do veículo está funcionando? Nesse contexto, as organizações precisam estabelecer processos e canais de comunicação claros com as partes interessadas desde o início, para garantir feedback, alinhamento e aprendizado contínuos. Giulio Bonasera Um bom exemplo do que as empresas podem fazer, embora não especificamente focado em IA, é fornecido pela Meta. Em 2020, em meio à crescente preocupação do público sobre como as plataformas on-line moderam o conteúdo, a empresa estabeleceu seu Conselho de Supervisão para ajudá-la a tomar decisões orientadas por valores. O conselho é um grupo de pessoas independentes e experientes de vários países e origens que não apenas tomam algumas decisões difíceis, mas também ajudam a empresa a ouvir as opiniões de suas diversas partes interessadas. A gigante farmacêutica Merck e a empresa de telecomunicações francesa Orange, entre outras, também estão criando conselhos de vigilância ou comitês de supervisão para supervisionar seus esforços de IA. Em alguns casos, pode ser necessário estabelecer equipes formais de políticas de IA que monitorarão e atualizarão princípios, políticas e métricas relacionadas a valores para o comportamento da TI. (Para uma discussão sobre algumas das dificuldades que esses conselhos e comitês podem enfrentar, consulte "The Ethics of Managing People's Data", HBR, julho-agosto de 2023). Sam Altman, como CEO da OpenAI, compartilhou um desafio no podcast In Good Company : Quanta flexibilidade sua empresa deve dar a pessoas de diferentes culturas e sistemas de valores para personalizar os produtos da OpenAI? Ele estava se referindo a uma tendência em que as empresas pegam modelos pré-treinados, como GPT-4, PaLM, LaMDA e Stable Diffusion, e os ajustam para criar seus próprios produtos. Como observou Altman, o problema com isso é que os proprietários dos modelos básicos têm pouco ou nenhum controle sobre o que é feito com seus produtos. As empresas que adaptam os modelos têm um problema semelhante: como elas podem garantir que os novos produtos criados com modelos de terceiros estejam alinhados com os valores desejáveis - especialmente devido às limitações quanto ao ajuste fino que podem fazer? Somente os desenvolvedores dos modelos originais sabem quais dados foram usados para treiná-los, portanto, as empresas precisarão selecionar cuidadosamente seus parceiros de IA. Elas também precisam se alinhar com outros parceiros, como os fornecedores de dados de treinamento, que podem ter todos os tipos de vieses indesejáveis que podem infectar o produto final. Para resolver esses problemas, os desenvolvedores de IA talvez precisem estabelecer processos para avaliar modelos e dados externos de IA e descobrir os valores e os sistemas técnicos subjacentes dos possíveis parceiros antes de iniciar novas parcerias. (Isso pode ser semelhante à maneira como as empresas gerenciam os riscos potenciais dos parceiros em relação à sustentabilidade e às práticas de medição e gerenciamento das emissões do Escopo 3). Esse não é um jogo de uma só vez. À medida que a corrida entre modelos fundamentais poderosos se desenrola, as empresas podem mudar os modelos que usam para seus produtos ao longo do tempo. Elas descobrirão que os recursos de teste de IA e a due diligence eficaz em torno dos valores podem muito bem ser fontes de vantagem competitiva. A incorporação de valores na IA requer enormes quantidades de dados - muitos dos quais serão gerados ou rotulados por seres humanos, conforme observado anteriormente. Na maioria dos casos, esses dados vêm em dois fluxos: dados usados para treinar a TI e dados de feedback contínuo sobre seu comportamento. Para garantir o alinhamento de valores, é necessário estabelecer novos processos de feedback. Uma prática comum para fazer isso é chamada de "aprendizagem por reforço a partir do feedback humano" (RLHF), um processo pelo qual os resultados indesejáveis - como linguagem abusiva - podem ser minimizados pela contribuição humana. Os seres humanos analisam os resultados de um sistema de TI, como a classificação do currículo de alguém, a decisão de executar uma ação de navegação ou o conteúdo gerado, e os classificam de acordo com o grau de desalinhamento com determinados valores. A classificação é usada em novos dados de treinamento para aprimorar o comportamento da IA. Obviamente, uma decisão importante nessa abordagem é quem deve fornecer feedback e como. O RLHF pode ocorrer em vários estágios do ciclo de vida da IA, tanto antes quanto depois do lançamento de um produto. Nos estágios iniciais, os engenheiros podem fornecer feedback enquanto testam o resultado da IA. Outra prática é criar "equipes vermelhas", cuja função é levar a IA a um comportamento indesejável. As equipes vermelhas são amplamente utilizadas em outras áreas, como a segurança cibernética. Elas atuam como adversários e atacam um sistema para explorar se e como ele pode falhar. Embora essas equipes geralmente sejam internas a uma organização, as comunidades externas também podem ser aproveitadas. Por exemplo, em 2023, milhares de hackers se reuniram na principal conferência de segurança cibernética, a Def Con, para "atacar" grandes modelos de linguagem e identificar vulnerabilidades. Ensinar a TI a se comportar de acordo com determinados valores continua depois que ela é lançada. De muitas maneiras, a IA é como os seres humanos nesse aspecto: Independentemente de nossa educação formal, ajustamos continuamente nosso comportamento para nos alinharmos com os valores de nossas comunidades à luz do feedback. À medida que as pessoas usam a TI ou são afetadas por ela, podem observar comportamentos que parecem violar seus valores de marketing individualizados. Permitir que elas forneçam feedback pode ser uma fonte significativa de dados para aprimorar a IA. As plataformas on-line fornecem um exemplo de como estabelecer processos para o feedback do cliente. As empresas de mídia social e de jogos on-line, por exemplo, permitem que os usuários denunciem, com o clique de um botão, comportamentos ou conteúdos potencialmente suspeitos, sejam eles publicados por outros usuários, recomendados ou gerados por um algoritmo. Os moderadores de conteúdo, seguindo diretrizes detalhadas, analisam essas denúncias, decidem se o conteúdo deve ser removido da plataforma e apresentam os motivos de suas decisões. Ao fazer isso, eles desempenham efetivamente o papel de "anotadores de dados", rotulando os dados como violações de determinados valores ou termos de serviço. Seus rótulos são usados para aprimorar ainda mais as políticas da empresa e os algoritmos que ela usa. Se um veículo autônomo por pouco não atinge um pedestre, isso é uma falha de segurança ou um sinal de que o sistema de segurança do veículo está funcionando? Os vieses e as inconsistências dos anotadores também precisam ser gerenciados. As plataformas on-line estabeleceram processos de moderação de conteúdo e gerenciamento de qualidade, além de protocolos de escalonamento a serem usados quando for difícil decidir se determinado conteúdo ou comportamento viola as diretrizes. Ao estabelecer sistemas e práticas de feedback humano, as empresas devem garantir que tanto os dados de treinamento quanto os de RLHF representem diversos pontos de vista e culturas. Além disso, os funcionários e clientes devem entender como suas contribuições e feedback estão sendo usados e como as decisões de anotação são tomadas. Por exemplo, a Lei de Serviços Digitais da UE e outras regulamentações exigem que as plataformas on-line forneçam relatórios anuais transparentes sobre suas decisões de moderação de conteúdo. Por fim, se os comportamentos e os dados de IA incluírem conteúdo potencialmente prejudicial - o que pode ser um risco específico com a IA generativa -, qualquer impacto psicológico sobre os anotadores que revisam esse conteúdo precisa ser considerado. Em 2021, a Meta pagou US$ 85 milhões para resolver uma ação coletiva decorrente de danos psicológicos causados pela exposição de seus funcionários moderadores a imagens gráficas e violentas. Os programas de IA estão cada vez mais apresentando comportamentos inesperados. Por exemplo, uma ferramenta de simulação de IA usada em um experimento recente da Força Aérea dos EUA recomendou que o piloto de uma aeronave fosse morto para garantir que a missão da aeronave fosse executada corretamente. Em outro exemplo, o programa de jogo de Go, AlphaGo, inventou novos movimentos que os especialistas em Go consideraram "sobre-humanos e inesperados". Talvez o exemplo mais conhecido tenha sido o do chatbot Bing da Microsoft, que começou a apresentar um comportamento agressivo e até ameaçador em relação aos usuários logo após o lançamento, parando somente depois que a Microsoft reduziu significativamente a duração possível da conversa. Experiências imprevistas semelhantes aumentarão em frequência, especialmente porque o Chat GPT e outros grandes modelos de IA agora podem realizar tarefas para as quais não foram explicitamente programados, como traduzir de idiomas que não foram incluídos em nenhum dado de treinamento. Alguns comportamentos imprevisíveis podem ser induzidos, intencionalmente ou não, pelas interações dos usuários com produtos habilitados para IA. Esses produtos podem permitir versões extremas e hiperpersonalização por indivíduos e empresas que ajustam os modelos com dados de vários mercados. Dessa forma, inúmeras versões de um produto de TI podem ser criadas e personalizadas de acordo com a forma como cada usuário interage com ele. Garantir que todas essas versões permaneçam alinhadas e não apresentem novos comportamentos emergentes pode ser um desafio. Embora as práticas recomendadas, como testes rigorosos e formação de equipes vermelhas, possam diminuir esses riscos, pode ser impossível garantir que os produtos habilitados para TI não apresentem comportamentos inesperados depois de lançados. Uma situação paralela existe há muitos anos no setor farmacêutico. Não importa quantos recursos sejam gastos em testes clínicos, vários medicamentos aprovados são retirados do mercado todos os anos porque produzem efeitos colaterais não identificados antes do lançamento. É por isso que existe a "farmacovigilância", por meio da qual médicos e pacientes comunicam quaisquer efeitos colaterais de um medicamento a um órgão regulador ou a um fabricante de forma padronizada; uma análise estatística desses relatórios é desenvolvida e, eventualmente, se necessário, o medicamento é retirado do mercado. Da mesma forma, as empresas devem implementar processos robustos para detectar e melhorar comportamentos prejudiciais ou inesperados após o lançamento de um produto de IA. Os incidentes devem ser identificados, relatados pelos usuários ou por qualquer outra pessoa afetada e analisados pela empresa. As empresas podem precisar criar bancos de dados de incidentes de IA, como os que a OCDE e a Partnership on AI desenvolveram, para aprender e documentar constantemente como seus produtos de IA evoluem. A própria IA pode facilitar o monitoramento desses produtos durante o uso. Por exemplo, as empresas podem fazer com que um modelo de IA desafie outro com aprendizado contraditório. A abordagem é semelhante aos testes de pré-implantação e à formação de equipes vermelhas, mas esses são difíceis de dimensionar e não se aplicam a modelos de IA que são atualizados durante o uso, enquanto a aprendizagem contraditória permite o teste contínuo de qualquer número de versões de modelos de IA. Mais recentemente, as ferramentas para detecção de objetos fora de distribuição(OOD) foram usadas para ajudar a TI com coisas que ela nunca encontrou antes, como objetos que não são familiares a um veículo autônomo ou a um eletrodoméstico. O robô jogador de xadrez que agarrou a mão de uma criança porque confundiu a mão com uma peça de xadrez é um exemplo clássico do que pode acontecer. Essencialmente, o que as ferramentas de OOD fazem é permitir que a TI reconheça novas variáveis ou mudanças no ambiente, ajudando-a a "saber o que não sabe" e a se abster de agir em situações com as quais não foi treinada para lidar. As ferramentas baseadas em linguagem natural podem permitir que os clientes tenham um diálogo direto com os produtos habilitados para IA: À medida que os usuários apresentam desvios dos padrões de comportamento esperados, eles podem comunicar suas necessidades, intenções e feedback à IA em seu próprio idioma. Essas ferramentas permitem que as empresas adotem uma abordagem participativa e comunitária para garantir que seus produtos permaneçam alinhados com os valores essenciais. . . . Em um mundo em que o alinhamento dos valores da TI pode determinar os resultados competitivos e até mesmo se tornar um requisito para a qualidade do produto, é fundamental reconhecer os riscos e as oportunidades de diferenciação do produto e adotar novas práticas e processos para se manter à frente do jogo. Os clientes - e a sociedade de forma mais ampla - esperam que as empresas operem de acordo com determinados valores. Nesse novo mundo, elas não podem se dar ao luxo de lançar produtos e serviços habilitados para IA que se comportem mal.

Trazer valores humanos para a IA

Resumo.

Partner Center