Precisamos de transparência nos algoritmos, mas o excesso pode ser um tiro pela culatra

Em 2013, o professor de Stanford, Clifford Nass, enfrentou uma revolta estudantil. Os alunos de Nass alegaram que os alunos de uma seção de seu curso de interface tecnológica receberam notas mais altas no exame final do que os colegas de outra seção. Infelizmente, eles estavam certos: dois assistentes de ensino diferentes haviam avaliado os exames das duas seções diferentes, e um deles havia sido mais brando do que o outro. Alunos com respostas semelhantes receberam notas diferentes. Nass, um cientista da computação, reconheceu a injustiça e criou uma solução técnica: um modelo estatístico simples para ajustar as pontuações, em que os alunos recebiam uma determinada porcentagem de aumento em sua nota final quando eram avaliados por um assistente de ensino conhecido por dar notas com uma porcentagem menor do que a média. Em um espírito de abertura, Nass enviou e-mails para a turma com uma explicação completa de seu algoritmo. Outras reclamações surgiram, algumas ainda mais irritadas do que antes. Onde ele havia errado? As empresas e os governos dependem cada vez mais de algoritmos para tomar decisões que afetam a vida e o sustento das pessoas, desde a aprovação de empréstimos até o recrutamento, a condenação legal e a admissão em faculdades. Decisões menos vitais também estão sendo delegadas a máquinas, desde resultados de pesquisas na Internet até recomendações de produtos, encontros para namoro e o conteúdo que aparece em nossos feeds de mídia social. Em resposta, muitos especialistas pediram regras e regulamentações que tornassem transparente o funcionamento interno desses algoritmos. Mas, como a experiência de Nass deixa claro, a transparência pode ser um tiro pela culatra se não for implementada com cuidado. Felizmente, há um caminho inteligente a seguir. Transparência e confiança Dois anos após os protestos na classe de Nass, René Kizilcec, um jovem estudante de doutorado de Stanford que havia trabalhado com Nass, decidiu realizar um estudo para analisar os efeitos da transparência das notas na confiança dos alunos. Ele usou a plataforma de curso on-line aberto e massivo (MOOC) Coursera, que, como muitos MOOCs, emprega a avaliação por pares para gerenciar um volume extraordinariamente alto de exames. O trabalho é feito, mas a avaliação por pares exacerba o problema do viés de avaliação, pois envolve um grande número de avaliadores com personalidades e tendências variadas. Centro de Insight Adotando a IA Patrocinado pelo SAS Como as empresas estão usando a inteligência artificial em suas operações comerciais. No estudo de Kizilcec, 103 alunos enviaram redações para serem avaliadas por colegas e receberam de volta duas notas: uma nota que representava a nota média dos colegas e uma nota "computada" que era o produto de um algoritmo que se ajustava à parcialidade. Alguns alunos foram informados: "Sua nota computada é X, que é a nota que o senhor recebeu de seus colegas". Outros receberam mais transparência - na verdade, um parágrafo inteiro explicando como a nota foi calculada, por que foram feitos ajustes (para levar em conta a "parcialidade e a precisão" dos colegas) e nomeando o tipo de algoritmo usado ("um algoritmo de maximização de expectativa com uma prévia"). Em seguida, foi solicitado aos dois grupos que classificassem sua confiança no processo. Os alunos também foram questionados sobre a nota que achavam que receberiam, e verificou-se que os níveis de confiança nos alunos cujas notas reais atingiram ou excederam essa estimativa não foram afetados pela transparência. Mas as pessoas cujas expectativas foram violadas - alunos que receberam notas mais baixas do que esperavam - confiaram mais no algoritmo quando receberam mais explicações sobre como ele funcionava. Isso foi interessante por dois motivos: confirmou uma tendência humana de aplicar maior escrutínio às informações quando as expectativas são violadas. E mostrou que a desconfiança que pode acompanhar resultados negativos ou decepcionantes pode ser aliviada se as pessoas acreditarem que o processo subjacente é justo. Mas como podemos conciliar essa descoberta com a experiência de Nass? Na verdade, Kizilcec testou três níveis de transparência: baixo e médio, mas também alto, em que os alunos recebiam não apenas um parágrafo explicando o processo de classificação, mas também suas pontuações brutas classificadas pelos colegas e como cada uma delas era ajustada com precisão pelo algoritmo para chegar a uma nota final. E foi aí que os resultados ficaram mais interessantes. No experimento, embora a transparência média tenha aumentado significativamente a confiança, a transparência alta a corroeu completamente, a ponto de os níveis de confiança serem iguais ou inferiores aos dos alunos que experimentaram a transparência baixa. Tornando a IA moderna transparente: Uma missão tola? O que as empresas devem levar desse experimento para casa? A TI sugere que a transparência técnica - revelando o código-fonte, as entradas e as saídas do algoritmo - pode gerar confiança em muitas situações. Mas a maioria dos algoritmos no mundo de hoje é criada e gerenciada por empresas com fins lucrativos, e muitas empresas consideram seus algoritmos como formas altamente valiosas de propriedade intelectual que devem permanecer em uma "caixa preta". Alguns legisladores propuseram um meio-termo, sugerindo que o código-fonte seja revelado aos reguladores ou auditores no caso de um problema sério, e que esse adjudicador garantirá aos consumidores que o processo é justo. Essa abordagem simplesmente transfere o ônus da convicção do próprio algoritmo para os órgãos reguladores. Essa pode ser uma solução palatável em muitas áreas: por exemplo, poucos de nós entendem completamente os mercados financeiros, por isso confiamos na SEC para assumir a supervisão. Mas em um mundo em que decisões grandes e pequenas, pessoais e sociais, estão sendo entregues a algoritmos, isso se torna menos aceitável. Outro problema com a transparência técnica é que ela torna os algoritmos vulneráveis a jogos. Se um instrutor libera o código-fonte completo de um algoritmo que avalia as redações dos alunos, fica fácil para os alunos explorarem brechas no código: talvez, por exemplo, o algoritmo busque evidências de que os alunos fizeram pesquisas procurando frases como "de acordo com pesquisas publicadas". Um aluno pode, então, usar deliberadamente essa linguagem no início de cada parágrafo de sua redação. Mas o maior problema é que a IA moderna está tornando o código-fonte - transparente ou não - menos relevante em comparação com outros fatores no funcionamento algorítmico. Especificamente, os algoritmos de aprendizado de máquina - e os algoritmos de aprendizado profundo em particular - geralmente são criados com apenas algumas centenas de linhas de código. A lógica dos algoritmos é aprendida principalmente com dados de treinamento e raramente é refletida em seu código-fonte. Ou seja, alguns dos algoritmos de melhor desempenho da atualidade costumam ser os mais opacos. A alta transparência pode envolver a compreensão de resmas e resmas de dados e, ainda assim, ser capaz apenas de adivinhar as lições que o algoritmo aprendeu com eles. É nesse ponto que o trabalho de Kizilcec se torna relevante - uma maneira de abraçar, em vez de se desesperar com a impenetrabilidade da aprendizagem profunda. Seu trabalho mostra que os usuários não confiarão em modelos de caixa preta, mas não precisam - ou mesmo querem - níveis extremamente altos de transparência. Isso significa que as empresas responsáveis não precisam se preocupar com a porcentagem do código-fonte a ser revelada ou como ajudar os usuários a "ler" conjuntos de dados enormes. Em vez disso, elas devem trabalhar para fornecer insights básicos sobre os fatores que impulsionam as decisões algorítmicas. IA explicável: o caminho a seguir Uma das seções mais importantes do inovador Regulamento Geral de Proteção de Dados (GDPR) da UE concentra-se no direito à explicação. Essencialmente, ela determina que os usuários possam exigir os dados por trás das decisões algorítmicas tomadas para eles, inclusive em sistemas de recomendação, sistemas de risco de crédito e seguro, programas de publicidade e redes sociais. Ao fazer isso, a TI combate a "ocultação intencional" por parte das empresas. Mas a TI não aborda os desafios técnicos associados à transparência nos algoritmos modernos. Nesse ponto, um movimento chamado IA explicável (xAI) pode ser útil. Os sistemas de xAI funcionam analisando vários inputs usados por um algoritmo de tomada de decisão, medindo o impacto de cada um dos inputs individualmente e em grupos e, por fim, informando o conjunto de inputs que teve o maior impacto na decisão final. Por exemplo, se um sistema desse tipo fosse aplicado a um algoritmo de classificação de ensaios, ele poderia analisar como as alterações em vários inputs, como conteúdo, contagem de palavras, nível de vocabulário, gramática ou fonte, afetaram a nota final e fornecer uma explicação como esta: Tim recebeu uma pontuação de 73 em sua redação. 49% da pontuação de Tim é explicada pela correspondência do conteúdo com os conceitos-chave listados no código de avaliação. 18% da pontuação é explicada pelo fato de a redação de Tim ter ultrapassado o limite de 1.000 palavras, mas não o limite de 1.300 palavras. 13% da pontuação é explicada pelo fato de que a redação do Tim mencionou documentos de fontes relevantes em contextos apropriados. O restante da pontuação de Tim é explicado por vários outros fatores menos significativos. Em algumas de nossas pesquisas em andamento, descobrimos que alcançar esse nível de transparência está bem dentro dos recursos dos métodos estatísticos e de aprendizado de máquina atuais. Esse tipo de análise poderia ajudar os engenheiros a contornar o problema da caixa preta - o problema de que eles mesmos nem sempre sabem o que está motivando as decisões de seus algoritmos de aprendizado de máquina. A TI identifica as relações entre as entradas e os resultados, identifica possíveis vieses e oferece caminhos para a correção de problemas. A TI também atingiria, para os usuários, o ponto ideal de transparência que Kizilcec identificou? Ainda é muito cedo para dizer. Enquanto isso, vale a pena lembrar que a criação de confiança no aprendizado de máquina e na análise exigirá um sistema de relacionamentos, no qual os reguladores, por exemplo, obtêm altos níveis de transparência e os usuários aceitam níveis médios. "Os dois lados são importantes", diz Kizilcec sobre como a transparência para auditores e usuários pode afetar a adesão. "Se acertarmos apenas um lado, não funcionará." Nota do editor: Devido a um erro de edição, uma versão anterior deste artigo indicava erroneamente o ano em que os alunos de Clifford Nass fizeram a reclamação sobre suas notas. Corrigimos o erro.

Precisamos de transparência nos algoritmos, mas o excesso pode ser um tiro pela culatra

Resumo.

Partner Center