Ruído: como superar o custo alto e oculto da tomada de decisões inconsistentes

A ideia em resumo O problema Muitas organizações esperam consistência de seus funcionários profissionais. No entanto, o julgamento humano é frequentemente influenciado por fatores irrelevantes, como o clima e o último caso visto. Mais importante ainda, as decisões geralmente variam de funcionário para funcionário. A variabilidade casual dos julgamentos é chamada de ruído e é surpreendentemente cara para as empresas. O ponto de partida Os gerentes devem realizar uma auditoria de ruído na qual os membros de uma unidade, trabalhando de forma independente, avaliam um conjunto comum de casos. O grau de variação de suas decisões é a medida do ruído. Em geral, ele será muito maior do que os executivos preveem. A solução A solução mais radical para um problema grave de ruído é substituir o julgamento humano por algoritmos. Os algoritmos não são difíceis de construir, mas muitas vezes são política ou operacionalmente inviáveis. Nesses casos, as empresas devem estabelecer procedimentos para ajudar os profissionais a obter maior consistência. Em uma empresa global de serviços financeiros com a qual trabalhamos, um cliente de longa data enviou acidentalmente o mesmo arquivo de solicitação para dois escritórios. Embora os funcionários que analisaram o arquivo devessem seguir as mesmas diretrizes - e, portanto, chegar a resultados semelhantes -, os escritórios diferentes enviaram cotações muito diferentes. Surpreso, o cliente entregou o negócio a um concorrente. Do ponto de vista da empresa, os funcionários com a mesma função deveriam ser intercambiáveis, mas, nesse caso, não eram. Infelizmente, esse é um problema comum. Em muitas organizações, os profissionais são designados arbitrariamente para casos: avaliadores em agências de classificação de crédito, médicos em salas de emergência, subscritores de empréstimos e seguros, entre outros. As organizações esperam consistência desses profissionais: Casos idênticos devem ser tratados de forma semelhante, se não idêntica. O problema é que os seres humanos não são tomadores de decisão confiáveis; seus julgamentos são fortemente influenciados por fatores irrelevantes, como seu humor atual, o tempo decorrido desde a última refeição e o clima. Chamamos a variabilidade casual dos julgamentos de ruído. A TI é um imposto invisível sobre o resultado final de muitas empresas. Alguns empregos não têm ruído. Os funcionários de um banco ou dos correios realizam tarefas complexas, mas precisam seguir regras rígidas que limitam o julgamento subjetivo e garantem, por definição, que casos idênticos serão tratados de forma idêntica. Por outro lado, profissionais da área médica, agentes de empréstimos, gerentes de projetos, juízes e executivos fazem julgamentos que são orientados pela experiência informal e por princípios gerais, e não por regras rígidas. E se eles não chegarem exatamente à mesma resposta que qualquer outra pessoa em sua função chegaria, isso é aceitável; é isso que queremos dizer quando afirmamos que uma decisão é "uma questão de julgamento". Uma empresa cujos funcionários exercem julgamento não espera que as decisões sejam totalmente isentas de ruído. Mas, muitas vezes, o ruído está muito acima do nível que os executivos considerariam tolerável - e eles não têm consciência disso. A prevalência do ruído foi demonstrada em vários estudos. Pesquisadores acadêmicos confirmaram repetidamente que os profissionais muitas vezes contradizem seus próprios julgamentos anteriores quando recebem os mesmos dados em ocasiões diferentes. Por exemplo, quando os desenvolvedores de software foram solicitados, em dois dias diferentes, a estimar o tempo de conclusão de uma determinada tarefa, as horas que eles projetaram diferiram em 71%, em média. Quando os patologistas fizeram duas avaliações da gravidade dos resultados da biópsia, a correlação entre suas classificações foi de apenas 0,61 (de um valor perfeito de 1,0), indicando que eles faziam diagnósticos inconsistentes com bastante frequência. Os julgamentos feitos por pessoas diferentes têm ainda mais probabilidade de divergir. Pesquisas confirmaram que, em muitas tarefas, as decisões dos especialistas são altamente variáveis: avaliação de ações, avaliação de imóveis, sentença de criminosos, avaliação de desempenho no trabalho, auditoria de declarações financeiras e muito mais. A conclusão inevitável é que os profissionais geralmente tomam decisões que se desviam significativamente das decisões de seus colegas, de suas próprias decisões anteriores e das regras que eles mesmos afirmam seguir. O ruído é muitas vezes insidioso: ele faz com que até mesmo empresas bem-sucedidas percam quantias substanciais de dinheiro sem perceber. Quão substancial? Para obter uma estimativa, perguntamos aos executivos de uma das organizações que estudamos o seguinte: "Suponha que a avaliação ideal de um caso seja de US$ 100.000. Qual seria o custo para a organização se o profissional responsável pelo caso avaliasse um valor de US$ 115.000? Qual seria o custo de avaliar o caso em US$ 85.000?" As estimativas de custo eram altas. Somadas as avaliações feitas todos os anos, o custo do ruído era medido em bilhões - um número inaceitável até mesmo para uma grande empresa global. O valor da redução do ruído, mesmo em alguns pontos percentuais, seria da ordem de dezenas de milhões. É notável que a organização tenha ignorado completamente a questão da consistência até então. Há muito tempo se sabe que as previsões e decisões geradas por algoritmos estatísticos simples costumam ser mais precisas do que as feitas por especialistas, mesmo quando os especialistas têm acesso a mais informações do que as utilizadas pelas fórmulas. É menos conhecido o fato de que a principal vantagem dos algoritmos é que eles são livres de ruído: Ao contrário dos seres humanos, uma fórmula sempre retornará o mesmo resultado para qualquer entrada. A consistência superior permite que até mesmo os algoritmos simples e imperfeitos alcancem maior precisão do que os profissionais humanos. (É claro que há momentos em que os algoritmos são operacional ou politicamente inviáveis, como discutiremos). Neste artigo, explicamos a diferença entre ruído e viés e analisamos como os executivos podem auditar o nível e o impacto do ruído em suas organizações. Em seguida, descrevemos um método barato e pouco utilizado para criar algoritmos que corrigem o ruído e esboçamos procedimentos que podem promover a consistência quando os algoritmos não são uma opção. Ruído vs. Viés Quando as pessoas pensam em erros de julgamento e tomada de decisão, provavelmente pensam em vieses sociais, como o estereótipo de minorias, ou em vieses cognitivos, como excesso de confiança e otimismo infundado. A variabilidade inútil que chamamos de ruído é um tipo diferente de erro. Para entender a distinção, pense na balança do seu banheiro. Diríamos que a balança é tendenciosa se suas leituras forem geralmente muito altas ou muito baixas. Se o seu peso parece depender de onde o senhor coloca os pés, a balança está com ruído. Uma balança que subestima consistentemente o peso real em exatamente quatro libras é seriamente tendenciosa, mas não tem ruído. Uma balança que dá duas leituras diferentes quando o senhor pisa nela duas vezes é ruidosa. Muitos erros de medição decorrem de uma combinação de distorção e ruído. A maioria das balanças de banheiro baratas é um pouco tendenciosa e bastante ruidosa. Para uma ilustração visual da distinção, considere os alvos na exposição "How Noise and Bias Affect Accuracy". Eles mostram os resultados da prática de tiro ao alvo para equipes de quatro pessoas em que cada indivíduo atira uma vez. A equipe A é precisa: Os tiros dos colegas de equipe estão no alvo e próximos uns dos outros. As outras três equipes são imprecisas, mas de maneiras distintas: A equipe B é barulhenta: os tiros de seus membros estão centralizados em torno do alvo, mas muito dispersos. A equipe C é tendenciosa: Todos os tiros erraram o alvo, mas estão agrupados. A equipe D é tanto barulhenta quanto tendenciosa. Como ilustra a comparação entre as equipes A e B, um aumento no ruído sempre prejudica a precisão quando não há tendência. Quando há parcialidade, o aumento do ruído pode, na verdade, causar um golpe de sorte, como aconteceu com a equipe D. É claro que nenhuma organização confiaria na sorte. O ruído é sempre indesejável e, às vezes, desastroso.

Ruído: como superar o custo alto e oculto da tomada de decisões inconsistentes

Resumo.

Partner Center