Usando experimentos para lançar novos produtos

Mais do que nunca, os gerentes estão usando estudos controlados e randomizados em larga escala (ou seja, experimentos) para orientar as decisões. Isso levou a ganhos impressionantes para organizações que vão desde a Amazon até o governo do Reino Unido. Estamos entusiasmados com o aumento dos experimentos nas organizações e passamos boa parte dos últimos anos pensando em como projetá-los e interpretá-los. Ao mesmo tempo, observamos que a experimentação continua desigual entre as organizações e dentro delas, e muitas empresas têm dificuldades para iniciar ou expandir os experimentos. Uma maneira simples e muitas vezes negligenciada de as grandes empresas fazerem experiências é randomizar a introdução de novos produtos em um conjunto de mercados. Para ver como isso pode ser valioso, considere como a Uber lançou seu serviço Express Pool em 2018. Na época, a empresa já estava operando o UberPool, um serviço que permite que os passageiros que vão na mesma direção compartilhem caronas e custos. Com o UberPool, os passageiros são pegos e deixados onde quiserem, como em outros serviços da Uber. Mas com o serviço Express Pool, que custa ainda menos do que o UberPool, os passageiros geralmente são solicitados a caminhar distâncias curtas para encontrar suas caronas e chegar a seus destinos. Em 2018, no período que antecedeu o lançamento do Express Pool, a Uber encarregou um de nós (Duncan, que gerencia um grupo de economistas e cientistas de dados dentro da empresa) de avaliar a probabilidade de sucesso do serviço. Quantos usuários optariam por participar e como o serviço afetaria o ecossistema mais amplo - e mais complexo - da Uber? Para responder a essas perguntas, Duncan e sua equipe realizaram um experimento, lançando o Express Pool em seis grandes mercados e, em seguida, comparando as métricas nas cidades de lançamento com as de outras. Aproveitando os recentes avanços nos métodos experimentais - especialmente um método estatístico que permitiu que a Uber usasse uma combinação ponderada de outras cidades para formar um grupo de controle "sintético" mais adequado - a equipe conseguiu descobrir as maneiras pelas quais o lançamento estava influenciando o uso da Uber. Como era de se esperar, o Express Pool criou novos tipos de combinações de viagens. Mas o experimento também levou em conta o efeito que o Express Pool teve sobre os produtos existentes da Uber e deixou claro que seu lançamento faria sentido para os negócios. Como resultado, a Uber pôde introduzir com confiança o Express Pool em muitos de seus principais mercados. Essa confiança, e a descoberta que a inspirou, não teria sido possível sem o experimento. Os mercados on-line agora são abundantes, desde o Uber e o Airbnb até o Rover e o Tinder. E a Uber não é a única entre essas empresas a recorrer a experimentos em nível de mercado para testar novos produtos e inovações. A Airbnb (onde Jeff trabalhava como cientista de dados) recentemente realizou um experimento para testar o impacto de um novo design de página de destino na classificação e no tráfego do mecanismo de pesquisa. Para realizar o experimento, a Airbnb explorou o fato de ter páginas de destino com URLs diferentes para mercados diferentes (São Francisco, Boston, Nova York etc.). Isso significava que eles podiam randomizar os diferentes URLs para incluir ou não o novo design, isolando assim o efeito do design no tráfego do mecanismo de pesquisa. E, ao fazer isso, eles conseguiram mostrar que o novo design foi um sucesso: a nova página de destino, como se viu, estava gerando um aumento de aproximadamente 3,5% no tráfego de pesquisa, uma melhoria correspondente a dezenas de milhões de visitantes incrementais por dia para a plataforma. Com base nessas descobertas, o Airbnb lançou o novo design para todos os mercados. Não são apenas as empresas de tecnologia que podem usar experimentos em grande escala para testar novos produtos e inovações. Considere o que uma cadeia de restaurantes pode fazer ao decidir se deve oferecer um novo sanduíche de peru e abacate. Uma abordagem tradicional para uma decisão como essa pode ser lançar o sanduíche em algumas lojas estrategicamente escolhidas, realizar alguns grupos de foco e estudar o histórico de vendas de outros produtos. Se as pessoas parecerem gostar do sanduíche nessas lojas, a empresa poderia lançá-lo em todas as suas lojas e esperar que ele tenha sucesso em nível nacional. Esse tipo de abordagem forneceria uma visão do problema, mas tem limitações significativas. Por exemplo, seria difícil saber se o novo sanduíche atraiu outras compras. E seria um desafio verificar se isso aumentou o número total de clientes. Se a rede complementasse essa abordagem com um teste randomizado em larga escala, distribuindo o sanduíche em um conjunto de mercados selecionados aleatoriamente, poderia aprender muito mais sobre os efeitos que a adição do sanduíche poderia ter sobre as vendas (tanto para produtos novos quanto para os existentes), a retenção e a satisfação do cliente. Vimos empresas perderem oportunidades importantes de experimentação e vimos experimentos que sofrem com desafios de implementação e interpretação. Para as empresas que desejam testar novos produtos de forma experimental, aqui estão algumas diretrizes para começar: 1) Decida quais métricas são mais importantes para o senhor e, em seguida, crie hipóteses sobre como elas podem se comportar. Invista na coleta de dados e decida antecipadamente quais resultados experimentais constituirão sucesso ou fracasso. Crie um mapa dos dados para as decisões. Lembre-se de que é ótimo se mais pessoas comprarem um produto, mas não é tão bom se isso levar a mais chamadas de suporte ao cliente. 2) Escolha um subconjunto aleatório de mercados (por exemplo, regiões, cidades ou franquias) para lançar o produto. Os resultados da experimentação em nível de mercado geralmente são ruidosos, portanto, quando tiver um conjunto de mercados em mente, pense cuidadosamente se será possível detectar os efeitos que o senhor espera. (Os cálculos de potência exigem muitas suposições, mas podem ajudar a descobrir isso). 3) Certifique-se de acompanhar não apenas se o seu novo produto está funcionando, mas também como o lançamento dele afeta os produtos existentes. O Express Pool por si só pode parecer um sucesso, mas se não aumentar suficientemente o mercado geral de caronas, provavelmente é menos valioso do que parece. Da mesma forma, quando o Airbnb lança novos produtos, a empresa precisa pensar em como as reservas por meio dos produtos existentes são afetadas. E quando a Starbucks lançou seus petiscos de ovo sous vide (se o senhor ainda não experimentou, recomendamos que o faça!), ela precisou considerar não apenas as vendas dos petiscos de ovo, mas também se eles estavam atraindo outros itens do menu. 4) Certifique-se de entender por que seu produto está tendo sucesso ou fracasso. As métricas de primeira linha, como receita e vendas, não contam toda a história. O novo produto está melhorando os resultados para alguns tipos de clientes e prejudicando-os para outros? O novo produto ajudou uma parte do seu funil de aquisição, mas prejudicou outra? Essas mudanças estão alinhadas com sua hipótese pré-experimento? Entender por que uma métrica mudou pode ajudá-lo não apenas a tomar uma decisão de implementação, mas também a entender como inovar em um espaço de produto.

Usando experimentos para lançar novos produtos

Resumo.

Partner Center