O cientista de dados ainda é o trabalho mais sexy do século XXI?

Há dez anos, publicamos o artigo "Cientista de dados: O trabalho mais sexy do séculoXXI". A maioria dos leitores casuais provavelmente se lembra apenas do modificador "mais sexy" - um comentário sobre sua demanda no mercado. Na época, a função era relativamente nova, mas à medida que mais empresas tentavam entender o Big Data, elas perceberam que precisavam de pessoas que pudessem combinar habilidades de programação, análise e experimentação. Na época, essa demanda estava restrita, em grande parte, à área da Baía de São Francisco e a algumas outras cidades costeiras. As start-ups e empresas de tecnologia nessas áreas pareciam querer todos os cientistas de dados que pudessem contratar. Sentimos que a necessidade se expandiria à medida que as empresas tradicionais adotassem tanto a análise de negócios quanto novas formas e volumes de dados. Na época, definimos o cientista de dados como "um profissional de alto nível com treinamento e curiosidade para fazer descobertas no mundo do Big Data". As empresas estavam começando a analisar dados volumosos e menos estruturados, como fluxos de cliques on-line, mídia social, imagens e fala. Como ainda não havia um plano de carreira bem definido para pessoas que pudessem programar e analisar esses dados, os cientistas de dados tinham diversas formações educacionais. A qualificação mais comum em nossa pesquisa informal com 35 cientistas de dados na época era um PhD em física experimental, mas também encontramos astrônomos, psicólogos e meteorologistas. A maioria tinha doutorado em alguma área científica, era excepcional em matemática e sabia programar. Dada a ausência de ferramentas e processos na época para desempenhar suas funções, eles também eram bons em experimentação e invenção. Não é que fosse realmente necessário ter um doutorado em ciências para fazer o trabalho, mas sim que esses indivíduos tinham a rara capacidade de desbloquear o potencial dos dados, percorrendo conjuntos de dados complexos e confusos e criando algoritmos de recomendação. Uma década depois, o trabalho está mais requisitado do que nunca por empregadores e recrutadores. A IA é cada vez mais popular nos negócios, e empresas de todos os tamanhos e locais sentem que precisam de cientistas de dados para desenvolver modelos de IA. Em 2019, as postagens para cientistas de dados no Indeed aumentaram 256%, e o U.S. Bureau of Labor Statistics prevê que a ciência de dados terá mais crescimento do que quase qualquer outro campo entre agora e 2029. O emprego procurado geralmente é bem remunerado; o salário médio de um cientista de dados experiente na Califórnia se aproxima de US$ 200.000. Muitas das mesmas dores de cabeça também permanecem. Em nossa pesquisa para o artigo original, muitos cientistas de dados observaram que passam a maior parte do tempo limpando e manipulando dados, e isso ainda acontece apesar de alguns avanços no uso da própria IA para melhorar o gerenciamento de dados. Além disso, muitas organizações não têm culturas orientadas por dados e não aproveitam os insights fornecidos pelos cientistas de dados. O fato de serem contratados e bem pagos não significa que os cientistas de dados serão capazes de fazer a diferença para seus empregadores. Como resultado, muitos ficam frustrados, o que leva a uma alta movimentação. Mesmo assim, o trabalho mudou - em grandes e pequenas proporções. A TI se institucionalizou melhor, seu escopo foi redefinido, a tecnologia da qual depende fez grandes avanços e a importância de conhecimentos não técnicos, como ética e gerenciamento de mudanças, cresceu. Os muitos executivos que reconhecem que a ciência de dados é importante para seus negócios agora precisam criar e supervisionar equipes diversificadas de ciência de dados em vez de procurar unicórnios cientistas de dados. Eles também podem começar a pensar em democratizar a ciência de dados - porém, ainda com a ajuda de cientistas de dados. Melhor institucionalizada Em 2012, a ciência de dados era uma função incipiente, mesmo em start-ups voltadas para IA. Hoje, ela está muito bem estabelecida, pelo menos em empresas com um grande compromisso com dados e TI. Bancos, seguradoras, varejistas e até mesmo prestadores de serviços de saúde, e até mesmo agências governamentais, têm grupos substanciais de ciência de dados; grandes empresas de serviços financeiros podem ter centenas de cientistas de dados. A ciência de dados também tem sido eficaz na abordagem de crises sociais, contando e prevendo casos e mortes por Covid-19, ajudando a lidar com desastres climáticos e até mesmo combatendo a desinformação e os ataques cibernéticos relacionados à invasão da Ucrânia. Um fator importante que facilita a institucionalização tem sido o aumento das ofertas educacionais voltadas para a ciência de dados. Em 2012, não havia efetivamente nenhum programa de graduação em ciência de dados; os cientistas de dados eram recrutados em outras áreas com orientação quantitativa. Atualmente, há centenas de programas de graduação em ciência de dados ou nos campos relacionados de análise e IA. A maioria são programas de mestrado, mas também há cursos de graduação e programas de doutorado em ciência de dados. Há também um número enorme de certificados, ofertas de cursos on-line e campos de treinamento em áreas relacionadas à ciência de dados. Existem até cursos e currículos de ciência de dados para o ensino médio. É claro que qualquer pessoa que deseje ser treinada em recursos de ciência de dados terá muitas opções para fazer isso. Entretanto, é improvável que um único programa possa inculcar todas as habilidades necessárias para conceber, criar e implantar análises, experimentos e modelos eficazes e éticos de ciência de dados. Na verdade, entender as diversas opções educacionais, mesmo em uma única instituição, é um desafio para os futuros cientistas de dados e para as empresas que desejam empregá-los. Cientistas de dados em relação a outras funções A função de cientista de dados agora também é complementada com uma variedade de outros empregos. Em 2012, presumia-se que os cientistas de dados poderiam realizar todas as tarefas necessárias em um aplicativo de ciência de dados, desde a conceituação do caso de uso, passando pela interface com as partes interessadas em negócios e tecnologia, até o desenvolvimento do algoritmo e sua implantação na produção. Agora, no entanto, houve uma proliferação de empregos relacionados para lidar com muitas dessas tarefas, incluindo engenheiro de aprendizado de máquina, engenheiro de dados, especialista em IA, tradutores de análise e IA e gerentes de produtos orientados a dados. O LinkedIn relatou que alguns desses empregos são mais populares do que os cientistas de dados em seus relatórios "Jobs on the Rise" para 2021 e 2022 nos EUA. Parte da proliferação se deve ao fato de que nenhum ocupante de um único cargo pode possuir todas as habilidades necessárias para implantar com sucesso um sistema complexo de IA ou de análise. Há um reconhecimento cada vez maior de que muitos algoritmos nunca são implementados, o que levou muitas organizações a tentar melhorar as taxas de implementação. Além disso, os desafios de gerenciar sistemas e tecnologias de dados cada vez maiores resultaram em um ambiente técnico mais complexo. Houve algumas tentativas de certificação de cientistas de dados e trabalhos relacionados, mas elas ainda não são amplamente procuradas ou reconhecidas. Algumas empresas, como o TD Bank, desenvolveram estruturas de classificação para as diversas carreiras e habilidades relacionadas à ciência de dados, mas elas não são suficientemente comuns nas organizações. Como resultado dessa proliferação de habilidades, as empresas precisam identificar todas as diferentes funções necessárias para implantar efetivamente modelos de ciência de dados em seus negócios e garantir que elas estejam presentes e colaborando nas equipes. Mudanças na tecnologia Uma das razões pelas quais o trabalho de cientista de dados está sempre mudando é que as tecnologias que os cientistas de dados usam estão mudando. Algumas tendências tecnológicas são continuações de direções presentes em 2012, como o uso de ferramentas de código aberto e a mudança para processamento e armazenamento de dados baseados em nuvem. Mas algumas afetam a essência do trabalho da ciência de dados. Por exemplo, alguns aspectos da ciência de dados estão cada vez mais automatizados (usando aprendizado de máquina automatizado ou AutoML), o que pode melhorar a produtividade dos profissionais de ciência de dados e abrir a possibilidade de "cientistas de dados cidadãos" com apenas algum treinamento quantitativo. Essas ferramentas automatizadas ainda não diminuíram o apelo dos cientistas de dados profissionais, mas podem fazê-lo no futuro. As empresas devem começar a democratizar a análise avançada e a IA em suas organizações, contando com os cientistas de dados para garantir que os modelos desenvolvidos pelos cidadãos sejam precisos e que todos os dados relevantes sejam utilizados. Os cientistas de dados perceberam que seus modelos podem "se desviar" em ambientes de negócios turbulentos, como a pandemia de Covid-19, portanto, há uma nova ênfase no monitoramento de sua precisão após a implantação. As ferramentas de operações de aprendizado de máquina, ou "MLOps", fornecem monitoramento contínuo dos modelos; o retreinamento automatizado de modelos com desvios está apenas começando a ser empregado. Algumas ferramentas de AutoML e MLOps testam até mesmo o viés algorítmico. Esses desenvolvimentos significam que a codificação, que talvez fosse o requisito de trabalho mais comum quando escrevemos há uma década, é um pouco menos essencial na ciência de dados. A TI migrou para outros trabalhos ou está sendo cada vez mais automatizada. (No entanto, a limpeza de dados é uma exceção notável a essa tendência.) O foco principal do trabalho continua a mudar para a modelagem preditiva e a capacidade de traduzir problemas e requisitos comerciais em modelos. Essas são atividades colaborativas, mas, infelizmente, ainda não existem grandes ferramentas para estruturar e apoiar atividades colaborativas de ciência de dados. A ética da ciência de dados Uma mudança importante na ciência de dados na última década é que a necessidade de uma dimensão ética para o campo é agora amplamente reconhecida, embora o tópico raramente tenha sido mencionado em 2012. O ponto de virada para a ética da ciência de dados foi provavelmente a eleição presidencial de 2016 nos EUA, na qual os cientistas de dados da mídia social(Cambridge Analytica e Facebook, em particular) tentaram influenciar os eleitores e polarizaram ainda mais a política eleitoral. Desde então, uma atenção considerável tem sido dedicada às questões de viés algorítmico, transparência e uso responsável da análise e da IA. Algumas empresas já criaram grupos e processos de IA responsáveis. Uma função fundamental deles é educar os cientistas de dados sobre as questões envolvidas na IA ética. E há um aumento na regulamentação que está sendo instituída em resposta a lapsos éticos. . . . Vimos tanto a continuidade quanto a mudança na função da ciência de dados. A TI tem sido notavelmente bem-sucedida em muitos aspectos, e alguns de seus desafios - proliferação de funções relacionadas, necessidade de uma perspectiva ética - resultam em parte da adoção generalizada da ciência de dados. Parece improvável que a quantidade de dados, análises e TI nos negócios e na sociedade diminua, portanto, a importância do cargo de cientista de dados continuará a crescer no cenário dos negócios. No entanto, ele também continuará a mudar. Esperamos ver uma diferenciação contínua de responsabilidades e funções que antes se enquadravam na categoria de cientista de dados. As empresas precisarão de processos detalhados de classificação e certificação de habilidades para esses diversos cargos e deverão garantir que todas as funções necessárias estejam presentes em projetos de ciência de dados em grande escala. Os próprios cientistas de dados profissionais se concentrarão na inovação algorítmica, mas também precisarão ser responsáveis por garantir que os amadores não se excedam. Mais importante ainda, os cientistas de dados devem contribuir para a coleta adequada de dados, a análise responsável, os modelos totalmente implantados e os resultados comerciais bem-sucedidos. Nota do editor: esta postagem foi atualizada.

O cientista de dados ainda é o trabalho mais sexy do século XXI?

Resumo.

Partner Center