Usando o blockchain para desenvolver a confiança do cliente em IA

Em um período de tempo extremamente curto, organizações de todos os setores implantaram a inteligência artificial (IA) para tomar decisões que afetam a vida cotidiana das pessoas. Como a IA pode ser caracterizada como "um espelho que reflete nossos preconceitos e falhas morais de volta para nós", às vezes essa prática resulta em erros infelizes e até trágicos. E a parcialidade é apenas um dos inúmeros motivos pelos quais a IA é considerada uma "caixa preta" com um problema de confiança. No ano passado, a Pew Research descobriu que 52% dos americanos estão mais preocupados do que animados com a IA na vida cotidiana, em comparação com apenas 10% que se dizem mais animados do que preocupados. Claramente, a IA precisa se provar como uma tecnologia confiável. Para isso, as empresas que usam IA devem garantir a interpretabilidade, a auditabilidade e a aplicabilidade das decisões tomadas por esses modelos analíticos. A interpretabilidade permite que a tecnologia seja compreendida. A auditabilidade permite a prestação de contas. Por fim, a aplicabilidade ameniza a dúvida, deixando um rastro de confiança. Se as organizações quiserem obter benefícios comerciais reais de seus investimentos em TI, os clientes precisam confiar nela. A desconfiança social sistêmica na IA só pode ser dissolvida quando as perguntas sobre como essa tecnologia funciona - de clientes, reguladores e outras partes apropriadas - puderem ser respondidas. O uso da responsabilidade baseada em blockchain fornece um caminho operacional e atingível para a responsabilidade e a aplicabilidade. Na FICO, estamos usando a tecnologia blockchain para construir a confiança dos consumidores e do setor financeiro em geral na IA. O blockchain cria um registro imutável de todos os aspectos do desenvolvimento do modelo de IA e garante que todas as ações tomadas sigam os requisitos e padrões corporativos para a IA responsável. Em vez de sinalizar desconfiança nos cientistas de dados, um sistema blockchain para o gerenciamento de modelos de IA ilustra que a confiança não é uma questão pessoal - há uma razão para que as coisas importantes na vida tenham contratos. O blockchain não serve para apontar culpados; ele foi projetado para manter todos honestos, eficientes, seguros e dentro do padrão. Com estruturas adequadas de governança e responsabilidade em vigor, a inovação em IA tem um espaço seguro e aberto para prosperar. Este artigo apresenta um estudo de caso sobre como a FICO passou a adotar o gerenciamento de desenvolvimento de modelos de IA baseado em blockchain, como isso beneficia a empresa e como outras organizações podem adotar e ganhar com essa abordagem. Quando o blockchain encontrou a IA Em 2021, a equipe de ciência de dados da FICO responsável pela IA e pela inovação analítica começou a usar o blockchain para a governança do desenvolvimento de modelos, uma medida que, desde então, tem proporcionado um valor demonstrável. Essa equipe fornece a tecnologia principal para as plataformas de software da FICO, incluindo detecção de fraudes e soluções para gerenciamento de cartões de crédito, e é separada da organização analítica que desenvolve análises para o FICO Score. A TI descobriu que essa abordagem não só acelerou nosso tempo de comercialização com IA e inovação analítica, mas também ajudou a manter novos modelos em produção; o blockchain reduziu em mais de 90% os problemas de suporte e recalls de modelos. A TI fez isso ajudando a automatizar o processo de manter o controle sobre os detalhes de desenvolvimento de modelos que se multiplicam rapidamente. As sementes dessa abordagem foram desenvolvidas ao longo de mais de uma década de trabalho, enquanto a equipe trabalhava para documentar e gerenciar as inúmeras decisões incrementais que fazem parte do complexo processo de desenvolvimento de um modelo: as variáveis do modelo, o design do modelo, os algoritmos, os dados de treinamento e teste utilizados, os recursos latentes brutos do modelo, os testes de ética e os testes de estabilidade. Esse processo também inclui um enorme elemento humano: os cientistas que constroem diferentes partes dos conjuntos de variáveis, participam da criação do modelo e realizam o teste do modelo. Cada pequena alteração pode afetar o desempenho do modelo, o uso responsável e os resultados das decisões. A solução inicial que a equipe de ciência de dados encontrou foi começar a usar um documento de acompanhamento analítico (ATD) para orientar seu processo de desenvolvimento. Originalmente contido em um documento do Word de páginas, essa abordagem detalhava todos os aspectos dos requisitos, do desenvolvimento e dos testes de um modelo. O ATD informava um conjunto de requisitos muito específicos vinculados ao padrão de desenvolvimento de modelos de IA da FICO. Depois que todos os elementos da construção foram negociados, ele se tornou o documento pelo qual a equipe definiu todo o processo de desenvolvimento do modelo. Usar o ATD foi um divisor de águas, mas lidar com centenas de documentos volumosos de modelos ATD e realizar dezenas de reuniões para confirmar a adesão de cada modelo ao padrão gerou uma sobrecarga administrativa muito grande. Assim, em 2021, a FICO colocou todo o processo de ATD em um blockchain privado, proporcionando uma maneira muito mais fácil de criar uma trilha imutável de tomada de decisão para cada modelo. O blockchain elimina qualquer confusão sobre os requisitos, os algoritmos usados e os critérios de sucesso a serem atendidos, pois todos estão comprometidos com a cadeia antes do início do desenvolvimento. A TI também vincula permanentemente os ativos que demonstram a adesão aos padrões, expõe os recursos latentes e determina se eles introduzem viés no modelo, além de identificar quem trabalhou nos recursos latentes, quais testes foram feitos, o gerente de aprovação e a aprovação da gerência. É importante ressaltar que o blockchain não produz apenas uma lista de verificação de resultados positivos; ele também inclui erros, correções e melhorias feitas ao longo do caminho. Por que o blockchain funciona O ATD percorreu um longo caminho desde os longos documentos do Word. A abordagem baseada em blockchain da FICO abstrai cada tarefa em uma interface fácil de usar que é integrada ao trabalho diário dos cientistas de dados. Um cientista rebelde que não queira usar esse método, simplesmente não pode - comprometer cada decisão de desenvolvimento com o blockchain é simplesmente a maneira como o trabalho é feito e um requisito para que os modelos sejam lançados. A FICO descobriu que o valor comercial do registro imutável do blockchain é enorme. Alcançamos consistência em uma grande organização global de ciência de dados; o desenvolvimento de modelos em centenas de ativos analíticos de produção a cada ano é uniforme, minimizando a confusão e o desperdício. A redução do desperdício é importante, dados os altíssimos custos de oportunidade da inovação perdida e os custos muito tangíveis dos talentos de desenvolvimento de IA e dos recursos de computação relacionados. É um segredo aberto nos serviços financeiros que apenas uma fração dos modelos de TI desenvolvidos internamente é colocada em produção porque ninguém sabe ao certo o que há neles ou como será seu desempenho. Uma pesquisa de 2019 da McKinsey & Co. sobre o setor de serviços financeiros constatou que apenas 25% a 36% dos entrevistados haviam implantado a IA em vários casos de uso em suas empresas. De modo geral, vimos esses números melhorarem, mas em todo o setor, os ativos de IA não utilizados ainda se traduzem em centenas de milhões de dólares de esforços desperdiçados. Em última análise, a FICO sabe por que o blockchain funciona por causa do que não acontece . Os modelos não são retidos na produção devido à incerteza sobre seu risco ou à falta de artefatos que demonstrem a adesão aos padrões de IA responsável da empresa. Os cientistas não utilizam inadvertidamente modelos de produção para projetos de pesquisa ou, pior, não liberam experimentos de ciência de dados "na natureza". E aquele cientista de dados rebelde? O blockchain mantém as equipes coesas, dentro do padrão e atendendo aos requisitos, produzindo com eficiência modelos que atendem aos padrões de qualidade e segurança da FICO. Além de vermos os problemas de suporte de modelos caírem para quase zero, conseguimos a adesão absoluta e a aplicabilidade dos padrões de desenvolvimento de modelos de IA, mesmo em alta velocidade. Tudo isso é a chave operacional para criar confiança na IA. A TI ajuda a FICO a produzir resultados que estão 100% em conformidade com nossos padrões, respaldados por ativos concretos de prova de trabalho. Isso significa que a experiência dos consumidores com essas ferramentas é consistente com nossos próprios padrões de IA responsável. Como a FICO fez o blockchain funcionar para a IA Colocar esse sistema em funcionamento não foi, antes de tudo, um problema de tecnologia. Era um problema de organização e de pessoas. A resolução desse problema foi seguida por obstáculos tecnológicos e de design que precisavam ser superados, é claro, mas a primeira parte foi a mais difícil. Veja o que aprendemos com esse processo. Primeiro os padrões, depois a tecnologia Sem um padrão de desenvolvimento de modelo de IA para aderir, usar o blockchain para registrar cada detalhe do desenvolvimento do modelo é inútil. Infelizmente, esse primeiro passo pode ser a parte mais difícil da jornada: Para estabelecer padrões corporativos em torno da IA responsável, decisões difíceis precisarão ser tomadas sobre o que será ou não feito, incluindo aprovações de quais algoritmos podem ou não ser usados, interpretabilidade do modelo, metodologias éticas de teste de IA e atendimento aos requisitos regulamentares. Na FICO, isso envolveu um pouco de evangelismo em torno do objetivo de garantir resultados analíticos consistentes para todos os clientes, independentemente da arte individual dos cientistas de dados, e a nomeação de um comitê que definiria os padrões de desenvolvimento e educaria toda a equipe sobre os métodos associados. A facilidade de uso não é negociável Na FICO, fazer com que os cientistas de dados aceitassem a ideia de usar o sistema não foi tão difícil. A maioria deles gostou da estrutura oferecida, do alinhamento automático de seu trabalho com os padrões de desenvolvimento de modelos de TI e das abordagens formalizadas para a TI responsável, o que os protege e protege seus produtos de trabalho. O que foi difícil foi desenvolver a interface de usuário (UI) entre os cientistas de dados e o blockchain. O desenvolvimento da TI era mais do que descobrir em quais campos e botões o usuário clicaria e quando; era preciso ajudar os cientistas de dados a fazer a mudança mental do desenvolvimento em cascata linear e centrado no indivíduo para uma mentalidade de equipe em que vários desenvolvedores e testadores pudessem fazer seu trabalho e validar o de outros de forma eficiente e automatizada. Por fim, investimos tempo e recursos significativos para facilitar o uso do sistema pelos cientistas de uma forma que enfatizasse o envolvimento intelectual em vez de uma supervisão complicada, integrando uma interface de usuário elegante à forma como o trabalho é feito. Para atingir esse estado final, as organizações devem se preparar para passar por um processo formal com requisitos de negócios e documentos de requisitos de produtos (BRDs e PRDs). Isso permite que os pensamentos e opiniões dos designers de software sejam alinhados sobre como os usuários interagirão com o sistema e como o processo funcionará. Era importante garantir que todos se sentissem ouvidos e que o desenvolvimento não começasse até que as expectativas sobre forma, funcionalidade e operação estivessem alinhadas. Mais importante ainda para a adoção, o atrito não era um resultado aceitável, forçando a criatividade do desenvolvimento de software desde o início. Por exemplo, tivemos que equilibrar o fato de os cientistas de dados não precisarem ou não quererem conhecer a tecnologia blockchain com o uso obrigatório da ferramenta baseada nela. Da mesma forma, precisávamos de relatórios instantâneos sobre o estado de todas as tarefas de desenvolvimento e teste de modelos sem exigir que os cientistas de dados criassem relatórios. Iterar em ganhos rápidos Em seguida, prepare-se para fazer provas de conceito dos primeiros projetos para ter uma versão rápida do sistema funcionando e comece a navegar pelos casos de uso, como estabelecer requisitos, atualizações de desenvolvimento, atualizações de testes, atualizações de validação, rejeição/aprovação e como redefinir o estado dos requisitos quando um modelo for rejeitado. Deve haver um grande foco em como a integridade é medida, já que nenhum modelo é liberado até que todos os requisitos sejam atendidos pelo desenvolvedor, testador e validador - como isso será analisado no blockchain e apresentado às partes interessadas? Mantenha tudo junto, para sempre Nenhum aplicativo analítico está realmente pronto; ele está em constante evolução e os processos (especialmente os de dependências) não podem ser esquecidos. Portanto, como um ponto técnico fundamental, é importante pensar nos repositórios que manterão grandes ativos de TI em um armazenamento alternativo, com hashes, somas de verificação e outros mecanismos que confirmarão que o ativo referenciado no blockchain é apropriado e não foi corrompido. Qualquer armazenamento alternativo deve ser monitorado ativamente e alertas devem ser emitidos se houver atualizações ou migrações para outras pilhas de tecnologia dentro da organização. A manutenção tem um impacto diferente Por fim, a realidade abrangente de um sistema de gerenciamento de desenvolvimento de modelos de IA baseado em blockchain é que ele é um software - um software com requisitos de segurança e gerenciamento de vulnerabilidades, manutenção e upgrades. As equipes de software de TI lidam com esses problemas todos os dias para aplicativos corporativos, mas com aplicativos de desenvolvimento de IA, os desenvolvedores de software precisam cultivar novos conhecimentos ou fazer parcerias com outros recursos para obtê-los. - - - A confiança pode ser ilusória quando se trabalha com IA. É compreensível que essas novas e poderosas ferramentas precisem superar um alto padrão. Mas a desconfiança sistêmica na IA só pode ser dissipada quando clientes, reguladores e outras partes apropriadas estiverem confiantes em como a tecnologia funciona e que podem confiar em modelos específicos que funcionam da maneira que deveriam. É isso que essa abordagem baseada em blockchain pode oferecer: responsabilidade, transparência e aplicabilidade. Ao manter todos honestos, a TI dá aos usuários motivos para confiar nessas novas e poderosas ferramentas.

Usando o blockchain para desenvolver a confiança do cliente em IA

Resumo.

Partner Center