O desafio do ágil em um time de Machine Learning
Transferir como PPTX, PDF1 gostou113 visualizações
Este documento descreve os desafios enfrentados por uma equipe de machine learning ao aplicar métodos ágeis em um projeto. A equipe enfrentou problemas como falta de expertise, dependência de outras áreas e dificuldade em comunicar os objetivos do projeto para os stakeholders. No entanto, a equipe aprendeu lições valiosas sobre gestão de fluxo de trabalho e colaboração entre equipes que permitiram melhorias posteriores nos modelos de aprendizado de máquina.
O desafio do ágil em um time de Machine Learning
- 1. Globalcode – Open4education Trilha – Agile & Agile Coaching Jorge Improissi Agile Coach - GFT
- 2. Globalcode – Open4education • Agile Coach BAC GFT Brasil • Análise e Desenvolvimento de sistemas (UCB) • MBA – Liderança, Inovação e Gestão 4.0 (PUC-RS) • Pós em Psicologia Organizacional e Gestão de Pessoas (PUC-RS) • Idealizador e apresentador do AGILE TO THE PEOPLE PODCAST • CSM, CSD, SAFe SA 5, KMP, KCP, Management 3.0, Flight Levels, CTFL, CPRE Jorge Improissi Agile Coach - BAC jorge.improissi@gft.com
- 3. Globalcode – Open4education O desafio do ágil em um time de Machine Learning Dificuldades e Aprendizados Dezembro 2022
- 4. Globalcode – Open4education Agenda • Contexto • Método de Trabalho para Machine Learning • Responsabilidades por papéis • Desafios • Aprendizados
- 6. Globalcode – Open4education Contexto • Área PLD/PCF grande Sistema de Cooperativas do Brasil; • Elevado número de Falsos-Positivos de fraudes em boletos; • Processo 100% manual; • Demanda Top-Down;
- 7. Globalcode – Open4education Método de Trabalho para Machine Learning
- 8. Globalcode – Open4education O que é Machine Learning?
- 9. Globalcode – Open4education Machine Learning O aprendizado de máquina (em inglês, machine learning) é um método de análise de dados que automatiza a construção de modelos analíticos. É um ramo da inteligência artificial baseado na ideia de que sistemas podem aprender com dados, identificar padrões e tomar decisões com o mínimo de intervenção humana.
- 10. Globalcode – Open4education Data Mining “O data mining é, de uma forma muito simples, definido pela procura de relações, padrões e tendências escondidas em conjuntos de dados de grandes dimensões, sendo caracterizado pela capacidade para lidar com o aumento de dados de negócio e aceleradas alterações no mercado” (Han e Kamber, 2006)
- 11. Globalcode – Open4education Processos Ágeis “Os processos ágeis são tipicamente caracterizados pela sua flexibilidade, capacidade de adaptação e partilha de conhecimento, permitindo uma abordagem iterativa, evolutiva e incremental ao desenvolvimento, uma entrega rápida do produto, priorização dos requisitos, envolvimento ativo dos clientes, redução do custo e do tempo, melhoria na qualidade do software e o aumento da probabilidade de sucesso de um projeto.” (Keith, 2012)
- 12. Globalcode – Open4education CRISP-DM A metodologia CRISP-DM (Cross Industry Standard Process for Data mining) fornece uma visão geral do ciclo de vida de um projeto de data mining. Contém as fases do projeto, as tarefas respectivas e os seus outputs. O ciclo de vida de um projeto de data mining, nesta metodologia, é decomposto em seis fases. (Chapman et al., 2010). As setas indicam as dependências mais importantes e frequentes entre as fases. Dependendo do projeto e dos resultados obtidos numa determinada fase, pode ser necessário retroceder para uma fase anterior. Assumindo que o projeto não é cancelado durante a implementação, o processo não é terminado até que uma solução chegue à última fase do ciclo.
- 13. Globalcode – Open4education SCRUM-DM A metodologia SCRUM-DM consiste numa associação da metodologia ágil Scrum como metodologia para a gestão do trabalho, e da metodologia CRISP-DM como estratégia a seguir no desenvolvimento de um projeto de data mining. O CRISP-DM foi dividido e adaptado ao Scrum, sendo o Scrum-DM, à semelhança do CRISP-DM iniciado por uma fase de Entendimento do Negócio, onde é realizada a análise dos objetivos e do negócio, e finalizado por uma fase de Deployment, onde é realizada a integração dos resultados do data mining. O desenvolvimento é realizado na fase de Sprint, estando contempladas as fases de Entendimento dos Dados, Preparação dos Dados, Modelagem e Avaliação do CRISP-DM.
- 14. Globalcode – Open4education Ciclo de Desenvolvimento SCRUM
- 15. Globalcode – Open4education Ciclo de Desenvolvimento KANBAN
- 17. Globalcode – Open4education Responsabilidad es por papéis
- 18. Globalcode – Open4education Responsabilidades PAPEL RESPONSABILIDADES Product Owner • Identificar e clarificar as necessidades dos stakeholders; • Representar os stakeholders; • Definir objetivos e requisitos para o projeto, e colocá-los na forma de Data Mining Stories; • Gerir o Product Backlog durante todo o projeto; • Definir o objetivo para cada Sprint; • Estar disponível para a equipa; Respeitar os limites de cada Sprint; • Rever os resultados de cada Sprint.
- 19. Globalcode – Open4education Responsabilidades PAPEL RESPONSABILIDADES Scrum Master • Guiar a equipa e o Product Owner na aplicação da metodologia; • Ser o especialista na aplicação da metodologia; • Ajudar a remover impedimentos que a equipa encontre no desenvolvimento; • Proteger a equipa de influências externas; • Apoiar a equipa enquanto se organiza a si mesma; • Facilitar a aplicação da metodologia; Encorajar a equipa a melhorar as práticas de desenvolvimento.
- 20. Globalcode – Open4education Responsabilidades PAPEL RESPONSABILIDADES DevTeam • Apoiar a definição das Data Mining Stories; • Definir e comprometer-se com as tarefas para cada Sprint; • Comprometer-se com a entrega do objetivo do Sprint, respeitando os critérios de aceitação; • Desenvolver o que está especificado no Product Backlog.
- 21. Globalcode – Open4education Responsabilidades “Os produtos são construídos por equipes de pessoas, e os métodos ágeis se concentram nas pessoas sobre os processos. A ciência de dados é uma disciplina ampla, abrangendo análise, design, desenvolvimento e pesquisa. Os papéis dos membros da equipe Agile Data Science, definidos em um espectro do cliente às operações” – Russell Jurney
- 22. Globalcode – Open4education Responsabilidades “Para permanecermos ágeis, devemos abraçar e nos adaptar a essas novas condições. Devemos adotar mudanças de acordo com as metodologias enxutas para nos mantermos produtivos. Várias mudanças em particular tornam possível o retorno à agilidade(...) Em Agile Data Science, uma pequena equipe de generalistas usa ferramentas escaláveis e de alto nível e plataformas para refinar iterativamente os dados em estados de valor cada vez mais altos.” – Russell Jurney
- 23. Globalcode – Open4education Conclusão A metodologia proposta associa a metodologia ágil Scrum para a gestão de trabalho, o CRISP-DM para o desenvolvimento de projetos de data mining. Possibilitando a inspeção contínua do desenvolvimento do projeto executado pela equipe, conferindo aos resultados a visibilidade necessária para que erros ou desalinhamentos com os objetivos possam ser retificados pouco depois de acontecerem.
- 24. Globalcode – Open4education Conclusão O SCRUM-DM torna visíveis disfunções e impedimentos que estão impedindo a eficácia da equipe, para que possam ser eliminados. A metodologia permite também uma maior adaptação a alterações nos objetivos, incentivando o feedback constante do cliente durante todo o processo de desenvolvimento.
- 25. Globalcode – Open4education O modelo proposto deu certo?
- 27. Globalcode – Open4education DESAFIOS O que nos impediu de termos êxito?
- 28. Globalcode – Open4education O que nos impediu de termos êxito? EXPERTISE CASCATEAMENTO DESCONHECIMENTO DO NEGÓCIO O NEGÓCIO NÃO SABIA COMO SE COMUNICAR COM A EQUIPE DE DADOS! Pessoas de negócio não sabiam comunicar o que queriam e não entendiam o que era o produto gerado pelos profissionais de dados. AS FASES DO CRISP-DM “CASCATEAVAM” O SCRUM! Levamos um período grande para tangibilizar resultados trazendo as fases do CRISP-DM para o timebox do Scrum. CONHECIMENTO EM DADOS ERA LIMITADO! Os profissionais de dados se atinham em informações da disciplina, enquanto desenvolvedores focavam em codificar. Não falavam a mesma língua! DEPENDÊNCIAS DE OUTRAS ÁREAS PROJETO DEPARTAMENTAL PERFIS COMPARTILHADOS PROFISSIONAIS ATUANDO EM MEIO- PERÍODO! Membros da equipe não conseguiam ter dedicação ao projeto, tendo constantes mudanças de contextos. Trazendo o dilema: em qual prioridade atuar? PROJETO GUIADO POR VAIDADES! O projeto era tocado de forma impulsiva, sem tempo para aprendizado, o que causou muito ruído interno entre time e stakeholders. ÁREAS IMPORTANTES NÃO COLABORANDO ENTRE SI! Os dados essenciais para o desenvolvimento do aprendizado de máquina vinha de várias áreas, que se viam como concorrentes e não parceiras.
- 30. Globalcode – Open4education “SOFTWARE ÁGIL NÃO É CIÊNCIA DE DADOS ÁGIL.” – RUSSELL JURNEY
- 31. Globalcode – Open4education “NA CIÊNCIA DE DADOS, AO CONTRÁRIO DA ENGENHARIA DE SOFTWARE, O CÓDIGO NEM SEMPRE DEVE SER BOM; ISTO DEVE SER EVENTUALMENTE BOM. ISSO SIGNIFICA QUE ALGUMA DÍVIDA TÉCNICA INICIAL É ACEITÁVEL, DESDE QUE NÃO SEJA EXCESSIVO. ” – RUSSELL JURNEY
- 32. Globalcode – Open4education Gestão por resultados auxiliando as metas
- 33. Globalcode – Open4education • Exemplo para nosso contexto PCF/ML ----------------------------- OBJETIVO: diminuir fraude em contas de cooperados (Boletos) KR 1 - Diminuir para 30% a incidência de falso/positivo nos casos analisados KR 2 - Automatizar 20% do processo de análise de fraudes -------------------------------
- 34. Globalcode – Open4education O que podemos trazer para nosso contexto PCF/ML Identificadas dependências, trazer pessoas das áreas para uma reunião semanal para alinhamento da comunicação; Evitar o campo “Bloqueio” nos nossos fluxos, forçando o envolvimento rápido dos responsáveis que possam ‘desobstruir’ essa parada do fluxo.
- 35. Globalcode – Open4education Gestão de Fluxo
- 36. Globalcode – Open4education UPSTREAM & DOWNSTREAM O que é? Upstream são as etapas do fluxo de trabalho que tem o objetivo de amadurecer e validar ideias antes de aplicá-las no mundo real. Já o downstream se refere à todas as etapas seguintes do fluxo de trabalho a partir do backlog de itens gerados no upstream.
- 37. Globalcode – Open4education UPSTREAM & DOWNSTREAM
- 38. Globalcode – Open4education UPSTREAM & DOWNSTREAM
- 39. Globalcode – Open4education UPSTREAM & DOWNSTREAM
- 40. Globalcode – Open4education Ganhos rápidos Colaboração entre áreas relacionadas Melhor comunicação entre negócio x TI X Data Disponibilidade em tempo integral dos profissionais necessários Melhor definição de objetivos da squad
- 41. Globalcode – Open4education E hoje? Modelos de aprendizado rodando para os processos antifraudes em: boleto, TED e PIX. Aplicando melhorias. APRENDIZADO DE MÁQUINA Modelo mistura ML com Regra de negócio, com o objetivo de reduzir os falsos-positivos. AUTOMAÇÃO DO PROCESSO A equipe reconhece que o modelo feito empiricamente em 2020, muito se assemelha às práticas sugeridas pelo modelo Agile Data Science 2.0. APLICAÇÃO DO MODELO AGILE DATA SCIENCE
- 42. Globalcode – Open4education A cultura influencia os contextos, analisar as melhores práticas habilitam o êxito, ou o fracasso, de nossas iniciativas.
- 43. Globalcode – Open4education Obrigado e até a próxima!