Metricas forecasting
8 gostaram1,154 visualizações
O documento discute métricas e previsões, criticando o uso de estimativas. Ele apresenta métodos alternativos como amostragem, teoria das filas, teoria das restrições e simulação de Monte Carlo para prever métricas de fluxo e tempo de ciclo de forma mais precisa. O documento também discute como limitar variabilidade para melhorar a previsibilidade.
Metricas forecasting
- 1. Métricas & Forecasting Não perca (seu raro e precioso) tempo fazendo estimativas!
- 2. Não estime • Ao invés de produzir algo de valor, você está desperdiçando seu tempo • Apesar de tudo, não existe razão ou fato lógico-matemático que nos leve a crer que, se a história A é mais complexa do que a história B então certamente a história A tomará mais tempo para terminar do que a história B. https://rodrigoalmeidadeoliveira.wordpress.com/2018/09/18/estimar-ou-nao-estimar/
- 5. E não apenas um pouco errado. Muito errado
- 6. Vejamos
- 7. Saiba quantos dados precisamos prever
- 8. Amostragem Uma maneira de usar os dados que temos para fazer predições e previsões Ela ajuda a descobrir a faixa de valores possíveis de forma rápida e confiável
- 9. Com que rapidez descobrimos um intervalo de valores por amostragem? Por quê? Qual a velocidade que obtemos a contagem de estórias, o tamanho da história, a velocidade, o rendimento, o tempo de ciclo, e que nos deixa confiantes de estarmos com as estimativas corretas?
- 10. Menor amostra até agora Máximo atual Minimo atual Maior amostra até agora Q. Em média, qual é a chance da 4ª amostra estar entre a faixa vista após 3 amostras aleatórias? (sem duplicatas, distribuição uniforme)? A. ?1 2 3 4
- 11. Menor amostra até agora Máximo atual Minimo atual Maior amostra até agora Q. Em média, qual é a chance da 4ª amostra estar entre a faixa vista após 3 amostras aleatórias? (sem duplicatas, distribuição uniforme) A. ?1 2 3 4 25% 25% 25% de chance de ser maior que a anterior mais alta 25% de chance de ser menor que a anterior mais baixa
- 12. Menor amostra até agora Máximo atual Minimo atual Maior amostra até agora Q. Em média, qual é a chance da 4ª amostra estar entre a faixa vista após 3 amostras aleatórias? (sem duplicatas, distribuição uniforme) A. ?1 2 3 4 25% 25% 25% de chance de ser maior que a anterior mais alta 25% de chance de ser menor que a anterior mais baixa A. 50% % = (n – 1)/(n+1) % = (3-1)/(3+1) % = 2/4 = 1/2 % = 0.5
- 13. 13 Máximo atual Minimo atual 8,5% de chance de ser maior que a anterior mais alta 8,5% de chance de ser menor que a anterior mais baixa Maior amostra até agora Menor amostra até agora Q. Em média, qual é a chance da 12ª amostra estar entre o intervalo visto após 11 amostras aleatórias? (sem duplicatas, distribuição uniforme) A. 83% % = (n-1)/(n+1) % = (11-1)/(11+1) % = 0.833 1 2 3 4 5 6 7 8 9 10 11 12
- 14. Intervalos de Previsão • "N" = número de amostras anteriores • % chance da próxima amostra no intervalo anterior para contagem de amostra anterior n (n-1)/(n+1) n (n-1)/(n+1) 2 33% 16 88% 3 50% 17 89% 4 60% 18 89% 5 67% 19 90% 6 71% 20 90% 7 75% 21 91% 8 78% 22 91% 9 80% 23 92% 10 82% 24 92% 11 83% 25 92% 12 85% 26 93% 13 86% 27 93% 14 87% 28 93% 15 88% 29 93% 30 94% 0,0% 20,0% 40,0% 60,0% 80,0% 100,0% 120,0% 1 7 13 19 25 31 37 43 49 55 61 67 73 79 85 91 97 Limite de amostras (1 - (1 / n – 1)) (n-1)/(n+1)
- 15. Quanto tempo você leva para chegar ao trabalho de manhã?
- 16. depende...
- 19. Métricas nas Práticas Kanban 1.Visualize 2.Limit WIP 3.Gerencie o fluxo 4.Torne as políticas explicitas 5.Implementar loops de feedback 6. Melhorar Colaborativamente, Evoluir Experimentalmente (usando modelos / método científico)
- 20. Métricas nas Práticas Kanban 1.Visualize 2.Limit WIP 3.Gerencie o fluxo 4.Torne as políticas explicitas 5.Implementar loops de feedback 6. Melhorar Colaborativamente, Evoluir Experimentalmente (usando modelos / método científico)
- 21. As métricas podem ajudar você a entender melhor sua demanda e capacidade
- 23. 50º percentil: 20 dias ou menos
- 24. 70º percentil: 35 dias ou menos
- 25. 85º percentil: 62 dias ou menos
- 26. 95º percentil: 104 dias ou menos Powered by
- 27. Percentis e intervalo de confiança • Faixa de valores possíveis para a magnitude (risco relativo) real do efeito. • Temos X% de chance do intervalo conter o verdadeiro valor da média populacional. • Em vez de estimar o parâmetro por um único valor, é dado um intervalo de estimativas prováveis.
- 28. https://connected-knowledge.com/page/4/ Não ignore as caudas longas
- 30. 85º dos itens gastam até 62 dias ou menos para serem finalizados Powered by
- 33. CFD – Cumulative Flow Diagram Meça e Gerencie o Fluxo http://leanguru.pro/the-cumulative-flow-chart-cfd-in-a-nutshell/. Gráfico que exibe o progresso de um processo Nunca decresce Evidencia problemas Ajuda a buscar a estabilidade de fluxo Mostra gargalos Deixa claro onde estamos com sobrecarga de trabalho e onde temos restrições
- 34. Simulação de Monte Carlo
- 35. Simulação de Monte Carlo Um primeiro exemplo... Determinando o valor de 𝜋 a partir de simulações estatísticas. –Imagine um alvo (de raio 1) inscrito em um quadro (de lado 2). –A ideia é atirar, aleatoriamente, um grande número de dardos e contabilizar quantos caem dentro do alvo. –O valor de 𝜋 pode ser aproximado pela razão entre as áreas das figuras ou, de forma equivalente, pelo número de dardos que caem em uma ou outra região. –Quanto maior o número de pontos, melhor a aproximação.
- 36. Simulação de Monte Carlo Integração numérica Determinando o valor de 𝜋 a partir de simulações estatísticas. Na verdade, o método pode ser aplicado para qualquer problema de integração numérica... – Seja 𝐴 a área do retângulo que envolve a região de integração de interesse:
- 38. Simulação de Monte Carlo
- 39. Simulação de Monte Carlo
- 40. Simulação de Monte Carlo
- 41. Simulação de Monte Carlo
- 42. Simulação de Monte Carlo
- 43. Quando este processo é realizado com uma grande massa de dados e por milhares de vezes, os valores obtidos guardam uma estreita semelhança com os valores reais no que se refere a variáveis randômicas. Método de Monte Carlo
- 44. Teoria das Filas “O número médio de itens de trabalho em um sistema estável é igual à taxa de conclusão média, multiplicada pelo tempo médio no sistema.” John Little, 1961
- 45. Lead time = 𝑊𝐼𝑃 𝑇ℎ𝑟𝑜𝑢𝑔ℎ𝑝𝑢𝑡 45 Teoria das Filas
- 46. • Wait Time + Touch Time = Lead Time • WIP = Lead Time x Throughput • Lead Time = WIP / Throughput • Throughput = WIP / Lead Time Teoria das Filas
- 47. Teoria das Restrições A Meta (Eliyahu Goldratt) O processo tem a velocidade do seus gargalos.
- 48. Teoria das Restrições A Meta (Eliyahu Goldratt)
- 49. Métricas e Forecasting Lei de Little Teoria das Restrições Método de Monte Carlo
- 51. Fitness Criteria "Critérios de adequação são métricas que medem o valor do cliente ao selecionar um serviço várias vezes." - Tempo de entrega - Qualidade - Previsibilidade - Segurança (conformidade com requisitos regulamentares) David J. Anderson @lki_djaEu
- 52. Fique atento: • Nunca use uma média para comunicar uma previsão. • Nunca utilize o resultado mais provável para comunicar uma previsão; o resultado mais provável não é muito provável. Seus dados de tempo de ciclo não são normalmente distribuídos por isso não assuma isso ao fazer previsões. • Estimativa e planejamento geralmente servem para tornar seu processo menos previsível e não mais previsível. • Não há quase nenhuma correlação entre uma estimativa de ponto de história e o tempo decorrido que leva para que um item seja concluído. • Não há necessidade de itens do mesmo tamanho para a previsão. Muito, se não a maioria da imprevisibilidade, em seu processo é devido às políticas frágeis que estão implementadas no seu sistema puxado. • Implementado incorretamente, as políticas de sistema puxado do seu processo serão tão bem-sucedidas quanto o Titanic.
- 53. Estimativas x Lead Time. É possível ser previsível com o que este gráfico nos mostra?
- 54. Diversas são as fontes de variabilidade que impactam diretamente nas estimativas criadas. Quantas, além destas, você pode identificar? • WIP alto ou sem limite • Tecnologia / domínio / produto • Composição de time • Usuário, cliente e representante do cliente • Multitarefa / falta de foco • Mercado e concorrentes • Dependências do sistema • Dependências de equipe • Especialização • Aguardando disponibilidade • Retrabalho • Etapas / handoffs (50% * 50% * 50% …) • Estágios no desenvolvimento da equipe (Tuckman) • Política de seleção • Complicação essencial (quão difícil é problema é por si só)
- 55. O que você pode fazer sobre a variação? • WIP baixo e limitado • ConWIP / WIP Sistema (em todo o sistema, ao invés de ser somente por coluna) • Cinco etapas de foco para eliminar restrições (TOC) • Agrupamento de bloqueadores • Reduza os estágios do fluxo de trabalho • Políticas explícitas • Custo de programação, sequenciamento e seleção de atrasos • Design simples e desacoplado; fatias finas e verticais; emparelhamento • Identifique / faça dependências visíveis / meça • Colaborar / Compartilhar o trabalho (Dimitar Bakardzhiev) • Pico e estabilização (Dan North) • Reduza a complexidade acidental (Liz Keogh)
- 56. #NoEstimates e o Negócio • Determinar quais ações seriam diferentes com base na estimativa • Critérios de adequação baseados no cliente • Orçamento: taxa de execução da equipe • Concentre a conversação no valor, não no custo • MVP e propriedade do produto • Criar previsão probabilística o mais rápido possível (assim que você tiver dados) – juntos! • Revisões de Serviço-entrega (Cadências do Kanban) • Equipes: Mantenha as equipes juntas, dedicadas (reduz a mudança de contexto, estágios de Tuckman) • Tenha um fluxo unificado. • Liberte-se do time box!!!!
- 57. Manifesto #NoEstimates … Nós passamos a valorizar: Probabilístico sobre Determinístico Tempo de entrega sobre o tempo de desenvolvimento Escopo do MVP sobre o escopo total Dados sobre intuição sobre Reduzir as fontes de variação ao melhorar as estimativas Ou seja, enquanto houver valor nos itens à direita, valorizamos mais os itens à esquerda. https://www.slideshare.net/AgileEnSeine/the-noestimates-game-by-matthew-philip-thoughtworks
- 58. Currículo: • Prof. Rodrigo Oliveira • Mais de 20 anos de trabalho em T.I. • Mais de 10 anos de experiência em gestão, em melhoria de processos de desenvolvimento e qualidade de software • Certified Kanban Coach • Approved Kanban Professional • Accredited Training Partner – Lean Kanban • Project Management Professional (PMP) • Mestre em Engenharia e Gestão de Sistemas e Processos, com ênfase em melhoria e otimização de processos de desenvolvimento e qualidade de software utilizando metodologias ágeis • Professor de Pós Graduação e Especialização do IETEC-MG, PUC-MG, UNA e Pitágoras
- 59. • Contatos: • Email: rodrigoalmeidadeoliveira@gmail.com • Site:https://rodrigoalmeidadeoliveira.wordpress.com/ • LinkedIn: https://www.linkedin.com/in/raoliveira • Slideshare: https://www.slideshare.net/raoliveira
- 60. Quer saber mais? Ou melhor. Praticar mais!
- 61. Fundamentals (8hrs) Intermediate (16 hrs) Advanced (16 hrs) Formação Gestão Lean-Kanban (módulos 1 e 2) Kanban (módulo 1)
- 62. Forecasting + Métricas (8hrs) Lean + Qualidade (8hrs) Formação Gestão Lean-Kanban (módulos 1 e 2) Lean - Métricas (módulo 2)
- 63. Planilha com métricas e simulação de monte carlo https://goo.gl/dDpUKk 0 32 187 235 182 117 100 62 36 21 11 6 5 2 1 3 0,00% 20,00% 40,00% 60,00% 80,00% 100,00% 120,00% 0 50 100 150 200 250 0 a 1 1 a 2 2 a 3 3 a 4 4 a 5 5 a 6 6 a 7 7 a 8 8 a 9 9 a 10 10 a 11 11 a 12 12 a 13 13 a 14 14 a 15 15 a 16 Histograma de Entregas - Simulação de Monte Carlo Frequências % acumulado
- 64. REFERÊNCIASGRAEML, Alexandre Reis; PEINADO Jurandir. Administração da produção: operações industriais e de serviços. Curitiba: UnicenP, 2007. DATALYSER. Série – As Sete Ferramentas do Controle da Qualidade – 7FCQ. Disponível em: <http://www.datalyzer.com.br/site/suporte/administrador/info/arquivos/info44/44.html;. Acesso em Novembro de 2018. FARIAS, Ana Maria Lima de; LAURENCEL, L. C. Fundamentos de Estatística Aplicada: Módulo I: Estatística Descritiva. Rio de Janeiro/RJ: Universidade Federal Fluminense, 2000. http://www.prd.usp.br/disciplinas/docs/pro2712-2005-Alberto_Gregorio/1Ferbasq.pdf Statistical Methods for Quality Improvement: AOTS, Japão, 1988. OHNO, T. (1997) - O sistema Toyota de produção além da produção em larga escala. Trad. Cristina Schumacher. Artes Médicas. Porto Alegre. ROTHER, M. & SHOOK, J. (1999) - Aprendendo a enxergar: mapeando o fluxo de valor para agregar valor e eliminar o desperdício. The Lean Institute Brasil. São Paulo. STANDARD, C. & DAVIS, D. (1999) - Running today’s factory: a proven strategy for lean manufacturing. Hanser Gardner Publications. Cincinnati. WARNECKE, H. & HÜSER, M. (1995) - Lean production. International Journal of Production Economics. Vol.41, p.37-43. WOMACK, J.P.; JONES, D.T. & ROOS, D. (1992) - A máquina que mudou o mundo. Campus. Rio de Janeiro. MAGENNIS, Troy. The Economic Impact of Software Development Process Choice--Cycle-Time Analysis and Monte Carlo Simulation Results. In: System Sciences (HICSS), 2015 48th Hawaii International Conference on. IEEE, 2015. p. 5055-5064. Imagem: http://broadleaf.com.au/resource-material/cost-and-schedule-risk-assessment-risk-factor-modelling "Moneyball for Software Projects: Agile Metrics for the Metrically Challenged";Troy Magennis goo.gl/VbAEEZ "High-Level Project Planning using Monte Carlo simulation"; Dimitar Bakardzhiev goo.gl/KkC74b “ #NoEstimates Project Planning using Monte Carlo simulation"; Dimitar Bakardzhiev goo.gl/SDHJYP "Little's law and predictability"; Daniel Vacanti goo.gl/ETDzg9 "Kanban Metrics in practice at Sky Network Services"; Mattia Battiston goo.gl/tQXqwN "By the power of metrics";Wolfgang Wiedenroth goo.gl/ebGU3h "Project planning using Little’s Law"; Dimitar Bakardzhiev goo.gl/rw1X5T Little, J. D. C., S. C. Graves. 2008. Little’s Law. D. Chhajed, T. J. Lowe,eds. Building Intuition: Insights from Basic Operations Management Models and Principles. Springer Science + Business Media LLC,New York. J. D. C. Little. Little's law as viewed on its 50th anniversary. Oper. Res. 59 (2011) 536{539. http://learningagileandlean.wordpress.com/2013/08/01/on-the-practically-useful-properties-of-theweibull- distribution/ DE FREITAS FILHO, Paulo José. Introdução à modelagem e simulação de sistemas: com aplicações em Arena. Visual Books 2ª edição, 2008. https://rodrigoalmeidadeoliveira.wordpress.com/2018/08/01/metricas-lean-e-gerenciamento-de-fluxo/
- 65. REFERÊNCIAS
- 66. Muito obrigado!
- 67. Métricas & Forecasting Não perca (seu raro e precioso) tempo fazendo estimativas!