Métricas e a automatização do controle de qualidade
Transferir como PPTX, PDF7 gostaram1,474 visualizações
O documento aborda métricas e automatização no controle de qualidade, destacando a importância de medir a eficácia do código e as vendas. Propõe métodos para capturar dados de erro e complexidade, além de realizar testes A/B para avaliar o desempenho de mudanças. Em suma, enfatiza a contínua necessidade de validação e garantias em cada etapa do processo de desenvolvimento.
Métricas e a automatização do controle de qualidade
- 1. Métricas e automatização do controle de qualidade Guilherme Silveira www.alura.com.br www.caelum.com.br
- 2. Prelude
- 3. Meu cenário
- 4. Copa 2014
- 5. Copa 2014
- 6. Copa 2014
- 7. Meu cenário • equipe técnica pequena (3 pessoas) • garantir que funciona • garantir que continua desenvolvendo
- 8. Meu cenário • equipe de negócios pequena (3 pessoas) • aumentar a venda • aumentar a felicidade
- 9. "Essa história vai melhorar as vendas.” “Essa refatoração vai melhorar a manutenção”. Será?
- 10. Hoje eu tô mais feliz! • Comer maçã deixa mais feliz? • Palhaço deixa mais feliz? • O que é feliz? O que é mais feliz?
- 11. “convincing methods of measurement"
- 12. Queremos saber • Meu código é bom? • funciona em produção • Meu cliente comprou mais? • testes com cliente
- 13. Parte 1
- 14. Meu código tá bom • O que é bom? • vai dar erro? • digitar menos? • permitir mudanças? • complexidade? • erros?
- 15. O que é bom? • vai dar erro? compilador. • digitar menos? IDE. • permitir mudanças? testes + compilador + IDE • complexidade? medir com compl. ciclomática. • erros? log
- 17. Meu código tá bom www.aniche.com.br/publications
- 18. O que vamos fazer? • Erros em produção!!!! O que fazer???
- 19. Se meu editor mostrasse…
- 20. Meu código tá bom • Capturando dados • Complexidade por commit • Erros por deploy
- 21. Salvando complexidade • commit + complexidade => salva o número
- 23. Salvando métrica
- 25. Code Sheriff chefe no topo = suspeito
- 26. Code Sheriff
- 27. Code Sheriff
- 28. Code Sheriff
- 29. Code Sheriff “Efeitos da Prática de Revisão de Código na Caelum: Um Estudo de Caso Preliminar” quinta feira, 11:30 com Maurício Aniche e Chico Sokol
- 30. Bugs por deploy • deploy + exception line => acumular as linhas
- 31. Commit => Tag
- 32. Metric + Metrics
- 33. value / array
- 37. Bônus • independente de linguagem • gratuito (thanks heroku) • todo: providers de log, hot spots etc
- 38. Resumindo • melhor que TXT • melhor que dashboard • é a SUA tela de desenvolvedor
- 39. Parte 2
- 40. Garantias • compilação • refatoração (IDE, não editor) • teste • produção em sua IDE
- 41. Meu cliente comprou mais • O que é mais? • 0.1%? 5%? 10%? 1000%? • O que é comprar? • comprar é anomalia? • 0.0001% => 0.01% • 1 compra para 100 compras?
- 42. Testes A/B • Evitar algumas variações de variáveis • Mas mesmo assim não evita tudo
- 43. Amostra: teste a/b • Testei clientes no A: 10 compras • Testei clientes no B: 100 compras • Uhu! B é 10 x mais efetivo • Será?
- 44. Amostra: teste a/b • Testei 100 clientes no A: 10 compras • Testei 10000 clientes no B: 100 compras • Coco! A é 10 x mais efetivo • Será?
- 45. Faço o teste novamente • Resultando completamente trocado • A/B => A ganha, A/B => B ganha • A/A’ => A ganha • qual a margem de erro?
- 46. Amostra: teste a/b • Capturando os dados • opção mostrada • resultado da ação (comprou/não comprou)
- 47. Amostra: teste a/b • nos testes que fazemos se usarmos • 2 sigma => 95.4% • 4.6% de chance de eu errar • é suficiente?
- 48. Amostra: teste • Mas os físicos usam isso Guilherme • Boson de Higgs • Sim, com 5 sigma • 3 x 10 -7 => 0.00007%
- 49. Amostra: teste a/b • Visualizando • mostrando se está dentro ou fora do erro • conclusivo ou não
- 50. Não adianta fazer 1000 testes e 1 só dar certo! • 1000 testes vai dar caca • Você VAI achar um certo. E ele está errado. • Meta meta erro • Correção de Bonferroni
- 51. google analytics statistical significance
- 52. google analytics statistical significance
- 53. z-test plugin
- 54. quer testar? statistical significance experian.com/blogs/marketing-forward/2012/12/27/statistical-significance-http://code.google.com/p/r-google-analytics/ lunametrics.com/blog/2014/05/27/statistical-significance-chrome-extension http://www.michaelwhitaker.com/2013/12/17/z-test-google-analytics/
- 55. Exemplo 1 • 20 mil visitantes/mês • A: 10mil, B: 10 mil • A converte 1% • B converte 30% a mais (??????) • 1 mês depois, 95% ok
- 56. Exemplo 2 • 20 mil visitantes/mês • A: 10mil, B: 10 mil • A converte 1% • B converte 10% a mais • 6 meses depois, 95% ok
- 57. Fechando
- 58. Resumindo • Capture • Armazene • Mostre • Acompanhe no dia a dia • Desconfie do resultado
- 59. O que eu quero • garantias ao digitar • garantias ao refatorar • garantias ao rodar local • garantias ao rodar remoto • garantias ao mudar o processo
- 60. O que eu gosto • garantias ao digitar: compilador Java, Panettone • garantias ao refatorar: Eclipse • garantias ao rodar local: testes • garantias ao rodar remoto: testes • garantias ao mudar o processo: dados de produção
- 61. Métricas e automatização do controle de qualidade Guilherme Silveira www.alura.com.br www.caelum.com.br