Treinamento Causalidade

1. Knwledge Day-Off3ooTA B L E P A R T N E R SProbabilidadeCondicional e Causalidade26/11/2010

2. AGENDA© 2010 TABLE PARTNERS. Reprodução proibida.1Condições deContornoO que em breve poderemos fazer14Porque temos que lidar com incerteza e probabilidade no nosso trabalho?Descoberta de causalidade a partir de correlaçãoTempoO quefazemos hojeO que já podemos fazer diferente23Como lidamos com incerteza e probabilidade na TablePartners atualmente?Probabilidades condicionais, inferências Bayesianas e redes

4. A maior parte do trabalho do consultor baseia-se em raciocínios indutivos© 2010 TABLE PARTNERS. Reprodução proibida.3ConclusãoArgumentosABCSustentação dos argumentosA1A3A2B1B2B3C1C2C3Raciocínio Indutivo PrósFacilita a absorção dos principais pontosDá maior estabilidade às recomendações (se um argumento “cai”, a conclusão pode não se invalidar) ContrasPode ser considerado impositivo por alguns clientes se usado em excesso

5. É inválido logicamente... !

6. A invalidez formal da indução impõe algumas condições de contorno ao nosso trabalhoSempre podemos estar errados; sempre há incertezas – nós precisamos saber disso e o cliente tambémDevemos sempre identificar as principais fontes de incertezas e as “aberturas por onde passarão os hunos”Sempre que possível, devemos modelar “monte-carlicamente” nossos números e/ou trabalhar com cenários, pontos de decisão/inflexão, milestones, etc.O tempo todo devemos nos perguntar “o que refutaria essa conclusão” (“o que o Diabo vai dizer, se estiver na sala”) – nosso esforço não é apenas de acumular evidências para “provar” o nosso ponto, mas também para desprová-loSempre devemos ser humildes (a verdade é que nós não sabemos... e, Table Partners, esta pode/deve ser a nossa força!)4© 2010 TABLE PARTNERS. Reprodução proibida.

8. Utilizamos árvores de decisão dinâmicas (usando Excelcius), para que o cliente participe da decisão© 2010 TABLE PARTNERS. Reprodução proibida.6faz XCenário ACenário BCenário ANewcoCenário ACenário BCenário ACliente

10. Já dominamos a linguagem da incerteza, mas ainda podemos avançarA probabilidade, linguagem da incerteza, já está no nosso sangueOu fazemos análises de cenários com “bestguesses” das variáveis incertas – tendo um resultado determinístico, mas com uma probabilidade implícitaOu realizamos simulações como no Monte Carlo e obtemos resultados puramente probabilísticos, dando ao cliente uma visão explícita das incertezas envolvidasEntretanto, ainda temos pouco conhecimento das ferramentas da probabilidade condicional, que serão introduzidas a seguir© 2010 TABLE PARTNERS. Reprodução proibida.8

12. © 2010 TABLE PARTNERS. Reprodução proibida.10O problema do aniversárioNuma sala com 70 pessoas, qual a probabilidade de que pelo menos duas tenham o mesmo aniversário?Quantas pessoas é preciso ter em uma sala, para que se tenha 50% de probabilidade de duas fazerem anos no mesmo dia?(a) 81(b) 23(c) 175(a) 99,92%(b) 19,2%(c) 9,6%

13. © 2010 TABLE PARTNERS. Reprodução proibida.11O problema do aniversárioNuma sala com 70 pessoas, qual a probabilidade de que pelo menos duas tenham o mesmo aniversário?(a) 99,92%Quantas pessoas é preciso ter em uma sala, para que se tenha 50% de probabilidade de duas fazerem anos no mesmo dia?(b) 23O ser humano é naturalmente despreparado para cálculo probabilístico condicional – nosso mecanismo de estimativa falha sistematicamente

14. © 2010 TABLE PARTNERS. Reprodução proibida.12O problema do aniversárioNum grupo de n indivíduos, qual a probabilidade de que pelo menos dois tenham o mesmo aniversário?A “simples” combinatória, na verdade, é um conjunto de probabilidades condicionais

15. O problema do teste imperfeito© 2010 TABLE PARTNERS. Reprodução proibida.13Carta do LaboratórioCaro Fulano,Recentemente, você foi ao nosso laboratório fazer um teste para a doença XPTO, que atinge uma pessoa a cada dez mil.Lamentamos informar que nosso exame, que tem uma eficiência simétrica de 99% – isto é, tem 1% de falso positivo e 1% de falso negativo – apontou um resultado positivo.Qual a probabilidade de você estar realmente doente?(a) 1%(b) 48%(c) 97%

16. O Teorema de Bayes baseia-se nas leis da probabilidade condicional© 2010 TABLE PARTNERS. Reprodução proibida.14Relembrando: Probabilidades CondicionaisTeorema de Bayes (Thomas Bayes, 1763)Teorema de Bayes: Ferramenta para calcular a probabilidade de que alguma hipótese A seja verdadeira, a partir da observação ou evidência B

17. Seja D = Estar Doente, E = Exame dar PositivoP(D) = 1/10.000 = 0,01%  P(¬D) = 99,99%

18. P(E|D) = 99%  P(E|¬D) = 1%

20. O problema do teste imperfeito© 2010 TABLE PARTNERS. Reprodução proibida.16Carta do LaboratórioCaro Fulano,Recentemente, você foi ao nosso laboratório fazer um teste para a doença XPTO, que atinge uma pessoa a cada dez mil.Lamentamos informar que nosso exame, que tem uma eficiência simétrica de 99% – isto é, tem 1% de falso positivo e 1% de falso negativo – apontou um resultado positivo.Qual a probabilidade de você estar realmente doente?(a) 1%(b) 48%(c) 97%

22. Porta dos Desesperados: qual estratégia maximiza a chance de ganhar os brinquedos?© 2010 TABLE PARTNERS. Reprodução proibida.18O Problema da Porta dos Desesperados(Monty Hall Problem)No quadro do programa do Sérgio Mallandro, há três portas. Atrás de uma delas, brinquedos. Atrás das duas outras, um monstro.Após a criança escolher uma porta, Sérgio Mallandro abre uma das outras duas, revelando um monstro, e pergunta: “Você quer trocar de porta?!”Qual a melhor estratégia? Trocar ou manter a porta?Vai trocar a porta? Rá!!

23. Porta dos Desesperados: qual estratégia maximiza a chance de ganhar os brinquedos?© 2010 TABLE PARTNERS. Reprodução proibida.19O Problema da Porta dos Desesperados(Monty Hall Problem)Sejam P1, P2 e P3 as situações em que os brinquedos estão nas portas 1, 2 e 3, respectivamente.Assumindo que a porta dos brinquedos foi escolhida aleatoriamente, P(P1) = P(P2) = P(P3) = ⅓Vamos supor que a criança escolheu a porta 1 (C1), e chamemos de S2 o ato do Mallandro abrir posteriormente a porta 2. Se os brinquedos estiveremNa porta 1, P(S2|C1,P1) = ½

24. Na porta 2, P(S2|C1,P2) = 0

25. Na porta 3, P(S2|C1,P3) = 1Importante: sem ter evidências da porta escolhida pela criança e de onde estão os brinquedos, o Mallandro abre qualquer uma das duas portas: P(S2) = ½

26. Porta dos Desesperados: qual estratégia maximiza a chance de ganhar os brinquedos?© 2010 TABLE PARTNERS. Reprodução proibida.20O Problema da Porta dos Desesperados(Monty Hall Problem)ColaP(P1) = P(P2) = P(P3) = ⅓

27. P(S2) = ½

28. A criança escolheu a porta 1. S2 = o ato do Mallandro abrir a porta 2

29. Se os brinquedos estiverem

30. Na porta 1, P(S2|C1,P1) = ½

31. Na porta 2, P(S2|C1,P2) = 0

32. Na porta 3, P(S2|C1,P3) = 1Trocar de porta é a melhor estratégia !

33. Como diria o JN: Legal, Guri...mas e no contexto da TP, você tem algum exemplo?!© 2010 TABLE PARTNERS. Reprodução proibida.21Estimativa de MarketShareSuponha que um analista esteja interessado em estimar o marketshare (S) de sua empresa.Ele resolveu entrevistar 10 experts do mercado, chegando numa estimativa inicial de 34% a partir da média dos resultados.Estimativas dos Experts (A Priori)

34. Como diria o JN: Legal, Guri...mas e no contexto da TP, você tem algum exemplo?!© 2010 TABLE PARTNERS. Reprodução proibida.22Estimativa de MarketShareSuponha que o analista faça um levantamento rápido com um grupo randômico de 20 pessoas, e 4 delas usem o produto da sua empresa.Ou seja, considerando uma distribuição binomial, temos x=4 sucessos em n=20 tentativas. Podemos utilizar essas informações (evidências) para atualizar nosso grau de crença no marketshare.

35. Como diria o JN: Legal, Guri...mas e no contexto da TP, você tem algum exemplo?!© 2010 TABLE PARTNERS. Reprodução proibida.23Estimativa de MarketShareSuponha que o analista faça um levantamento rápido com um grupo randômico de 20 pessoas, e 4 delas usem o produto da sua empresa.Ou seja, considerando uma distribuição binomial, temos x=4 sucessos em n=20 tentativas. Podemos utilizar essas informações (evidências) para atualizar nosso grau de crença no marketshare.Probabilidades A Priori e PosterioriA probabilidade do MarketShare estar entre 20 e 30% é de 76%

36. A grande vantagem é poder atualizar nossas estimativas à medida que temos novos dados© 2010 TABLE PARTNERS. Reprodução proibida.24Estimativa de MarketShareSuponha que o analista faça um novo levantamento com um grupo randômico de 16 pessoas, e 3 delas usem o produto da sua empresa.Ou seja, considerando uma distribuição binomial, temos x=3 sucessos em n=16 tentativas. Podemos utilizar essas informações (evidências) para atualizar nosso grau de crença na distribuição do marketshare.Probabilidades A Priori e PosterioriA nova probabilidade do MarketShare estar entre 20 e 30% é de 86%

37. O Paradoxo de Simpson é um alerta ao uso naif de estatística, sem reflexão sobre causa e efeito© 2010 TABLE PARTNERS. Reprodução proibida.25Resultados da Admissão para Berkeley(1973, por sexo)Berkley discrimina mulheres no processo de admissão?Mulheres são menos preparadas?

38. O Paradoxo de Simpson é um alerta sobre os riscos da inferência estatística simplista© 2010 TABLE PARTNERS. Reprodução proibida.26Resultados da Admissão para Berkeley(1973, por sexo)Resultados da Admissão de Berkeley(1973, por sexo e departamento)

39. Ele torna-se ainda mais relevante quando há relações causais envolvidas© 2010 TABLE PARTNERS. Reprodução proibida.27Resultados de Tratamento com Droga(Masculino)Placebo > Droga(Feminino)Placebo > Droga

40. Ele torna-se ainda mais relevante quando há relações causais envolvidas© 2010 TABLE PARTNERS. Reprodução proibida.28Resultados de Tratamento com Droga(Masculino)Placebo > Droga(Feminino)Placebo > Droga(Total)Droga > Placebo! ! !

41. A estrutura causal do problema tem implicação direta na forma como devemos analisar os dados© 2010 TABLE PARTNERS. Reprodução proibida.29Estrutura causal do problemaSexoComo S é uma causa comum de T e R, precisamos analisar separadamente os resultados de homens e mulheres para blindar o efeito de S sobre RSTRTratamentoRecuperaçãoE se mudarmos um pouco a estrutura?PressãoPDevemos analisar os resultados agregados, pois se condicionarmos em P, bloquearemos a influência causal de T em R via PTRTratamentoRecuperação

42. Vejamos um exemplo real de cliente© 2010 TABLE PARTNERS. Reprodução proibida.30Análise do benefício de uma ação “A”BU 2BU 1Impacto de “A” na margem oper.+ US$ 1,34 / un.(20% increase)+ US$ 1,12 / un.(15% increase)Tipos de transaçãoA vistaA vistaFinanciadaFinanciadaInadimplência por tipo de transação0%A vistaA vistaFinanciadaFinanciada0%Retenção

44. A estrutura causal pode ter minado a qualidade do nosso trabalho© 2010 TABLE PARTNERS. Reprodução proibida.32Se esta for a estrutura causal, estamos bemTransaçãoDevemos analisar a última coluna, pois se analisarmos separadamente por P, bloquearemos a influência de T sobre M via PTPMPrazoMargensSe for esta...houston, we´vegot a problem...TransaçãoDevemos analisar as colunas de P separadamente para blindar seu efeito em M, visto que é o efeito de T em M que queremos avaliarTPMPrazoMargens

45. E agora, como proceder?Experts com “conhecimento de causa” problema podem afirmar se as hipóteses causais são válidasJá procedemos dessa maneira inconscientemente no nosso cotidiano© 2010 TABLE PARTNERS. Reprodução proibida.33Possíveis SoluçõesReasoningAlgoritmosEstão sendo desenvolvidos algoritmos que identificam causalidade em alguns padrões de correlação

46. A disponibilidade de softwares para executar esses processos automaticamente ainda é pobre

47. Esses algoritmos podem ser combinados com conhecimento expertTostines vende mais porque é mais fresquinho ou é mais fresquinho porque vende mais?!Nosso trabalho tem uma relação íntima com as “estruturas causais” dos problemas – cada vez mais complexos – dos clientesInfelizmente, nosso poderio para inferências causais é limitado. Há duas justificativas legítimas para essa situação...Os algoritmos de tradução de correlação para causalidade não se adequam a todas a situaçõesA implementação em software desse algoritmos ainda está em curso...mas é importante que saibamos da existência desse movimento. Muito em breve ele terá ferramentas poderosas – como ocorreu com Monte Carlo – e ser early-adopterserá um diferencial para a TablePartners© 2010 TABLE PARTNERS. Reprodução proibida.34

49. As redes são uma ferramenta poderosa para fazer inferências com muitas variáveis© 2010 TABLE PARTNERS. Reprodução proibida.36Exemplo de RedeDefinições BásicasRepresentação compacta da distribuição conjunta de probabilidade, feita a mão ou por data mining + algoritmos de aprendizado ou uma combinação dos doisAs redes são grafos direcionados acíclicosVértices representam variáveis de interesseArcos representam dependências causais ou correlacionais entre as variáveisAs variáveis são discretas ou contínuasAs relações entre variáveis podem serBayesianas: puramente probabilísticasEstruturais/Funcionais: funções determinísticasX1X3X2X4X5X6

50. Vamos à prática© 2010 TABLE PARTNERS. Reprodução proibida.37O problema da Energia em JacareíA TablePartners foi contratada pelo prefeito de Jacareí – motor do Brasil – para resolver o problema de cortes de luz na cidade.Ele explicou que o sistema de energia da cidade é composto de dois conjuntos usina-linha de transmissão independentes, com capacidade de 130MW cada:As usinas estão indisponíveis 10% do tempo

51. As linhas de transmissão ficam indisponíveis, no inverno, durante 1% do tempoNas suas primeiras análises, você conclui que a demanda varia de acordo com uma normal de desvio padrão 30MW e média de:150MW no inverno

52. 50MW no verão

53. 100MW na primavera e outonoO prefeito quer uma indisponibilidade de apenas 2%. E agora, qual a melhor maneira de resolver o problema?

Treinamento Causalidade

Mais conteúdo relacionado

Semelhante a Treinamento Causalidade (20)

Mais de TABLE PARTNERS (14)

Último (20)

Treinamento Causalidade