bayesintro
- 1. Clasificación Bayesiana Naive Bayes septiembre 30, 2014 Ricardo Corral Corral rcorral@email.ifc.unam.mx Instituto de Fisiología Celular Universidad Nacional Autónoma de México
- 2. 1 Temas Introducción Conceptos y notación Teorema de Bayes Clasificación Discusión Naive Bayes Planteamiento Definición del método Fin Información de contacto Ricardo Corral Corral rcorral@email.ifc.unam.mx | Clasificación Bayesiana
- 3. 2 Introducción Bayes Conceptos y notación Probabilidad P(A) Ricardo Corral Corral rcorral@email.ifc.unam.mx | Clasificación Bayesiana
- 4. 2 Introducción Bayes Conceptos y notación Probabilidad P(A) Probabilidad Condicional P(A|B) Ricardo Corral Corral rcorral@email.ifc.unam.mx | Clasificación Bayesiana
- 5. 2 Introducción Bayes Conceptos y notación Probabilidad P(A) Probabilidad Condicional P(A|B) Probabilidad Conjunta P(A, B) = P(A)P(B|A) Ricardo Corral Corral rcorral@email.ifc.unam.mx | Clasificación Bayesiana
- 6. 2 Introducción Bayes Conceptos y notación Probabilidad P(A) Probabilidad Condicional P(A|B) Probabilidad Conjunta P(A, B) = P(A)P(B|A) Probabilidad Conjunta (eventos independientes) P(A, B) = P(A)P(B) Ricardo Corral Corral rcorral@email.ifc.unam.mx | Clasificación Bayesiana
- 7. 3 Teorema de Bayes cookie problem Ricardo Corral Corral rcorral@email.ifc.unam.mx | Clasificación Bayesiana
- 8. 3 Teorema de Bayes cookie problem P(B1|V) =? Ricardo Corral Corral rcorral@email.ifc.unam.mx | Clasificación Bayesiana
- 9. 4 Teorema de Bayes derivación Ricardo Corral Corral rcorral@email.ifc.unam.mx | Clasificación Bayesiana
- 10. 5 Teorema de Bayes ...cookie problem P(B1) = 1 2 Ricardo Corral Corral rcorral@email.ifc.unam.mx | Clasificación Bayesiana
- 11. 5 Teorema de Bayes ...cookie problem P(B1) = 1 2 P(V | B1) = 3 4 Ricardo Corral Corral rcorral@email.ifc.unam.mx | Clasificación Bayesiana
- 12. 5 Teorema de Bayes ...cookie problem P(B1) = 1 2 P(V | B1) = 3 4 P(V) = 5 8 P(B1 | V) = 1 2 3 4 5 8 = 3 5 Ricardo Corral Corral rcorral@email.ifc.unam.mx | Clasificación Bayesiana
- 13. 6 Teorema de Bayes interpretación P(H | D) = P(H)P(D | H) P(D) P(H) prior P(H | D) posterior P(D | H) likelihood P(D) constante de normalización Ricardo Corral Corral rcorral@email.ifc.unam.mx | Clasificación Bayesiana
- 14. 7 Teorema de Bayes otro ejemplo D es el evento de que un atleta utilize PEDs (performance-enhancing drugs) T evento de que una prueba de PEDs de positivo El laboratorio que realiza el test asegura que puede detectar el uso de PEDs el 90% de las ocasiones. Además, la razón de falsos positivos es del 15%. Se sabe también que el 10% de los atletas utiliza PEDs. P(D | T) = P(D)P(T | D) P(T | D)P(D) + P(T | D )P(D ) Ricardo Corral Corral rcorral@email.ifc.unam.mx | Clasificación Bayesiana
- 15. 7 Teorema de Bayes otro ejemplo D es el evento de que un atleta utilize PEDs (performance-enhancing drugs) T evento de que una prueba de PEDs de positivo El laboratorio que realiza el test asegura que puede detectar el uso de PEDs el 90% de las ocasiones. Además, la razón de falsos positivos es del 15%. Se sabe también que el 10% de los atletas utiliza PEDs. P(D | T) = P(D)P(T | D) P(T | D)P(D) + P(T | D )P(D ) P(D | T) = 0.90.1 0.90.1 + 0.150.9 = 0.4 Ricardo Corral Corral rcorral@email.ifc.unam.mx | Clasificación Bayesiana
- 16. 8 Clasificación recordatorio Ricardo Corral Corral rcorral@email.ifc.unam.mx | Clasificación Bayesiana
- 17. 9 Naive Bayes planteamiento Probabilidad de pertenencia a una clase ¿Cuál es la probabilidad de que una muestra x1, x2, ..., xm pertenezca a la clase C? P(C | x1, x2, ..., xm) =? Ricardo Corral Corral rcorral@email.ifc.unam.mx | Clasificación Bayesiana
- 18. 10 Naive Bayes definición Predicción de la clase más probable ¿Cuál es la mejor predicción de una clase para la observación x1, x2, ..., xm ? Cpred (x1, x2, ..., xm) = argmax c P(c) m i P(xi | c) Algunas modificaciones convenientes; log-probas y correción de Laplace (Laplace smoothing o Lidstone smoothing en el caso general) Ricardo Corral Corral rcorral@email.ifc.unam.mx | Clasificación Bayesiana
- 19. 11 Naive Bayes características Modelo sencillo, fácil de implementar Convergencia más rápida que con otros métodos discriminativos (aprende bien de pocos datos de entrenamiento) El cálculo de los marginales es independiente (los conteos de atributos para cada clase se pueden hacer en paralelo) Bastante efectivo si se mantiene la independencia condicional, si no, en la práctica aún puede dar resultados buenos. Puede no comportarse bien con clases no balanceadas Ricardo Corral Corral rcorral@email.ifc.unam.mx | Clasificación Bayesiana
- 20. 12 Contacto dudas y cosas así Ricardo Corral Corral rcorral@email.ifc.unam.mx Ricardo Corral Corral rcorral@email.ifc.unam.mx | Clasificación Bayesiana
- 21. Gracias