Cadenas de markov io2
- 1. CADENAS DE MARKOV Piero Cuneo M.
- 2. CONCEPTOSBÁSICOS • Espacio muestral: es el conjunto de posibles valores • resultados de un experimento • Probabilidad: es la posibilidad de ocurrencia de un evento • Evento: subconjunto del espacio muestral • Función de distribución: función que asigna a cada evento • una probabilidad • Variable aleatoria: una función que asigna valores reales a los resultados de un experimento.
- 3. • Es un proceso que se desarrolla de manera aleatoria en el tiempo. ¿QUÉ ES UN PROCESO ESTOCÁSTICO? Mutaciones de un virus
- 4. • Es un proceso que se desarrolla de manera aleatoria en el tiempo. ¿QUÉ ES UN PROCESO ESTOCÁSTICO? • Los ingresos por ventas de una compañía • El desarrollo del tráfico en una ciudad • Cantidad de productos en inventario • Índice de homicidios de una región • La demanda de la energía eléctrica. • Estabilidad política de una región • Asistentes a la universidad el día de parcial Otros ejemplos
- 5. DEFINICIÓN FORMAL • Proceso estocástico: es una familia de variables aleatorias { 𝑋(𝑡 ) , 𝑡 ∈ 𝑇 } en donde t toma valores del conjunto T.
- 6. DESCRIPCIÓN DE UN PROCESO ESTOCÁSTICO { 𝑋(𝑡), 𝑡∈ 𝑇 } • Para describir un proceso estocástico basta conocer la distribución de probabilidad conjunta de dichas variables. • Para cada t el sistema se encuentra en uno de un número finito de • estados mutuamente excluyentes; 0, 1, 2, … , M • Si T es finito se trata de un proceso discreto • Si T es un subconjunto de los reales se trata de un proceso continuo
- 7. • Una cadena de Markov es un proceso estocástico que cumple con la propiedad de perdida de memoria. • Los estados futuros del proceso dependen únicamente del presente, por lo mismo son independientes del pasado. • Las cadenas de Markov son modelos probabilísticos que se usan para predecir la evolución y el comportamiento a corto y a largo plazo de determinados sistemas. Cadenas de Markov
- 8. • Definición formal de un proceso markoviano: • Considere el proceso ( 𝑋 𝑛+1, 𝑋 𝑛, 𝑋 𝑛−1,…, 𝑋1, 𝑋0) • Si 𝑋 𝑛 = 𝑖→ el proceso se encuentra en el estado i en el tiempo • o etapa n. • Un proceso cumple con la propiedad markoviana si: • Cadenas de Markov 𝑃(𝑋 𝑛+1 = 𝑗/𝑋 𝑛 = 𝑖, 𝑋 𝑛−1 = 𝐾 𝑛−1,…, 𝑋1 = 𝐾1, 𝑋0 =𝐾0) = 𝑃(𝑋 𝑛+1 = 𝑗/𝑋 𝑛 =𝑖) Presente Pasado
- 9. Probabilidad de transición • La probabilidad 𝑃(𝑋 𝑛+1 = 𝑗/𝑋 𝑛 = 𝑖)se denomina probabilidad de transición. Probabilidades estacionarias • Se cumple: 0≤ 𝑃𝑖𝑗 𝑛 ≤1 𝑝𝑎𝑟𝑎 𝑡 𝑜 𝑑𝑜𝑖, 𝑗, 𝑛 =0,1,2,… Cadenas de Markov
- 10. • Matriz de transición de una etapa: matriz cuadrada formada por las probabilidades de transición. Resume todas las probabilidades de transición para los M estados posibles del sistema. Cadenas de Markov
- 11. • Representación gráfica de un proceso de Markov • Un proceso de Markov puede representarse gráficamente si se conocen los M estados posibles del sistema y las probabilidades de transición asociadas a ellos. Cadenas de Markov 0 1 𝛼 𝛽 1−𝛽 𝛼 1−𝛽 0𝑃 = 1 0 1 1−𝛼 𝛽 1−𝛼
- 12. PROBABILIDADES DE TRANSICIÓN A LA “n-ésima “ ETAPA
- 13. PROBABILIDADES DE TRANSICIÓN A LA “n-ésima “ ETAPA
- 14. • Diremos que un estado j es alcanzable desde el estado i, si existe una sucesión de arcos (camino) que van desde i hasta j. • Un estado j es absorbente si Pjj=1.Siempre que se ingresa a un estado absorbente nunca se saldrá de el , es un conjunto cerrado que contiene un solo estado . • Un estado i es un estado transitorio si existe un estado j que es alcanzable desde i , pero i no es alcanzable desde j • Si un estado no es transitorio , es un estado recurrente, se repite • Un estado recurrente i es periódico si su trayectoria es k >1 y la trayectoria de regreso del estado i al estado i es múltiplo de k . • Un estado recurrente no es periódico, es aperiódico. • Si todos loes estados de una cadena son recurrentes , aperiódicos y se comunican entre si , se dice que la cadena es ergodica. CLASIFICACIÓN DE ESTADO DE UNA CADENA DE MARKOV
- 15. • Periodicidad: • En la siguiente CM todos los estados son periódicos de periodo k=2: • Cadenas ergodicas: • Es posible avanzar desde un estado i hasta cualquier estado j , no es necesario que se logre en un solo paso , pero debe ser posible para que cualquier resultado sea logrado. Deben de ser recurrentes, aperiódicos y comunicados entre si. CLASIFICACIÓN DE ESTADO DE UNA CADENA DE MARKOV
- 16. • Estado Estable: • Se describe el comportamiento a largo plazo de las CM , refleja una probabilidad constante luego de un largo periodo. PROBABILIDADES DE ESTADO ESTABLE
- 17. • Concepto: • Sea X una CM cuyos estados son todos transitorios o absorbentes. En tal caso diremos que X es absorbente CADENAS ABSORBENTES I RQ P 0 ' • I: Matriz Identidad • Q: M. de estados transitorios. • R: Transiciones de estados transitorios a estados absorbentes. • 0: Matriz de ceros
- 18. • Concepto: • El número medio de etapas que se estará en el estado transitorio j antes de la absorción, suponiendo que empezamos en el estado transitorio i, viene dado por el elemento (i,j) de: (I–Q’)–1 Proposición: La probabilidad de ser absorbido por un estado absorbente j, suponiendo que empezamos en el estado transitorio i, viene dada por el elemento (i,j) de la matriz (I–Q’)–1 R, que se denomina matriz fundamental de la CM CADENAS ABSORBENTES I RQ P 0 '• I: Matriz Identidad • Q: M. de estados transitorios. • R: Transiciones de estados transitorios a estados absorbentes. • 0: Matriz de ceros