Cadenas de markov 1
2 recomendaciones5,410 vistas
Este documento introduce las cadenas de Markov, que son procesos estocásticos en los que la probabilidad del próximo estado depende únicamente del estado actual. Se define la matriz de transición, que codifica las probabilidades de cambio entre estados. El documento explica cómo calcular la probabilidad de los estados futuros usando potencias sucesivas de la matriz de transición.
Cadenas de markov 1
- 1. 1 Métodos Estadísticos en Ciencias de la Vida CADENAS DE MARKOV Introducción Un proceso o sucesión de eventos que se desarrolla en el tiempo en el cual el resultado en cualquier etapa contiene algún elemento que depende del azar se denomina proceso aleatorio o proceso estocástico. Por ejemplo, la sucesión podría ser las condiciones del tiempo en Paraná en una serie de días consecutivos: el tiempo cambia día a día de una manera que en apariencia es algo aleatoria. O bien, la sucesión podría consistir en los precios de las acciones que cotizan en la bolsa en donde otra vez interviene cierto grado de aleatoriedad. Un ejemplo simple de un proceso estocástico es una sucesión de ensayos de Bernoulli, por ejemplo, una sucesión de lanzamientos de una moneda. En este caso, el resultado en cualquier etapa es independiente de todos los resultados previos (esta condición de independencia es parte de la definición de los ensayos de Bernoulli). Sin embargo, en la mayoría de los procesos estocásticos, cada resultado depende de lo que sucedió en etapas anteriores del proceso. Por ejemplo, el tiempo en un día determinado no es aleatorio por completo sino que es afectado en cierto grado por el tiempo de días previos. El precio de una acción al cierre de cualquier día depende en cierta medida del comportamiento de la bolsa en días previos. El caso más simple de un proceso estocástico en que los resultados dependen de otros, ocurre cuando el resultado en cada etapa sólo depende del resultado de la etapa anterior y no de cualquiera de los resultados previos. Tal proceso se denomina proceso de Markov o cadena de Markov (una cadena de eventos, cada evento ligado al precedente) Estas cadenas reciben su nombre del matemático ruso Andrei Andreevitch Markov (1856-1922). Como mencionamos antes, estas cadenas tiene memoria, recuerdan el último evento y eso condiciona las posibilidades de los eventos futuros. Esto justamente las distingue de una serie de eventos independientes como el hecho de tirar una moneda. Este tipo de proceso presenta una forma de dependencia simple, pero muy útil en muchos modelos, entre las variables aleatorias que forman un proceso estocástico. Se utilizan, por ejemplo, para analizar patrones de compra de deudores morosos, para planear necesidades de personal, para analizar el reemplazo de un equipo, entre otros. Definición Una cadena de Markov es una sucesión de ensayos similares u observaciones en la cual cada ensayo tiene el mismo número finito de resultados posibles y en donde la probabilidad de cada resultado para un ensayo dado depende sólo del resultado del ensayo inmediatamente precedente y no de cualquier resultado previo. Propiedad de Markov: Dada una secuencia de variables aleatorias X 1 , X 2 , X 3 , ...... , tales que el valor de X n es el estado del proceso en el tiempo n. Si la distribución de probabilidad condicional de X n +1 en estados pasados es una función de X n por sí sola, entonces: P(X n + 1 = x n + 1 /X n = xn , X n − 1 = xn − 1 ,....X 2 = x2 , X 1 = x1 ) = P(X n + 1 = x n + 1 /X n = xn ) Donde xi es el estado del proceso en el instante i.
- 2. 2 Métodos Estadísticos en Ciencias de la Vida Esta identidad es la denominada propiedad de Markov: El estado en t + 1 sólo depende del estado en t y no de la evolución anterior del sistema Matriz de transición Al trabajar con cadenas de Markov, a menudo es útil pensar la sucesión de ensayos como experimentos efectuados en cierto sistema físico, cada resultado dejando a este sistema en cierto estado. Por ejemplo, consideremos una sucesión de elecciones políticas en cierto país: el sistema podría tomarse como el país mismo y cada elección lo dejaría en cierto estado, es decir en el control del partido ganador. Si sólo hay dos partidos políticos fuertes, llamados A y B, los que por lo regular controlan el gobierno, entonces podemos decir que el país se encuentra en el estado A o B si el partido A o B ganara la elección. Cada ensayo (o sea cada elección), coloca al país en uno de los dos estados A o B. Una sucesión de 10 elecciones podría producir resultados tales como los siguientes: A, B, A, A, B, B, B, A, B, B La primera elección en la sucesión deja en el poder al partido A, la segunda fue ganada por el partido B, y así sucesivamente, hasta que la décima elección la gane el partido B. Supongamos que las probabilidades de que el partido A o B ganen la próxima elección son determinadas por completo por el partido que está en el poder ahora. Por ejemplo podríamos tener las probabilidades siguientes: • Si el partido A está en el poder, existe una probabilidad de ¼ que el partido A ganará la próxima elección y una probabilidad de ¾ de que el partido B gane la elección siguiente. • Si el partido B está en el poder, hay una probabilidad de 1/3 de que el partido A gane la elección siguiente y una probabilidad de 2/3 que el partido B permanezca en el poder. En tal caso, la sucesión de elecciones forman una cadena de Markov, dado que las probabilidades de los dos resultados de cada elección están determinadas por el resultado de la elección precedente. Lo descrito anteriormente puede representarse gráficamente usando la siguiente red: 1/4 2/3 3/4 A B 1/3 Los círculos A y B se denominan nodos y representan los estados del proceso, las flechas que van de un nodo a si mismo o al otro son los arcos y representan la probabilidad de cambiar de un estado al otro La información probabilística que se acaba de dar se puede representar de manera conveniente por la siguiente matriz: Resultado de la próxima elección A B Resultado de la A 1 / 4 3 / 4 última elección B 1/ 3 2 / 3
- 3. 3 Métodos Estadísticos en Ciencias de la Vida Esta matriz se denomina matriz de transición. Los elementos de la matriz de transición representan las probabilidades de que en el próximo ensayo el estado del sistema del partido indicado a la izquierda de la matriz cambie al estado del partido indicado arriba de la matriz. Definición: Consideremos un proceso de Markov en que el sistema posee n estados posibles, dados por los números 1, 2, 3, …., n. Denotemos pij a la probabilidad de que el sistema pase al estado j después de cualquier ensayo en donde su estado era i antes del ensayo. Los números pij se denominan probabilidades de transición y la matriz nxn P = ( pij ) se conoce como matriz de transición del sistema Observaciones: 1) La suma pi1 + pi 2 + ..... + pin = 1 . Esta suma representa la probabilidad de que el sistema pase a uno de los estados 1, 2, …., n dado que empieza en el estado i. Ya que el sistema ha de estar en uno de estos n estados, la suma de probabilidades debe ser igual a 1. Esto significa que los elementos en cualquier renglón de la matriz de transición deben sumar 1. 2) Cada elemento pij ≥ 0 Ejemplo: una cadena de Markov como modelo para el ADN. Es improbable que una secuencia aleatoria de A,C,G y T sea un buen modelo para el patrón de nucleótidos en una secuencia génica. Una cadena de Markov con {A, T, G y C} podría ser una mejor aproximación a la realidad: las probabilidades para el nucleótido en la posición j+1 dependen del nucleótido en la posición j. (Sin embargo, en la realidad las dependencias son más complejas) • Si el espacio de estados es S = {A, C, G, T}. • La matriz de transición P es de 4 x 4: Aquí Ejercicios 0,3 0,5 0,2 1. Dada la matriz de transición: P = 0,4 0,2 0,4 0,5 0,4 0,1 ¿Cuál es la probabilidad de que el próximo ensayo del sistema cambie: a) del estado 2 al 1?, b) del estado 1 al 3?
- 4. 4 Métodos Estadísticos en Ciencias de la Vida 2. En cierta nación hay tres partidos políticos principales, el liberal (L), el conservador (C) y el demócrata (D). La matriz de transición siguiente da las probabilidades de que la nación sea controlada por cada uno de los tres partidos políticos después de una elección, conocidas las diversas posibilidades del resultado de la elección anterior: L C D 0,7 0,2 0,1 C 0,5 0,3 0,2 0,3 0,4 0,3 D Suponiendo que el partido liberal tiene el control ahora, use un diagrama de árbol para determinar la probabilidad de que el partido conservador esté en el poder después de las dos próximas elecciones. L 3. El valor de una acción fluctúa día con día. Cuando la bolsa de valores se encuentra estable, un incremento en un día tiende a anteceder una baja el día siguiente, y una baja por lo regular es seguida por un alza. Podemos modelar estos cambios en el valor mediante un proceso de Markov con dos estados, el primer estado consistente en que el valor se incrementa un dia dado, el segundo estado definido por la baja. (la posibilidad de que el valor permanezca sin cambio se ignora) suponga que la matriz de transición es la siguiente: Cambio de mañana A B Cambio de hoy A 0,1 0,9 0,8 0,2 B Si el valor de la acción bajó hoy, calcule la probabilidad de que se incremente 3 días después a partir de ahora. En el ejemplo que acabamos de ver, calculamos la probabilidad de que la acción vaya al alza al tercer día. Suponga que deseamos calcular la probabilidad de que la acción vaya al alza o la baja al décimo día. En este caso, el uso de un diagrama sería muy complicado. En una situación como esa, el álgebra de matrices evita dibujar un diagrama muy grande. Consideremos un sistema de n estados posibles, de modo que cada ensayo tiene n resultado posibles. En cualquier etapa en el futuro no podemos decir en qué estado se encontrará el sistema pero podríamos estar en posición de dar las probabilidades de que se encuentre en cada uno de los estados 1, 2, ….,n. En general, si p1 , p2 , ....., pn son las probabilidades de que el sistema se encuentre en los estados 1, 2, ….., n, respectivamente, entonces la matriz fila 1xn ( p1 p2 .... pn ) se conoce como matriz de estado inicial o vector de estado inicial del sistema. Obviamente que la suma de esa fila es 1. Denotaremos a la matriz de estado inicial con Ao y a la matriz de estado después de k ensayos o etapas por Ak
- 5. 5 Métodos Estadísticos en Ciencias de la Vida En el ejemplo que vimos de las acciones, comenzamos con un estado inicial de baja, de modo que la matriz de estado inicial es: Ao = (0 1) En la matriz de transición vemos que después de un día, la acción está en alza con probabilidad de 0,8 y en baja con probabilidad de 0,2, así, la matriz de estado A1 después de un día está dada por. A1 = (0,8 0,2) La probabilidad de que la acción vaya al alza o a la baja después de dos días es: p1 = (0,8)(0,1) + (0,2)(0,8) = 0,24 p2 = (0,8)(0,9) + (0,2)(0,2) = 0,76 Así que la matriz de estado A2 después de dos días está dada por: A2 = (0,24 0,76) De esta forma podemos deducir la matriz de estado en cualquier etapa si se conoce la matriz de estado del ensayo previo. Lo generalizamos de la siguiente forma: Teorema 1: Si P denota la matriz de transición de una cadena de Markov y Ak es la matriz de estado después de k ensayos, entonces la matriz de estado Ak +1 después del ensayo siguiente está dada por: Ak +1 = Ak .P Observemos lo que ocurre si hallamos P 2 en el ejemplo anterior. 0,73 0,27 Luego de hacer los cálculos, resulta: P 2 = 0,24 0,76 Es de notar que todos los valores son no negativos, y que la suma por fila es 1, de donde P 2 es también una matriz de transición, pero ahora es la matriz de transición que se obtiene luego de dos pasos. La última fila corresponde a la matriz de estado A2 = (0,24 0,76) que habíamos obtenido. ¿Cuál es la ventaja de trabajar con P 2 ? ¿Qué significado tiene la fila (0,73 0,27 ) ? Podemos extender este argumento a cualquier número de días en el futuro en que queremos hacer la predicción, vemos que PxP = P 2 corresponde a las probabilidades de transición en dos pasos, entonces P 3 , P 4 , ...., P m corresponden a las probabilidades de transición en 3, 4, …., m pasos respectivamente. La matriz P m se conoce como la matriz de transición en m pasos de la cadena de Markov.
- 6. 6 Métodos Estadísticos en Ciencias de la Vida Ejemplo: La variación del tiempo de un día a otro se supone que forma una cadena de Markov con la matriz de transición siguiente: S S N LL N LL 0,6 0,2 0,2 0,2 0,5 0,3 0,1 0,4 0,5 Donde los estados posibles son S (Soleado), N (Nublado) y LL (Lluvioso) Dado que hoy (domingo) está nublado, ¿cuál es la probabilidad de que el miércoles sea soleado? Teorema 2: Una matriz de transición P se dice que es regular si para algún entero positivo k, la matriz P k no tiene elementos iguales a cero. Si P es una matriz de transición regular, entonces sin importar la matriz de estado inicial, las matrices de estado sucesivas se aproximan a alguna matriz de estado fija B en donde B.P = B. La matriz B se denomina matriz estacionaria del sistema Ejemplo: Si la matriz de transición regular es: 0,8 0,2 P= 0,6 0,4 y B = ( p1 p2 ) es la matriz estacionaria que se requiere. Por definición, la suma de las probabilidades p1 + p2 = 1 y además B.P = B, o sea: 0,8 0,2 ( p1 p2 ) 0,6 0,4 = ( p1 p2 ) De allí, resolviendo el sistema que queda planteado podemos calcular la matriz estacionaria buscada. Aplicaciones en Bioinformática • Búsqueda de genes • Mapeo de vinculación genética • Análisis filogenético • Predicción de estructura secundaria de proteínas • Búsqueda de sitios conservados vs sitios variables • Predicción de regiones que codifican proteínas dentro de genomas • Modelado de familias de secuencias de proteína o ADN relacionado • Predicción de elementos de estructura secundaria en secuencias primarias de proteína
- 7. 7 Métodos Estadísticos en Ciencias de la Vida Ejercicios 1. Suponga que la matriz de transición de cierta cadena de Markov está dada por: 2 / 3 1/ 3 P= 1/ 4 3 / 4 Donde la primera fila y columna indica el estado 1 y la segunda fila y columna el estado 2. a) ¿qué representa el elemento ¼ de la matriz? b) Suponiendo que el sistema se encuentra en un principio en el estado 1, con un diagrama de árbol encuentre la matriz de estado después de dos ensayos. c) Ahora mediante el teorema 1 encuentre la respuesta a la pregunta anterior d) ¿Cuál es la matriz estacionaria del sistema? 2. La matriz de transición de cierto proceso de Markov es: 0,3 0,5 0,2 0,1 0,6 0,3 0,4 0,1 0,5 a) Si el sistema se encuentra en un principio en el estado 1, determine la matriz estado después de dos etapas del proceso b) Si el sistema se encuentra inicialmente en el estado 2, encuentre la matriz de estado después de dos etapas c) Determine la matriz estacionaria 3. Las probabilidades de que cierto país sea gobernado por uno de tres partidos políticos X, y o Z después de la próxima elección están dadas por la matriz de transición: X Y Z 1 / 2 1 / 3 1 / 6 0 Y 1 / 4 3 / 4 Z 1 / 5 2 / 5 2 / 5 a) ¿Cuál es la probabilidad de que el partido Z gane la próxima elección si el partido X está ahora en el poder? b) ¿Cuál es la probabilidad de que el partido X esté en el poder después de dos elecciones si se supone que el partido Y se encuentra en el poder ahora? c) Si el partido Z se encuentra en el poder, ¿cuál es la probabilidad de que estará ahí después de dos elecciones? X 4. La probabilidad de que una persona de baja estatura tenga un hijo también de baja estatura es de 0,75, mientras que la probabilidad de que un padre alto tenga un hijo algo es de 0,60 (se ignora la posibilidad de concebir un hijo de mediana estatura) a) ¿cuál es la probabilidad de que un hombre alto tenga un nieto de baja estatura? b) ¿cuál es la probabilidad de que un hombre de baja estatura tenga un nieto alto? c) Encuentre la matriz estacionaria del proceso y dé su interpretación
- 8. 8 Métodos Estadísticos en Ciencias de la Vida 5. Las granjas de cierta región pueden clasificarse en tres tipos: agrícolas, pecuarias o mixtas. Actualmente 30% son agrícolas, 40% pecuarias y 30% mixtas. La matriz de transición de una año al siguiente es: A P M 0,8 0,1 0,1 0 P 0,2 0,8 M 0,1 0,1 0,8 Encuentre los porcentajes de los tres tipos de granjas: a) el año próximo, b) dentro de 2 años, c) a largo plazo. A 6. En cierto país 90% de la energía es generada por petróleo, gas o carbón y 10% provenía de la energía atómica. Cinco años después los porcentajes eran 80% y 20% respectivamente, mientras que 5 años más tarde fueron 75% y 25%. Suponiendo que el proceso es de Markov con (0,8 0,2) = (0,9 0,1).P (0,75 0,25) = (0,8 0,2).P Calcule la matriz de transición P de 2 x 2. Encuentre la matriz estacionaria e interprétela. 7. Suponga que la ocupación de cada persona puede clasificarse como de profesional, calificado o no calificado. Suponga, además, que siempre es cierto que de los hijos de profesionales 70% son profesionales, 20% calificados y 10% no calificados, de los hijos de personas calificadas, 60% son calificados, 20% son profesionales y 20% son no calificados y de los hijos de personas no calificadas, 20% son profesionales, 30% son calificados y 50% no calificados. Suponga que el número total de personas con un ocupación es el mismo en cada generación y que en la generación actual, 35% son profesionales, 35% calificados y 30% no calificados. Encuentre la matriz de transición. Halle la distribución de trabajos después de una generación y después de dos generaciones.