Cadenas de markov

Cap´ıtulo 3:
Cadenas de Markov.
Una propiedad de especial importancia que poseen los ya estudiados caminos aleatorios
y procesos de ramificación, es que sus valores en el n−ésimo paso sólo dependen de
los valores en el (n − 1)−ésimo paso, y no de los anteriores. Esta propiedad conocida
como propiedad markoviana es de gran importancia en el estudio de estos procesos, y
en el estudio general de la teor´ıa de procesos estocásticos, y por ello prestamos especial
dedicación en este cap´ıtulo. A lo largo del cap´ıtulo se supondrá que trabajamos con
procesos de parámetro discreto, que toman valores discretos en un conjunto numerable.
3.1. Cadenas de Markov
Definición 3.1 Un proceso X = {Xn : n ≥ 0}, es una cadena de Markov si satisface
la siguiente condición, llamada condición de Markov:
P(Xn = xn|X0 = x0,X1 = x1, . . . ,Xn−1 = xn−1) = P(Xn = xn|Xn−1 = xn−1)
∀n ≥ 1 y ∀x0, x1, . . . , xn−1, xn ∈ S.
Observación: Intuitivamente, se interpreta esta ecuación como que, dado el “presente”
del proceso, el “futuro” es independiente del “pasado”. Es decir, una cadena de Markov
es una sucesión de v.a. que “ven el pasado a través del último suceso”.
Nota 3.1 La propiedad markoviana es equivalente a cualquiera de las siguientespropie-dades:
1. P(Xn = xn|Xn1 = xn1 ,Xn2 = xn2 , . . . ,Xnk = xnk ) = P(Xn = xn|Xnk = xnk)
∀n ≥ 0, ∀k; 0 ≤ n1 ≤ n2 ≤ . . . ≤ nk ≤ n; xn1 , . . . , xnk , xn ∈ S.
2. P(Xn+m = xn+m |X0 = x0, . . . ,Xn = xn) = P(Xn+m = xn+m |Xn = xn)
∀n ≥ 0, m ≥ 1; x0, . . . , xn, xn+m ∈ S.
Es decir, el valor en el instante n−ésimo depende solamente de la última observación,
que no tiene porque ser la del instante (n − 1)−ésimo.
41

Nota 3.2 La evolución de una cadena de Markov viene descrita por sus “probabilidades
de transición”, pn ij = P(Xn+1 = j |Xn = i), que en un principio dependen de n, i y j.
Restringiremos nuestro estudio al caso de que no dependa de n , y sólo sean relevantes i
y j.
No obstante, señalar que cuando las probabilidades de transición dependan de la etapa
n, se dirá que la cadena de Markov es no homogénea.
Definición 3.2 Diremos que una cadena de Markov X es homogénea si
P(Xn+1 = j |Xn = i) = P(X1 = j |X0 = i) ∀n,
es decir, la probabilidad de transición no depende de la etapa n.
Nota 3.3 A partir de ahora consideraremos que todas las cadenas de Markov que tratemos
son homogéneas, a no ser que se diga expl´ıcitamente lo contrario.
Definición 3.3 Dada una cadena de Markov X , definimos su matriz de transición,
P, como la matriz de las probabilidades de transición de dimensión |S| × |S|, Esto
es:
P = (pij)i,j2S donde pij = P(X1 = j |X0 = i).
Ejemplo: (El clima en la tierra de Oz)
Según el cuento, en la tierra de Oz nunca hay dos d´ıas seguidos con buen tiempo. A
un d´ıa soleado siempre le sigue (con igual probabilidad) un d´ıa de lluvia o nieve. Por otra
parte, si un d´ıa tenemos mal tiempo hay 2 posibilidades, que el tiempo sea el mismo al d´ıa
siguiente o que cambie. De este modo, si un d´ıa nieva (o llueve) al d´ıa siguiente nevará (o
lloverá) con probabilidad 1
2 ; pero si cambia el tiempo sólo la mitad de las veces será un
d´ıa soleado.
Resolución:
Sea Xn ≡ Tiempo en la tierra de Oz el d´ıa n-ésimo.
(Xn) es una cadena de Markov, ya que el tiempo en el d´ıa n-ésimo sólo
dependerá del tiempo que haga el d´ıa anterior.
Para estudiar este problema, en primer lugar calculamos las probabilidades de tran-sici
ón; es decir, las probabilidades de que teniendo cierto tiempo un d´ıa determinado al
d´ıa siguiente el tiempo cambie. Para ello, notaremos por s si el d´ıa está soleado, con l si
llueve y con n si nieva.
42

pss = 0 de un d´ıa soleado a un d´ıa soleado
psl = 1/2 de un d´ıa soleado a un d´ıa lluvioso
psn = 1/2 de un d´ıa soleado a un d´ıa con nieve
pll = 1/2 de un d´ıa lluvioso a un d´ıa lluvioso
pls = 1/4 de un d´ıa lluvioso a un d´ıa soleado
pln = 1/4 de un d´ıa lluvioso a un d´ıa con nieve
pnn = 1/2 de un d´ıa con nieve a un d´ıa con nieve
pnl = 1/4 de un d´ıa con nieve a un d´ıa lluvioso
pns = 1/4 de un d´ıa con nieve a un d´ıa soleado
Ordenamos todos estos datos en la siguiente tabla:
s l n
s 0 1/2 1/2
l 1/4 1/2 1/4
n 1/4 1/4 1/2
donde las filas indican el tiempo en un d´ıa determinado, las columnas el tiempo que
hace al d´ıa siguiente y las entradas son las probabilidades de cambio o transición.
A partir de aqu´ı obtenemos la matriz de transición:
P =


0 1/2 1/2
1/4 1/2 1/4
1/4 1/4 1/2


Ejemplo: Sea el proceso estocástico X = {Xn : n ≥ 0}, definido por:
P(Xn = j |Xn−1 = i) =


p si j = i + 1
q si j = i
0 en casao contrario
donde q = 1 − p.
Tenemos que,
P(Xn = j |Xn−1 = i,Xn−2 = xn−2, . . . ,X0 = x0) = P(Xn = j |Xn−1 = i)
Luego verifica la condición de Markov.
Veamos ahora la matriz de transición. Dado que S = {0, 1, 2, . . .}, la matriz de transi-ci
ón va a ser de dimensión infinita:
43

P =


q p 0 0 · · · 0 · · ·
0 q p 0 · · · 0 · · · 0 0 q p · · · 0 · · · ...
...
...
. . .
. . .
...
...
0 0 0 0 q p · · ·
0 0 0 0 0 q · · · ...
...
...
...
...
...
. . .


Proposición 3.1 La matriz de transición de una cadena de Markov P es una matriz
estocástica, es decir, verifica:
Cada elemento de P es no negativo,
pij = P(Xn+1 = j |Xn = i) ≥ 0; ∀i, j ∈ S.
Cada fila de P suma 1,
X
j2S
pij =
X
j2S
P(X1 = j |X0 = i) = 1
Estudiaremos las cadenas de Markov a “corto plazo” y a “largo plazo”. Como ya
hemos visto, la matriz de transición nos permite el estudio a “corto plazo”, describiremos
la evolución a “largo plazo” como sigue:
Definición 3.4 La matriz de transición del n-ésimo paso, Pn = (pij(n)), es la
matriz de las probabilidades de transición en el n−ésimo paso desde el origen,
pij(n) = P(Xn = j |X0 = i)
Es decir, es la probabilidad de partiendo de i llegar a j en n pasos.
Nota 3.4 Trivialmente P1 = P.
En el siguiente teorema, mostraremos la relación que existe entre el desarrollo a “largo
plazo” y el desarrollo a “corto plazo”, y veremos como Xn depende de la variable inicial
X0.
Teorema 3.1 (Ecuaciones de Chapman-Kolmogorov)
pij(m + n) =
X
k2S
pik(m)pkj(n)
44

Demostración:
pi,j(m + n) = P(Xn+m = j |X0 = i)
prob. total
=
=
X
k2S
P(A ∩ B|C) = P(A|B ∩ C)P(B|C)
| {z }
P(Xn+m = j,Xm = k |X0 = i)
↓=
=
X
k2S
P(Xn+m = j |Xm = k,X0 = i)P(Xm = k|X0 = i) cond. Markov =
=
X
k2S
P(Xn+m = j |Xm = k)P(Xm = k|X0 = i) =
=
X
k2S
pik(m)pkj(n)
Nota 3.5 De aqu´ı se deduce que Pm+n = PmPn y, por lo tanto, que Pn = Pn.
Estudiaremos ahora la función de probabilidad de la variable aleatoria Xn, notaremos
xni
= P(Xn = i) ≡ Probabilidad de que la cadena en la etapa n esté en el estado i.
xn = (xn1
, . . . , xn
|S|).
Veamos la relación que hay entre xni
y la matriz de transición.
Lema 3.1 xm+n = xmPn y, por lo tanto, xn = x0Pn.
Demostración:
xm+n
j = P(Xm+n = j) P.T. =
X
i2S
P(Xm+n = j,Xm = i) =
=
X
i2S
P(Xm+n = j |Xm = i)P(Xm = i) =
X
i2S
xm
i pij(n) = (xmPn)j = (xmPn)j .
Observación: La evolución aleatoria de una cadena de Markov queda completamente
determinada por su matriz de transición P y su distribución de densidad inicial x0.
Por lo tanto, el estudio de las cadenas de Markov es reducible al estudio algebraico de
las propiedades de las matrices de transición.
Ejemplo: Camino Aleatorio.
S = {0,±1,±2, . . .}. Part´ıcula que se mueve hacia arriba o hacia abajo.
pij =


p si j = i + 1
q si j = i − 1
0 e.c.c.
P = (pij)
45

• Calcular la matriz de transición del n−ésimo paso.
Podr´ıamos intentar calcular Pn partiendo de la matriz anterior por sucesivas multipli-caciones,
pero en éste caso podemos proceder:
Si hubiese u pasos hacia arriba, tenemos
pij(n) =

n
u

puqn−u
como j − i = u − (n − u) ⇒ j − i = 2u − n ⇒ u =
j − i + n
2 ∈ Z. Por tanto:
pij(n) =



n
n+j−i
2

p
n+j−i
2 q
n−j+i
2 si n + j − i par
0 en caso contrario
Ejemplo: Número de caras en sucesivos lanzamientos de una moneda.
Sea la cadena Y = {Yn : n ≥ 0}, con Y0 = 0, que representa el número de caras en n
lanzamientos.
P(Yn+1 = s + 1 |Yn = s) = p
P(Yn+1 = s |Yn = s) = q = 1 − p
)
∀n ≥ 0; 0 p 1.
• Calcular pij(m):
pij(m) = P(Yn+m = j |Yn = i) =

m
j − i

pj−iqm−j+i, j ≥ i.
Luego que en m lanzamientos salgan j − i caras ∼ Bi(m, p).
Ejemplo: Si perturbamos el proceso anterior y definimos,
X = {Xn : n ≥ 0}
donde Xn = Yn(mod. 10).
En este caso, tenemos solo 10 estados, S = {0, 1, . . . , 9}. Luego la matriz de transición es
de orden 10 × 10:
P =


q p 0 0 · · · 0
0 q p 0 · · · 0
0 0 q p · · · 0
...
...
...
. . .
. . .
...
0 0 0 · · · q p
p 0 0 · · · 0 q


46

Ejemplo:
El nivel de negocio de la Bolsa puede considerarse cada d´ıa alto (A) o bajo (B). Para un
periodo de 5301 d´ıas se dispone de la secuencia BAABBA..., y que nos permite representar
la alternancia mediante el cuadro adjunto:
B A
B 3077 543
A 588 1092
¿Podr´ıa indicar alguna relación entre la duración de ciclos de d´ıas de nivel alto con los
d´ıas de nivel bajo a tenor de dichos datos?
Debemos normalizar la matriz por filas:
B A
B 0.85 0.15
A 0.35 0.65
= P
Supongamos que la bolsa está regida por dicho matriz de probabilidad.
Si la bolsa está baja ⇒ la probabilidad de que al d´ıa siguiente esté baja es 0.85.
Si elevamos la matriz al cuadrado, P2, significa el pasar de A a B o de B a A en dos d´ıas.
Si vamos calculando potencias de P, veamos por ejemplo P8,
P8 =


359
512
153
512
357
512
155
512


observamos que las dos filas se van pareciendo cada vez más, el sistema se va estabilizando.
Nosotros estamos interesados en lo que ocurre en el l´ımite, es decir,
l´ım
n!1
Pn =

0.7 0.3
0.7 0.3
#
(se obtiene resolviendo πP = π).
Esto va a representar la fracción de tiempo que la bolsa está en B y la fracción de tiempo
que la bolsa está en A. Entonces nos dice que la bolsa está más tiempo en baja que en
alta.
Nota 3.6 πi ≡ probabilidad estacionaria de estar en el estado i.
Siendo μi =
1
πi ≡ frecuencia que tarda en ser visitado el estado i.
47

As´ı,
μ1 = 1.4 → la bolsa tarda en volver a baja 1.4 d´ıas.
μ2 = 3.3 → la bolsa tarda en volver a alta 3.3 d´ıas.
)
⇒
⇒ tarda en volver a alta más del doble que en volver a baja.
Nota 3.7 Nos interesa, para estos modelos, ver si se ajusta a una cadena de Markov y,
en tal caso, hallar la matriz de transición y su comportamiento l´ımite.
Ejemplo: Un taller de reparación se ocupa de dos tipos de motores. La reparación de un
motor de tipo M1 requiere dos d´ıas y la del tipo M2 sólo un d´ıa. La probabilidad de aver´ıa
para los motores de tipo uno es de 1/3 mientras que es de 1/2 para los de tipo dos.
Los trabajos no admitidos en el taller se encargan al exterior.
Sabiendo que si una jornada de reparación ha sido asignada a un motor de tipo uno, se
rechaza todo trabajo que pueda presentarse al d´ıa siguiente; en otro caso se admitirá cual-quier
tarea si no se presenta más que una.
Decidir que pol´ıtica es mejor: dar prioridad a los motores de tipo uno (dos) cuando se
presenten para su reparación motores de ambos tipos.
Podemos tener el taller sin trabajo, con un motor de tipo 1 en un d´ıa,con un motor de
tipo 1 en dos d´ıas o con un motor de tipo 2. Al d´ıa siguiente el taller puede estar en tres
estados distintos, de los cuatro posibles . Intentemos determinar la matriz de transición
dando prioridad al motor de tipo 1, M1:
0 1 2 3
NO TRABAJO
ESTADO: 0

1 − 1
3

1 − 1
2

1
3 0 1
2

1 − 1
3

M1(1)
ESTADO: 1
0 0 1 0
M1(2)
ESTADO: 2

1 − 1
3

1 − 1
2

1
3 0 1
2

1 − 1
3

M2
ESTADO: 3

1 − 1
3

1 − 1
2

1
3 0 1
2

1 − 1
3


 1/3 1/3 0 1/3
0 0 1 0
1/3 1/3 0 1/3
1/3 1/3 0 1/3


Dando prioridad al motor de tipo 2, M2, tenemos:
48



1/3 1/6 0 1/2
0 0 1 0
1/3 1/6 0 1/2
1/3 1/6 0 1/2


El taller tiene dos comportamientos según elijamos la pol´ıtica de dar prioridad a M1 ó a
M2, que están regidos por las dos matrices de transición.
Si calculamos la matriz l´ımite, haciendo π = πP tenemos:
π =

1
4
,
1
4
,
1
4
,
1
4

para el primer caso.
π =

2
7
,
1
7
,
1
7
,
3
7

para el segundo caso.
As´ı, dado que no queremos tener mucho tiempo el taller parado, nos interesa la pol´ıtica
del tipo 1, pues a largo plazo tiene mas ocupado el taller,

2
7

1
4

.
3.2. Clasificación de estados.
Podemos pensar en el desarrollo de una cadena como el movimiento de un part´ıcula
que salta entre los estados de S en cada momento. Nos interesaremos por el número
(posiblemente infinito) de instantes que tarda la part´ıcula en regresar a su punto de
origen. Sin embargo, ¿ha de volver la part´ıcula a su punto inicial? Con esta pregunta en
mente realizamos la siguiente definición.
Definición 3.5 El estado i es persistente ( o recurrente) si:
P(Xn = i para algún n ≥ 1 |X0 = i) = 1
es decir, si la probabilidad de que la part´ıcula regrese al estado i, habiendo empezado en
i, es 1. Si el estado i no es persistente lo llamaremos al estado transitorio, es decir, si
esta probabilidad es menor que la unidad.
También estamos interesados en el número de pasos hasta la primera visita al estado
j partiendo del estado i. La probabilidad de que partiendo del estado i lleguemos por
primera vez al estado j en n pasos la representamos por:
(
fij(n) = P(X16= j,X26= j, . . . ,Xn−16= j,Xn = j |X0 = i)
fij(0) = 0
49

Notaremos la probabilidad de que partiendo del estado i alcancemos alguna vez el
estado j será:
fij =
X
n1
fij(n)
Claro es que el estado i es persistente si y sólo si fii = 1.
Ahora buscamos un criterio para determinar si un estado es persistente o no, basándo-nos
en las probabilidades de transición. Como ya hicimos en las caminos aleatorios, defi-nimos
las siguientes funciones generatrices:
Pij(s) =
X
n0
pij(n)sn
Fij(s) =
X
n1
fij(n)sn
Con la convención de que pij(0) = δij (delta de Kronecker) y fij(0) = 0 ∀i, j ∈ S.
Claramente se tiene que
fij = Fij(1).
A continuación, veremos que se verifican relaciones análogas al caso de los caminos
aleatorios entre las dos funciones generatrices Fij y Pij .
Teorema 3.2 Se verifican las siguientes relaciones:
1. Pii(s) = 1 + Pii(s)Fii(s).
2. Pij(s) = Pjj(s)Fij(s) si i6= j.
Demostración:
Fijamos i, j ∈ S, sea Am = {Xm = j} y Bm el suceso de que la primera visita a j
ocurra en el instante m, es decir, Bm = {Xr6= j para 1 ≤ r m, Xm = j}. Los Bm son
disjuntos luego tenemos:
P(Am |X0 = i) P.T. =
Xm
r=1
P(Am ∩ Br |X0 = i)
Utilizando la propiedad de Markov y la definición de probabilidad condicionada tenemos:
P(Am ∩ Br |X0 = i) = P(Am |Br ∩ X0 = i)P(Br |X0 = i) =
= P(Am |Xr = j)P(Br |X0 = i) = pjj(m − r)fij(r)
As´ı pues:
pij(m) = P(Am |X0 = i) =
Xm
r=1
pjj(m − r)fij(r), ∀m ≥ 1.
50

Ahora basta multiplicar por sm y sumar en m aplicando las propiedades sobre convolución
para llegar a lo que quer´ıamos. As´ı,
X1
m=1
pij(m)sm =
X1
m=1
Xm
r=1
pjj(m − r)fij(r)sm =
=
X1
r=1
X1
m=r
pjj(m − r)sm−rfij(r)sr =
=
X1
m=r
pjj(m − r)sm−r
X1
r=1
fij(r)sr.
Luego,
Pij(s) − δij = Pjj(s)Fij(s).
Veamos ahora como caracterizamos los estados a partir de las probabilidades de tran-sici
ón.
Corolario 3.1 Los estados de una cadena de Markov se clasifican en:
1. Un estado j es persistente ⇐⇒
X1
n=0
pjj(n) = ∞. Además, en este caso:
X1
n=0
pij(n) = ∞, ∀i tal que fij 0.
2. Un estado j es transitorio ⇐⇒
X1
n=0
pjj(n) ∞. Además,
X1
n=0
pij(n) ∞, ∀i.
Demostración:
1. Sea I{Xn=i} la variable indicador de {Xn = i}.
I{Xn=i} =

1 si Xn = i
0 si Xn6= i

I{Xn=i} ≈ Be(p) ; con p = P[Xn = i|X0 = i]
51

Sea Ni el número de veces que se visita el estado i (dado X0 = i)
X1
E[Ni] = E[
n=0
I{Xn=i}|X0 = i] =
X1
n=0
E[I{Xn=i}|X0 = i] =
X1
n=0
P[Xn = i|X0 = i] =
X1
n=0
pii(n) = ∞
()
⇐⇒ i es recurrente.
Ya sólo quedar´ıa probar el paso (∗):
P[Ni = n] = fn−1
ii (1 − fii) ; n = 1, 2, ...
Ni ≈ Ge(p) ; p = 1 − fii.
N(i) ≈ Ge(p) =⇒ E[Ni] =
1
p
=⇒ E[Ni] =
1
1 − fii
E[Ni] = ∞ ⇐⇒ fii = 0 ⇐⇒ i es recurrente.
Del apartado 1. del teorema 3.2 tenemos que Pjj(s) =
1
1 − Fjj(s)
, ∀|s| 1. Entonces,
si tomamos l´ımite tenemos
l´ım
s!1
Pjj(s) = ∞ ⇔ l´ım
s!1
Fjj(s) = 1 ⇔ fjj = 1
es decir,
Pjj(1) =
X1
n=0
pjj(n) = ∞ ⇔ j es persistente.
Cuando i6= j se tiene
Pij(s) = Fij(s)Pjj(s) s!1 =⇒
X1
n=0
pij(n) = |f{izj}
∨0
X1
n=0
pjj(n) = ∞.
Para b,razonamos por exclusión, si la suma es infinita ⇒ el estado es persistente. Por
tanto, si la suma es finita ⇒ el estado será transitorio.
Corolario 3.2 Si j es transitorio ⇒ pij(n) n!1 −→ 0, ∀i.
Demostración:
Basta aplicar el corolario anterior:
j es transitorio ⇔
X1
n=0
pjj(n) ∞, ∀i ⇒ pij(n) n!1 −→ 0, ∀i.
52

Observación: As´ı pues cada estado es ó persistente ó transitorio. Es intuitivamente claro
que el número N(i) de veces que la cadena visita el estado i satisface:
P(N(i) = ∞) =

1 si i es persistente
0 si i es transitorio
Ya que tras cada visita a i el regreso es cierto si y solo si fii = 1, es decir, si i es persistente.
Supongamos {Xn : n ≥ 0} una cadena de Markov tal que X0 = i. Otra forma de
clasificar los estados es a través de la variable que nos indica el número de instantes antes
de la primera visita al estado i :
Ti = m´ın{n ≥ 1 : Xn = i}
Tomamos el convenio de que Ti = ∞ cuando tal visita nunca ocurra.
Tenemos que P(Ti = ∞|X0 = i) 0 si y solo si i es transitorio, y en este caso,
E[Ti |X0 = i] = ∞.
Definición 3.6 Definimos el tiempo medio de recurrencia μi del estado i como:
μi = E[Ti |X0 = i] =
X1
n=0
nfii(n)
es decir, como el número de instantes esperado para regresar al estado i por primera
vez.
Nota 3.8 Si i es transitorio =⇒ μi = ∞.
Nota 3.9 Puede darse el caso de que siendo i persistente el tiempo medio de recurrencia,
μi, sea infinito; siendo éste el caso en el que aunque el regreso a i es cierto se necesita un
tiempo infinito. As´ı pues, realizamos la siguiente distinción entre los estados persistentes.
Definición 3.7 Sea i un estado persistente, entonces:
(
i es un estado persistente nulo si μi = ∞
i es un estado persistente no nulo si μi ∞
El siguiente teorema nos da una caracterización para estados persistentes nulos.
Teorema 3.3 Un estado i es persistente nulo ⇔ pii(n) n!1 −→ 0. Además, en este caso,
pji(n) n!1 −→ 0, ∀j.
53

Nota 3.10 Destacar que al ser un estado j persistente se tiene que
X1
n=0
pij(n) = ∞, y
as´ı para ser persistente nulo tiene que darse que pij(n) n!1 −→ 0, ∀i. También destacar
que la condición pij(n) n!1 −→ 0 es necesaria para que un estado sea transitorio, pero no
suficiente como se mostró en el corolario 3.2.
Ejemplo: Recorrido Aleatorio.
Supongamos un recorrido aleatorio, y sean
p0(n) ≡ probabilidad de volver al estado 0 tras n pasos.
f0(n) ≡ probabilidad de 1a visita al estado 0 tras n pasos.
• Calcular P0(s) y F0(s).
Como P0(s) = 1 − F0(s)P0(s), basta calcular una de ellas.
p0(n) =



n
n
2

p
n
2 q
n
2 si n par
0 si n impar
Con p0(n) podemos calcular la f.g.p.:
P0(s) =
X1
n=0
p0(n)sn =
X1
k=0
p0(2k)s2k =
X1
k=0

2k
k

pkqks2k = (1 − 4pqs2)−1
2 .
Por tanto,
P0(s) = (1 − 4pqs2)−1
2
P0(s) = 1 − F0(s)P0(s)
)
=⇒ F0(s) = 1 − (1 − 4pqs2)−1
2
En base a ello podemos clasificar los estados de la cadena:
Si p =
1
2 ⇒
X1
n=0
p0(n) = P0(1) =

1 − 4·
1
2 ·
1
2 ·1
−1
2
= ∞.
Luego el estado 0 es persistente ( por conexión, todos los estados son persistentes).
Para ver si son persistentes nulos o no nulos, calculamos μ0:
μ0 =
X1
n=0
′
0(1) = . . . =
nf0(n) = F
s
√1 − s2

s=1
= ∞
Luego el estado 0 es persistente nulo. Aunque la probabilidad de volver al estado 0
es 1 (persistente), el no medio de pasos para volver es ∞.
54

Si p6=
1
2 ⇒ P0(1) = (1 − 4pq1)−1
2 ∞ ⇒ el estado 0 es transitorio.
( todos los estados son transitorios).
Finalmente, introducimos una definición que nos permite estudiar sobre los periodos
de tiempo en los cuales el regreso al punto de partida es posible.
Definición 3.8 Definimos el periodo d(i) de un estado i ∈ S como:
d(i) = mcd{n : pii(n) 0}
es decir, como el mayor común divisor de los lapsos de tiempo tomados en regresar a i
cuando el regreso a i es posible. Diremos que un estado i es periódico si d(i) 1 y que
un estado i es aperiódico si d(i) = 1.
Las cadenas de mayor aplicación son aquellas en las que los estados tienen mejor
comportamiento, por ello damos la siguiente definición
Definición 3.9 Diremos que un estado i es ergódico si es persistente no nulo y ape-ri
ódico. Es decir, si P(Xn = i para algún n ≥ 1 |X0 = i) = 1, μi ∞ (el tiempo esperado
de regreso es finito) y mcd{n : pii(n) 0} = 1.
3.3. Clasificación de las cadenas.
Comenzaremos viendo la forma en la que los estados de una cadena de Markov se
relacionan entre s´ı.
Definición 3.10 Sean i, j ∈ S.
Diremos que i comunica con j(se denota i → j), si la cadena visita el estado j
con probabilidad positiva partiendo del estado i. Es decir, si
∃n ≥ 0 tal que pij(n) 0.
Diremos que i y j están intercomunicados(se denota i ↔ j), si i → j y j → i.
Es decir, si
∃n,m ≥ 0 tales que pij(n) 0 y pji(m) 0.
Nota 3.11 La relación ↔ es de equivalencia y, por tanto, define una partición en el
conjunto de estados S en clases de equivalencia. Dentro de cada clase de equivalencia
todos los estados son del mismo tipo como veremos en el siguiente teorema.
Teorema 3.4 Supongamos que i ↔ j, entonces:
1. d(i) = d(j), es decir, i y j tienen el mismo periodo.
55

2. i es transitorio ⇔ j es transitorio.
3. i es persistente nulo ⇔ j es persistente nulo.
Demostración:
1. Si i ↔ j ⇒ ∃m, n tales que pij(m) 0 y pji(n) 0.
Por el teorema de Chapman-Kolmogorov, tenemos:
pii(m + n) ≥ pij(m)pji(n) 0 ⇒ m + n es múltiplo de d(i). (∗)
pjj(m + n) ≥ pji(n)pij(m) 0 ⇒ m + n es múltiplo de d(j). (∗∗)
pii(m + d(j) + n) ≥ pij(m)pjj(d(j))pji(n) 0 ⇒ m + d(j) + n es múltiplo de d(i). (⋆)
pjj(m + d(i) + n) ≥ pij(n)pjj(d(i))pji(m) 0 ⇒ m + d(i) + n es múltiplo de d(j). (⋆⋆)
De aqu´ı,
(∗) y (⋆) ⇒ d(j) es múltiplo de d(i)
(∗∗) y (⋆⋆) ⇒ d(i) es múltiplo de d(j)
)
⇒ d(i) = d(j).
2.
Supongamos i transitorio ⇔
X
n
pij(n) ∞ ⇒ ∀j,
X
n
pij(n) ∞.
Supongamos ahora que i es transitorio y que hay otro estado j que comunica con él
que no lo es. As´ı, i transitorio, j no transitorio, i ↔ j. Entonces,
∃m, n tales que pij(m) 0 y pji(n) 0.
Por el teorema de Chapman-Kolmogorov, tenemos:
pii(m + r + n) ≥ pij(m)pjj(r)pji(n) = αpjj(r), ∀r,
donde α = pij(m)pji(n) 0.
Sumando en r esta expresión,
∞
X
r
pii(m + r + n) ≥ α
X
r
pjj(r) 0 =⇒
X
r
pjj(r) ∞ ⇒ j es transitorio.
3.
Supongamos i persistente no nulo ⇔ pii(n) n!1 −→ 0.
Análogamente a la demostración de 2., pero usando la caracterización anterior, se llega
a que si i es persistente nulo ⇒ j también lo es, pues
pii(m + r + n) n!1 −→ 0, y pii(m + r + n) ≥ αpjj(r)
56

con α = pij(m)pji(n) 0. Entonces,
pjj(r) r!1 −→ 0 ⇒ j es persistente nulo.
Nota 3.12 Por exclusión, si i es persistente no nulo, como j no puede ser ni transitorio
ni persistente nulo ⇒ j será persistente no nulo.
A continuación definimos distintos tipos de clases de estados:
Definición 3.11 Sea C ⊆ S un conjunto de estados, diremos que C es:
i. cerrado si ∀i ∈ C, j /∈ C, pij = 0.
ii. irreducible si ∀i, j ∈ C, i ↔ j.
Observación: Una vez que la cadena toma un valor en una clase cerrada de estados C
entonces nunca la dejará en el futuro. Si un conjunto de estados cerrado está formado por
un único estado, a este estado se le llamará absorbente.
Es claro que las clases de equivalencia de ↔ son irreducibles. Diremos que C tiene
una propiedad si todos los estados de C tienen dicha propiedad. Si todo el conjunto de
estados S es irreducible entonces diremos que la cadena es irreducible.
Podemos ya formular el siguiente importante teorema.
Teorema 3.5 (Teorema de descomposición de las Cadenas de Markov) El espa-cio
de estados S de una cadena de Markov X, tiene la siguiente partición única:
S = T ∪ C1 ∪ C2 ∪ · · ·
donde T es un conjunto de estados transitorios, y Ci son clases cerradas e irreducibles de
estados persistentes.
Nota 3.13 El teorema de descomposición nos muestra las posibilidades que pueden darse
en una cadena de Markov. Esto es, si X0 ∈ Cr, entonces la cadena nunca abandonará la
clase Cr y entonces, podemos considerar el espacio de estados S = Cr. Por otra parte,
si X0 ∈ T entonces, o la cadena permanece por siempre en T o se mueve a una clase
Ck y permanece ah´ı por siempre. As´ı, o la cadena siempre toma valores en el conjun-to
de estados transitorios o acaba en un conjunto cerrado persistente de estados donde
permanecerá por siempre. Veamos ahora que en el caso en el que S sea finito la primera
situación no puede darse.
Nota 3.14 Eventualmente T puede ser vac´ıo.
Nota 3.15 Si |S| +∞ ⇒ las cadenas son más sencillas.
57

Teorema 3.6 Si S es finito, todos los estados no pueden ser transitorios, siendo todos
los estados persistentes no nulos.
Demostración:
Por reducción al absurdo, supongamos que todos los estados son transitorios. Entonces
tendr´ıamos que
∀i,
X
j2S
pij(n) = 1
Además, por el corolario 3.2, tenemos que
pij(n) n!1 −→ 0, ∀i, j ∈ S.
Luego:
1 = l´ım
n!1
1 = l´ım
n!1
X
j2S
pij(n)
fta.
=
X
j2S
l´ım
n!1
pij(n) =
X
j2S
0 = 0
Llegar´ıamos a la misma contradicción si supusiésemos que existe un estado persistente
nulo, ya que en este caso también se tiene que pij(n) n!1 −→ 0.
Ejemplo: Sea S = {1, 2, 3, 4, 5, 6}.
P =


1/2 1/2 0 0 0 0
3/4 1/4 0 0 0 0
1/4 1/4 1/4 1/4 0 0
1/4 0 1/4 1/4 0 1/4
0 0 0 0 1/2 1/2
0 0 0 0 1/2 1/2


Clasificación de los estados:
El estado 3 es transitorio, ya que para ser persistente tendr´ıa que tener probabilidad
1 de volver a 3 saliendo de 3 y si salimos al estado 1 ya no volvemos a 3.
El estado 4 también es transitorio. Luego,
T = {3, 4}
La clase {1, 2} es irreducible , al igual que {5, 6} .
Con la matriz de transición es suficiente para conocer una cadena.
Utilizando los teoremas anteriores, tenemos que dada una cadena de Markov sobre el
espacio S, el conjunto de estados puede descomponerse como:
S = T ∪ C1 ∪ C2 ∪ · · ·
58

Renombrando a los estados adecuadamente llegamos a que la matriz de transici´on se
puede expresar como sigue:
P =


C1 0 · · · 0 0
0 C2 · · · 0 0
...
...
. . .
...
...
0 0 · · · Cm 0
D1 D2 · · · Dm Q


donde Ci son las matrices correspondientes a los estados persistentes, y Di a los transi-torios.
Ejemplo: Sea X una cadena de Markov con S = {1, 2, . . . , 10}. Sea
P =


1/2 0 1/2 0 0 0 0 0 0 0
0 1/3 0 0 0 0 2/3 0 0 0
1 0 0 0 0 0 0 0 0 0
0 0 0 0 1 0 0 0 0 0
0 0 0 1/3 1/3 0 0 0 1/3 0
0 0 0 0 0 1 0 0 0 0
0 0 0 0 0 0 1/4 0 3/4 0
0 0 1/4 1/4 0 0 0 1/4 0 1/4
0 1 0 0 0 0 0 0 0 0
0 1/3 0 0 1/3 0 0 0 0 1/3


Hacemos el siguiente grafo:
1 3
10 2 7
9
5
4
6
8
1 , 3 8 , 5 , 4 , 10 2 , 7 , 9
y as´ı,
59

{1, 3}
{2, 7, 9}
{6}

 conjuntos cerrados, irreducibles, recurrentes, no nulos.
{4, 5, 8, 10} conjunto transitorio.
{1, 3, 2, 7, 9, 6} ninguno es transitorio o recurrente nulo.
{6} es absorvente.
Luego la matriz de transición se puede expresar del siguiente modo:
P =


1 0 0 0 0 0 0 0 0 0
0 1/2 1/2 0 0 0 0 0 0 0
0 1 0 0 0 0 0 0 0 0
0 0 0 1/3 2/3 0 0 0 0 0
0 0 0 0 1/4 3/4 0 0 0 0
0 0 0 1 0 0 0 0 0 0
0 0 0 0 0 0 0 1 0 0
0 0 0 0 0 1/3 1/3 1/3 0 0
0 0 1/4 0 0 0 1/4 0 1/4 1/4
0 0 0 1/3 0 0 0 1/3 0 1/3


Ejemplo: Sean las cadenas de Markov dadas por las siguientes matrices de transición.
Identificar gráficamente el tipo de estado al que pertenecen cada uno de ellos.
a)
P1 =


1/2 0 1/2 0 0
0 1/4 0 3/4 0
0 0 1/3 0 2/3
1/4 1/2 0 1/4 0
1/3 0 1/3 0 1/3


Hacemos en primer lugar un grafo de los estados. A través del grafo se puede identificar
qué estados son recurrentes y cuáles transitorios.
Asignamos a un estado cualquiera los signos ±. Por ejemplo, al estado 1.
Si se señala un estado con un signo + (por ejemplo el i) se señalan también con + los
estados j que siguen al i. Por ejemplo, hemos señalado 1 con +, entonces seguirá el
estado 3 con + y, después del estado 3, el estado 5 también con +.
Si se señala un estado con signo −, se señalan también con − a todos los estados
que lo preceden. Por ejemplo, si el 1 tiene signo −, ponemos signo − también a
los estados 4 y 5; como el 3 precede al 5 le ponemos también signo −, y como el 2
precede al 4, le ponemos también signo −.
60

−+
−+
−+
1
2
3
4
5
−
−
Aquellos estados señalados con el doble signo ± forman una clase de estados comuni-cados.
En nuestro caso, forman esa clase los estados 1,3,5.
Para ver lo que les ocurre a los estados restantes, le damos ± de partida a otro estado
que no esté en la clase que ya nos ha salido y repetimos los mismos pasos. En nuestro caso,
le damos ± al estado 2 por ejemplo, obteniendo que {2, 4} forman una clase comunicada.
−+
−+
1
2
3
4
5
+
+
+
Tenemos entonces dos clases comunicadas, {1, 3, 5} y {2, 4}, ya que si cogemos otros
estados distintos de partida para asignarles el ± nos salen las mismas clases.
{2, 4} son estados transitorios porque cuando salen ya no vuelven. Una cadena finita
nunca puede tener todos sus estados transitorios.
Ahora reescribimos la matriz P1 de forma que los elementos de una misma clase estén
juntos. As´ı, nos queda:
61

P1 =


1/2 1/2 0 0 0
0 1/3 2/3 0 0
1/3 1/3 1/3 0 0
0 0 0 1/4 3/4
1/4 0 0 1/2 1/4


b)
P2 =


0 0.8 0 0 0 0 0.2
0 0.3 0 0 0 0 0.7
0 0 0.3 0.5 0.2 0 0
0 0 0.6 0 0.4 0 0
0 0 0 0.4 0.6 0 0
0.1 0.1 0.1 0.2 0.2 0.3 0
0.4 0.1 0.1 0 0.1 0.2 0.1


−+
−+
−+
−+
+
−+
−+
−+
1
2
3
4
6 5
7
+
+
−
−
−
−
{1 , 2 , 6 , 7} Transitorios
{3 , 4 , 5}
Reescribimos la matriz P2:
P2 =


0.3 0.5 0.2 0 0 0 0
0.6 0 0.4 0 0 0 0
0 0.4 0.6 0 0 0 0
0 0 0 0 0.8 0 0.2
0 0 0 0 0.3 0 0.7
0.1 0.2 0.2 0.1 0.1 0.3 0
0.1 0 0.1 0.4 0.1 0.2 0.1


Ahora nos interesa saber que ocurre con la cadena {Xn} cuando n → ∞. La matriz P
en conjunto no tiene un estado l´ımite, sino cada uno de los estados que est´an en la misma
clase.
62

3.4. Distribuciones estacionarias y teoremas l´ımite.
¿Cómo se comportará una cadena cuando haya pasado un largo per´ıodo de tiempo?
Definición 3.12 El vector π = (πj)j2S es una distribución estacionaria de la cadena
si:
1. Es una distribución de probabilidad, es decir:
πi ≥ 0,
X
i2S
πi = 1.
2. π = πP, i.e., πj =
X
i2S
πipij ∀j ∈ S.
Observación: Se dice distribución estacionaria, pues si iteramos se obtiene:
πP2 = (πP)P = πP = π ⇒ . . . ⇒ πPn = π ∀n ≥ 0.
Luego si X0 sigue la distribución dada por π, se tiene que dicha distribución no será mo-dificada,
es decir, ∀n, Xn tiene la misma distribución.
A continuación enunciamos un teorema importante .
Teorema 3.7 (Teorema fundamental de las cadenas de Markov) Una cadena de
Markov tiene una distribución estacionaria π si y sólo si todos sus estados son persistentes
no nulos; en cuyo caso, la distribución π es única y viene dada por πi = μ−1
i para cada
i ∈ S, donde μi es el tiempo medio de recurrencia del estado i.
Ejemplo: Sea P =

1/2 1/2
1/4 3/4
#
πP = π ⇒ (π1, π2) = (π1, π2)

1/2 1/2
1/4 3/4
!
=

1
2
π1 +
1
4
π2,
1
2
π1 +
9
4
π2

⇒
⇒
(
π1 = 1
2π1 + 1
4π2
2π1 + 3
4π2 ⇒
π2 = 1


1
2π1 = 1
4π2
1
4π2 = 1
2π1
π1 + π2 = 1
⇒
π1 = 1
3
π2 = 2
3
Nota 3.16 Observemos que:
i. Si la cadena es transitoria o recurrente nula, como μj = ∞, entonces
pij(n) n!1 −→ 0, ∀i, j ∈ S.
63

ii. Si la cadena es persistente no nula,
pij(n) n!1 −→ πj = μ−1
j .
iii. P(Xn = j) =
X
i
P(X0 = i)pij(n) n!1 −→
1
μj
.
Notese que l´ım
n!1
pij(n) no depende del punto inicial X0 = i.
iv. Si X es periódica de periodo d, Y = {Yn = Xnd : n ≥ 0} es una cadena aperiódica:
pjj(nd) = P(Yn = j |Y0 = j) n!1 −→
d
μj
.
Nota 3.17 Si X es irreducible y aperiódica, el sistema siguiente tiene solución única.


π(j) =
X
i2S
π(i)pij j ∈ S
X
j2S
π(j) = 1
Además, se tiene
π(j) = l´ım
n!1
Pn
ij ∀i, j ∈ S
Una cadena de Markov no tiene porque tener distribución estacionaria, para que as´ı sea
ha de ser una cadena irreducible y todos sus estados deben ser persistentes no nulos.
Luego para estudiar el comportamiento l´ımite de una cadena cualquiera, hay que
considerar cada una de sus clases Ci, ya que cada una va a tener un comportamiento
l´ımite. También la clase de estados transitorios T va tener su comportamiento; aunque
acabe por desaparecer, nos interesa ver en cuanto tiempo. Por tanto, es fundamental para
el estudio del comportamiento l´ımite la separación de una cadena en estados persistentes
y transitorios, pues es en la separación donde está el comportamiento l´ımite. Se estudia
cada una por separado, se hace π = πCi.
La matriz l´ımite de Pn va a coincidir en cada fila con la distribución estacionaria:
P =


π
π
· · · π


si la cadena es irreducible.
A continuación vemos resultados sobre el comportamiento asintótico de las cadenas
de Markov con estados periódicos.
64

Lema 3.2 Sea X una cadena de Markov irreducible con estados periódicos recurrentes
de per´ıodo δ. Entonces, los estados se dividen en δ clases disjuntas B1,B2, . . . ,B (clases
c´ıclicas), tales que pij = 0, a menos que:
i ∈ B1 y j ∈ B2 ó i ∈ B2 y j ∈ B3 ó . . . ó i ∈ B y j ∈ B1.
Teorema 3.8 Sea P la matriz de transición de una de cadena de Markov con estados
periódicos recurrentes de periodo δ, y sean B1, . . . ,B definidas en el lema anterior. En-tonces,
en la cadena de Markov con matriz de transición P = P las clases B1, . . . ,B son
cerradas e irreducibles de estados aperiódicos.
Del lema anterior se deduce que si i ∈ B entonces:
P(Xm ∈ B

) = 1, β = α + m(mod δ).
Teorema 3.9 Sean P y B como en el teorema anterior, y supongamos que la cadena no
es nula. Entonces para alg´un m = {0, 1, . . . , δ − 1},
l´ımPn+m
ij =
(
π(j) si i ∈ B j ∈ B

β = α + m(mod δ)
0 en otro caso
Supongamos que tenemos una cadena finita. Veamos el procedimiento que vamos a
seguir para calcular la matriz l´ımite de una cadena de Markov:
1. Identificar los conjuntos cerrados e irreducibles, es decir, las distintas clases de es-tados
persistentes.
2. Los restantes son los transitorios.
3. Estudiar la periodicidad de cada clase cerrada por separado.
Recordemos que la matriz después de haber identificado cada clase y haber organizado
las filas y columnas según esa clasificación, la matriz P toma la forma:
P =


P1 0 · · · 0 0
0 P2 · · · 0 0
...
...
. . .
...
...
0 0 · · · Pm 0
D1 D2 · · · Dm Q


donde Pi son los estados persistentes y Di los transitorios.
Aplicando los resultados anteriores tenemos la matrizbP
donde las cajas Pi que tenemos
en P se contraen a un número que es la unidad, es decir,
65

bP
=


1
1
. . .
1
b1 b2 · · · bm Q


donde bj(i) =
X
k2Cj
pik i ∈ D.
As´ı, la matriz bP
tiene la forma:
bP
=

I 0
B Q
!
Para continuar necesitamos calcular las matrices:
F = [fij ]i,j2S
R = [rij ]i,j2S
donde R es lo que se conoce como matriz de potencial, siendo rij el número medio de
visitas a j partiendo de i. Por fij notábamos la probabilidad de alcanzar el estado j, por
primera vez, partiendo del i. Luego,
rij = E[Nj |X0 = i]
donde Nj representa el número de visitas a j.
Veamos como calcular R y F.
Cálculo de R: R = (rij)i,j2S viene dada por los siguientes valores:
Si j es recurrente, entonces:
rij =
(
0 si fij = 0
∞ si fij 0
Si j es transitorio e i es recurrente ⇒ rij = 0.
Si j e i son transitorios, entonces:
(rij)i,j2D = (I − Q)−1.
Cálculo de F: Para calcular F = (fij)i,j2S, definimos la matriz G = (I − Q)−1B.
Si i es transitorio y k es recurrente ⇒ fik = gij .
66

Si i, j son transitorios tal que tienen rij ∞, entonces:


fjj = 1 −
1
rjj
fij =
rij
rjj
Si i, j son recurrentes de la misma clase ⇒ fij = 1.
Si i es recurrente y j transitorio ó recurrente de distinta clase ⇒ fij = 0.
Una vez que hemos calculado R y F podemos calcular la matriz l´ımite P, que en
realidad es el l´ımite de cada una de las entradas, pues cada clase recurrente Pk tiene su
propio l´ımite. Cuando llamamos a P matriz l´ımite nos estamos refiriendo al comporta-miento
l´ımite de todos los estados por separado, en conjunto no es realmente una matriz
l´ımite (aunque por abuso del lenguaje la llamemos as´ı); luego podemos calcular la matriz
l´ımite de cada clase cerrada, no de la matriz l´ımite en general. As´ı, dada una matriz Pk,
su matriz l´ımite viene dada por
π(k) = π(k)Pk
donde
X
i
πi(k) = 1.
As´ı, llegamos a:
P =


P1
P2
. . .
P
m
D
1 D
2 · · · Dm
0


donde D
k nos indica la probabilidad de ir de los estados transitorios a los estados re-currentes.
Además, si i ∈ D (i.e., i es un estado transitorio), en esas cajas se verifica
que:
l´ım
n!1
pn
ij = fijπj .
Veamos ejemplos de como se lleva a la práctica:
Ejemplo: Sea X una cadena de Markov donde S = {1, 2, . . . , 8}, y sea:
P =


0.4 0.3 0.3 0 0 0 0 0
0 0.6 0.4 0 0 0 0 0
0.5 0.5 0 0 0 0 0 0
0 0 0 0 1 0 0 0
0 0 0 0.8 0.2 0 0 0
0 0 0 0 0 0.4 0.6 0
0.4 0.4 0 0 0 0 0 0.2
0.1 0 0.3 0 0 0.6 0 0


67

Se observa que,

{1, 2, 3}
{4, 5}
clases de estados recurrentes, irreducibles y aperiódicos.
{6, 7, 8} clases de estados transitorios, sólo pueden alcanzar los estados 1,2 y 3.
Tenemos,
bP
=


1 0 0 0 0
0 1 0 0 0
0 0 0.4 0.6 0
0.8 0 0 0 0.2
0.4 0 0.6 0 0


y Q =


0.4 0.6 0
0 0 0.2
0.6 0 0


Entonces,
(I − Q)−1 =


0.6 −0.6 0
0 1 −0.2
−0.6 0 1


−1
=
1
66


125 75 15
15 75 15
75 45 75


Luego la matriz potencial será:
R =


∞ ∞ ∞ 0 0 0 0 0
∞ ∞ ∞ 0 0 0 0 0
∞ ∞ ∞ 0 0 0 0 0
0 0 0 ∞ ∞ 0 0 0
0 0 0 ∞ ∞ 0 0 0
∞ ∞ ∞ 0 0 125
75
66
66
15
66
∞ ∞ ∞ 0 0 15
66
75
66
15
66
∞ ∞ ∞ 0 0 75
66
45
66
75
66


Por otro lado,
G =


125
66
75
66
15
66
15
66
75
66
15
66
75
66
45
66
75
66


| {z }
(I−Q)−1


0 0
0.8 0
0.4 0


| {z }
B
=


1 0
1 0
1 0


ahora la matriz F, será
F =


1 1 1 0 0 0 0 0
1 1 1 0 0 0 0 0
1 1 1 0 0 0 0 0
0 0 0 1 1 0 0 0
0 0 0 1 1 0 0 0
1 1 1 0 0 0.472 1 0.20
1 1 1 0 0 0.12 0.12 0.20
1 1 1 0 0 0.60 0.60 0.12


68

Nota 3.18 En las cadenas markovianas todas las filas de la matriz del comportamiento
l´ımite son iguales. Esto quiere decir que es independiente del estado inicial.
La matriz l´ımite es de la forma,
P =


π1 π2 π3 0 0 0 0 0
π1 π2 π3 0 0 0 0 0
π1 π2 π3 0 0 0 0 0
0 0 0 π4 π5 0 0 0
0 0 0 π4 π5 0 0 0
π1 π2 π3 0 0 0 0 0
π1 π2 π3 0 0 0 0 0
π1 π2 π3 0 0 0 0 0


donde las πi verifican los siguientes sistemas de ecuaciones:


(π1 π2 π3) = (π1 π2 π3)


0.4 0.3 0.3
0 0.6 0.4
0.5 0.5 0


π1 + π2 + π3 = 1


(π4 π5) = (π4 π5)

0 1
0.8 0.2

π4 + π5 = 1
Resolviendo los sistemas nos queda:
P =


0.22 0.51 0.27 0 0 0 0 0
0.22 0.51 0.27 0 0 0 0 0
0.22 0.51 0.27 0 0 0 0 0
0 0 0 0.4 0.6 0 0 0
0 0 0 0.4 0.6 0 0 0
0.22 0.51 0.27 0 0 0 0 0
0.22 0.51 0.27 0 0 0 0 0
0.22 0.51 0.27 0 0 0 0 0


P =

 0.2 0.8 0 0 0 0 0
0.7 0.3 0 0 0 0 0
0 0 0.3 0.5 0.2 0 0
0 0 0.6 0 0.4 0 0
0 0 0 0.4 0.6 0 0
0 0.1 0.1 0.2 0.2 0.3 0.1
0.1 0.1 0.1 0 0.1 0.2 0.4


69

Se observa que,
{1, 2}
{3, 4, 5}

clases de estados recurrentes.
{6, 7} clases de estados transitorios.
En este caso, tenemos que
bP
=


1 0 0 0
0 1 0 0
0.1 0.5 0.3 0.1
0.2 0.2 0.2 0.4


⇒ B

0.1 0.5
0.2 0.2

Por otro lado,
(I − Q)−1 =

0.7 −0.1
−0.2 0.6
−1
=
1
0.4

0.6 0.1
0.2 0.7

=

1.5 0.25
0.5 1.75

Luego,
G = (I − Q)−1B =

1.5 0.25
0.5 1.75

0.1 0.5
0.2 0.2

=

0.2 0.8
0.4 0.6

Con esto, ya podemos obtener R y F:
R =


∞ ∞ 0 0 0 0 0
∞ ∞ 0 0 0 0 0
0 0 ∞ ∞ ∞ 0 0
0 0 ∞ ∞ ∞ 0 0
0 0 ∞ ∞ ∞ 0 0
∞ ∞ ∞ ∞ ∞ 1.5 0.25
∞ ∞ ∞ ∞ ∞ 0.5 1.75


, F =


1 1 0 0 0 0 0
1 1 0 0 0 0 0
0 0 1 1 1 0 0
0 0 1 1 1 0 0
0 0 1 1 1 0 0
0.2 0.2 0.8 0.8 0.8 0.3 0.14
0.4 0.4 0.6 0.6 0.6 0.3 0.43


En este caso, los sistemas de ecuaciones son:


(π1 π2) = (π1 π2)

0.2 0.8
0.7 0.3

π1 + π2 = 1


(π3 π4 π5) = (π3 π4 π5)


0.3 0.5 0.2
0.6 0 0.4
0 0.4 0.6


π3 + π4 + π5 = 1
70

Resolviendo los sistemas podremos escribir P:
π1 = 0.47 = 7
15
π2 = 0.53 = 8
15
π3 = 0.26 = 6
23
π4 = 0.30 = 7
23
π5 = 0.43 = 10
23
⇒ P =


7
15
8
15 0 0 0 0 0
7
15
8
15 0 0 0 0 0
0 0 6
23
7
23
10
23 0 0
0 0 6
23
7
23
10
23 0 0
0 0 6
23
7
23
10
23 0 0
1.4
15
1.6
15
4.8
23
5.6
23
8
23 0 0
2.8
15
3.2
15
3.6
23
4.2
23
6
23 0 0


P =


0.5 0.5 0 0 0 0 0
0.8 0.2 0 0 0 0 0
0 0 0 0.4 0.6 0 0
0 0 1 0 0 0 0
0 0 1 0 0 0 0
0.1 0 0.2 0.2 0.1 0.3 0.1
0.1 0.1 0.1 0 0.1 0.2 0.4


Al igual que en el ejemplo anterior, se tiene
{1, 2}
{3, 4, 5}periodo2

clases de estados recurrentes.
{6, 7} clases de estados transitorios.
En este caso, la matriz bP
es la misma que la del ejemplo anterior.
bP
=


1 0 0 0
0 1 0 0
0.1 0.5 0.3 0.1
0.2 0.2 0.2 0.4


Luego B y Q son las mismas que antes, lo que implica que G tambi´en coincida con la del
ejemplo anterior. En este caso, tenemos:
R =


∞ ∞ 0 0 0 0 0
∞ ∞ 0 0 0 0 0
0 0 ∞ ∞ ∞ 0 0
0 0 ∞ ∞ ∞ 0 0
0 0 ∞ ∞ ∞ 0 0
∞ ∞ ∞ ∞ ∞ 1.5 0.25
∞ ∞ ∞ ∞ ∞ 0.5 1.75


, F =


1 1 0 0 0 0 0
1 1 0 0 0 0 0
0 0 1 1 1 0 0
0 0 1 1 1 0 0
0 0 1 1 1 0 0
0.2 0.2 0.8 0.8 0.8 0.3 0.1
0.4 0.4 0.6 0.6 0.6 0.3 0.4


71

En este caso, los sistemas de ecuaciones quedan:


(π1 π2) = (π1 π2)

0.5 0.5
0.8 0.2

π1 + π2 = 1


(π3 π4 π5) = (π3 π4 π5)


0 0.4 0.6
1 0 0
1 0 0


π3 + π4 + π5 = 2
Resolvemos los sistemas para obtener P:
π1 = 8/13
π2 = 5/13
π3 = 1
π4 = 0.4
π5 = 0.6
⇒ P
1 =


8/13 5/13 0 0 0 0 0
8/13 5/13 0 0 0 0 0
0 0 0 0.4 0.6 0 0
0 0 1 0 0 0 0
0 0 1 0 0 0 0
0.12 0.08 0.4 0.16 0.24 0 0
0.24 0.16 0.3 0.12 0.18 0 0

 y
P
2 =


8/13 5/13 0 0 0 0 0
8/13 5/13 0 0 0 0 0
0 0 1 0 0 0 0
0 0 0 0.4 0.6 0 0
0 0 0 0.4 0.6 0 0
0.12 0.08 0.4 0.16 0.24 0 0
0.24 0.16 0.3 0.12 0.18 0 0


Cuando la cadena es infinita es m´as costoso identificar los estados, pues debemos resolver
un sistema infinito. Adem´as, puede darse el caso de que haya estados transitorios, recu-rrentes
no nulos y recurrentes nulos (en las cadenas finitas no puede haber recurrentes
nulos).
En las cadenas infinitas hay que empezar identificando si hay estados no nulos dadas
las clases cerradas. Para ello, tenemos el siguiente teorema:
Teorema 3.10 Dada una cadena de Markov irreducible, consideramos el sistema:


π(j) =
X
i2S
π(i)pij j ∈ S
X
j2S
π(j) = 1
72

Todos los estados serán recurrentes no nulos si y sólo si existe solución única de este
sistema.
Si el sistema anterior no tuviese solución, tenemos el siguiente teorema:
Teorema 3.11 Sea P la matriz de transición asociada a la cadena de Markov que estamos
estudiando, y sea Q la matriz obtenida de P al suprimir la fila y la columna k−ésima
(k ∈ S cualquiera). Entonces, los estados son recurrentes nulos si y sólo si el sistema que
la matriz Q produce tiene solución trivial, es decir, si el sistema tiene precisamente la
solución trivial. O sea,
h(i) =
X
j2S{k}
qijh(j)
0 ≤ h(i) ≤ 1; i ∈ S {k}


=⇒ h(i) = 0.
Nota 3.19 Si existe solución no trivial del sistema, los estados serán transitorios.
Ejemplo: Estudiar el comportamiento de los estados de los recorridos aleatorios dados
por la matriz de transición
P =


q p 0 0 0 · · · q 0 p 0 0 · · ·
0 q 0 p 0 · · · 0 0 q 0 p · · ·
· · · · · · · · · · · · · · · · · ·

 en función del valor p. Determinar las distribuciones l´ımite.
En P, vemos que todos los estados se comunican entre s´ı, forman una sola clase.
Resolvemos el sistema π = πP:
π0 = π0q + π1q
π1 = π0p + π2q
π2 = π1p + π3q
...
Esto es un sistema infinito. Para resolverlo tomamos π0 = 1 (ya que el sistema es ho-mog
éneo y, por tanto, tenemos un grado de libertad) y despejamos el resto de las πi:
π1 =
p
q
π2 =
p2
q2
...
73

As´ı, queda: π =

c, c
p
q
, c

p2
q2 , . . .
(Tomamos π0 = c en lugar de π0 = 1, para tener todas las soluciones posibles).
Luego hemos resuelto el sistema, pero esa solución no es buena para cualquier p, q. Ha de
X1
ser p q para que el sistema tenga solución, pues al normalizar, la serie
i=0

p
q
i
· c ha
de ser convergente y, como es una serie geométrica de razón
p
q
, para que sea convergente
ha de ser p q.
Por tanto, si p q todos los estados son recurrentes no nulos, y la solución del sistema
ser´ıa:
πj =

1 −
p
q

p
q
j
, j = 0, 1, 2, . . .
pues ésta es la solución que hace que
X
j
πj = 1:
c
X1
k=0

p
q
k
= 1 ⇒ c
1
1 −
p
q
= 1 ⇒ c = 1 −
p
q
.
La matriz l´ımite es una matriz infinita.
Por otro lado, nos va a salir:
Si p = q ⇒ todos los estados son recurrentes nulos.
Si p q ⇒ todos los estados son transitorios.
Para obtener esta solución, le quitamos a P la 1a fila y la 1a columna, por ejemplo, y
obtenemos as´ı Q. Después, volvemos a plantear el sistema anterior para ver si tiene o no
solución.
Estudiamos entonces el sistema h = Qh:
Q =


0 p 0 0 · · ·
q 0 p 0 · · · 0 q 0 p · · ·
· · · · · · · · · · · · · · ·


⇒
h1 = ph2
h2 = qh1 + ph3
h3 = qh2 + ph4
...
Haciendo manipulaciones algebraicas obtenemos:
hi = c

1 +
q
p
+ · · · +

q
p
i−1
#
, i = 1, 2, . . .
74

Con esto:
Si p = q ⇒ hi = c · i
0 hi 1 | {z }
=⇒ c = 0 ⇒ todos los estados son recurrentes nulos.
Si p q ⇒ hi = 1 −

q
p
i
⇒ todos los estados son transitorios.
75

Cadenas de markov

Más contenido relacionado

La actualidad más candente (20)

Similar a Cadenas de markov (20)

Último (20)

Cadenas de markov