Redesia2

Una Introducción a las Redes Bayesianas
Serafín Moral
Departamento de Ciencias de la Computación
Universidad de Granada
Una Introducción a las Redes Bayesianas– p.1/??

Redes Bayesianas
Sistemas Expertos Probabilísticos
Representar conocimiento con incertidumbre.
Después se puede manipular para razonamiento y toma de
decisiones.
Se pueden tratar muchas variables.
Las reglas (probabilidades) se pueden estimar a partir de
datos.
Los modelos tienen una interpretación clara y bien deﬁnida.
Actualmente están teniendo un gran desarrollo.

Indicios de importancia
En 1999 J. Pearl uno de los pioneros en Inteligencia Artificial recibió el IJCAI
Award for Research Excellence (El séptimo de estos premios bianuales). Esta
es la distinción más importante en Inteligencia Artificial.
Evolución de publicaciones en JCR (base de datos de publicaciones) bajo la
búsqueda Bayesian Networks:
1990-1999: 118 publicaciones
2000-2006: 587 publicacione
Algunos artículos altamente citados en scholar.google.com:
Aprendizaje de Hecherman y col. (1995): 1249 citas
Clasificación supervisada de Friedman y col. (1997): 880 cirtas
Análisis de datos de expresión genética de Friedman y col. (2000): 906
citas
Filtrado de clientes de Breese y col. (1998) 1129 citas
Libro de Judea Pearl: 8027 citas

Referencias
E. Castillo, J.M. Gutiérrez, A.S. Hadi (1996) Sistemas Expertos y Modelos de
Redes Probabilísticas. Monografías de la Academia de Ingeniería. Academia
de Ingeniería, Madrid.
R.G. Cowell, A.P. Dawid, S.L. Lauritzen, D.J. Spiegelhalter (1999)
Probabilistic Networks and Expert Systems. Springer-Verlag, Nueva York.
F.V. Jensen (1996) An Introduction to Bayesian Networks. UCL Press,
Londres.
F.V. Jensen (2001) Bayesian Networks and Decision Graphs. Springer-Verlag,
Nueva York.
F.V. Jensen, T.D. Nielsen (2007) Bayesian Networks and Decision Graphs
(2nd Edition). Springer-Verlag, Nueva York.
U. Kjaerulff, A.L. Madsen (2007) Bayesian Networks and Inﬂuence Diagrams:
A Guide to Construction and Analysis. Springer-Verlag.
J. Pearl (1988) Probabilistic Reasoning in Intelligent Systems: Networks of
Plausible Inference. Morgan Kaufmann, San Mateo, CA.Una Introducción a las Redes Bayesianas– p.4/??

Contenido
Problemas para manejar conocimiento incierto
Teoría de la Probabilidad
Independencia
Redes Bayesianas, D-separación
Construcción de redes Bayesianas
Algoritmo de borrado o de eliminación de variables
El programa Elvira
Otros temas: conﬁguración de máxima probabilidad,
diagramas de inﬂuencia, aprendizaje

Sistemas Basados en Reglas
SI es un animal con pelo ENTONCES es un mamífero
Incertidumbre:
SI tiene ﬁebre y dolor de cabeza, entonces tiene gripe (certeza
0.7)
MYCIN fue diseñado para determinar tratamientos en
infecciones de la sangre con 300 reglas.
Si una conclusión se obtiene por varias vías, los valores de
certeza se combinan.
Las certezas no eran probabilidades: éstas imponen unas
reglas de cálculo muy estrictas.
Su correcto funcionamiento se basa en un cuidadoso
diseño de las reglas en función del uso que se hace de
ellas. Una Introducción a las Redes Bayesianas– p.6/??

Problemas
La validez de una regla depende del contexto.
Si conozco el nivel de estudios de una persona, obtengo información
sobre su nivel de ingresos. Esta información puede ser equivocada y
ponerse de maniﬁesto si conozco el puesto de trabajo concreto que
esta persona desarrolla
Si al salir de casa vemos el césped mojado podemos sospechar que ha
llovido. Si descubrimos que nos hemos dejado la manguera abierta,
dejamos de sospechar que ha llovido.

Problemas
Las reglas con incertidumbre deberían de poder usarse en ambas
direcciones.
Si hay fuego debe de haber humo
Si vemos humo sospechamos la existencia de fuego

Problemas
Las reglas con incertidumbre deberían de poder usarse en ambas
direcciones.
Si hay fuego debe de haber humo
Si vemos humo sospechamos la existencia de fuego
Correlación entre las informaciones. Si una misma información se repite
muchas veces no debe de aumentar nuestra certidumbre.Una Introducción a las Redes Bayesianas– p.7/??

Probabilidad
La probabilidad como medida de certeza, no presenta ninguno
de estos problemas.
Puedo tener P(Gripe|Fiebre) =0.9,P(Gripe|Fiebre,Otitis) =0.1.
Presenta otro: necesito una distribución de probabilidad conjunta.
Si tengo 30 variables, X1,...,Xn y cada una de ellas, Xi,
toma dos posibles valores {ai,ai}, entonces necesitamos
partir de las probabilidades de todas las combinaciones
(x1,x2,...,xn), xi ∈ {ai,ai}
Si n = 30, necesitamos 230
valores, pero inicialmente
solemos disponer de unas cuantas probabilidades
condicionadas.

Probabilidad
Sólo vamos a considerar la probabilidad sobre conjuntos finitos.
Vamos a suponer un conjunto U finito de sucesos elementales y una familia
de conjuntos o sucesos B (si U es finito esta familia suele ser el conjunto de
las partes de U).
Una medida de probabilidad sobre (U,B) es una aplicación P : B → [0,1],
que verifica:
P(U) = 1
Si A y C son disjuntos P(A∪C) = P(A)+P(C)

Probabilidad Condicional
P(A|B) =
P(A∩B)
P(B)
, P(B) = 0
Aunque tiene sentido hablar de probabilidad condicionada a
sucesos de probabilidad 0, y en ese caso se debe de veriﬁcar:
P(A∩B) = P(A|B).P(B)
La probabilidad P(A|B) es la probabilidad de A cuando
conocemos que B y sólo B es cierto.

El Teorema de la Probabilidad Total
Si un paciente tiene la enfermedad E, entonces un test T resulta
positivo con probabilidad 0.95. Si la enfermedad no está
presente el test es positivo con probabilidad 0.03. Si la
probabilidad de sufrir la enfermedad es 0.01, ¿Cual es la
probabilidad de que un paciente cualquiera presente un test
positivo?
Queremos la probabilidad de T+, pero sólo conocemos la
probabilidad de T+ condicionado a la enferemedad y a que no
se tenga la enfermedad, y además conocemos las
probabilidades de tener y no tener las enfermedad.
Si {Hi}i∈I es una colección ﬁnita de sucesos disjuntos dos
a dos y cuya unión es el suceso seguro (U).
P(B) = ∑i∈I P(B|Hi)P(Hi)

El Teorema de la Probabilidad Total
Si {Hi}i∈I es una colección ﬁnita de sucesos disjuntos dos
a dos y cuya unión es el suceso seguro (U).
P(B) = ∑i∈I P(B|Hi)P(Hi)
Demostración: P(B) = P(B∩U) = P(B∩( i∈I Hi)) =
P( i∈I(B∩Hi)) = ∑i∈I P(B∩Hi) = ∑i∈I P(B|Hi)P(Hi)
P(T+) = P(T +|E).P(E)+P(T +|¬E).P(¬E) =
0.95×0.01+0.03×0.99 = 0.0392

El Teorema de Bayes
probabilidad de que un paciente con un test positivo sufra la
enfermedad?
Conocemos P(T +|E) y las probabilidades P(T +|¬E),P(E) y
queremos la probabilidad P(E|T+). Es como invertir la
probabilidad condicionada.
Si {Hi}i∈I es una colección de sucesos disjuntos dos a
dos y cuya unión es el suceso seguro (U).
P(Hj|B) =
P(Hj∩B)
P(B) =
P(B|Hj).P(Hj)
P(B) =
P(B|Hj).P(Hj)
∑i∈I P(B|Hi)P(Hi)

El Teorema de Bayes
probabilidad de que un paciente con un test positivo sufra la
enfermedad?
Si {Hi}i∈I es una colección de sucesos disjuntos dos a
dos y cuya unión es el suceso seguro (U).
P(Hj|B) =
P(B|Hj).P(Hj)
∑i∈I P(B|Hi)P(Hi)
En el caso del ejemplo,
P(E|T+) = P(T+|E).P(E)
P(T+|E).P(E)+P(T+|¬E).P(¬E) = 0.95×0.01
0.95×0.01+0.03×0.99 =
0.0095/0.0392 = 0.2423

Variables Inciertas
Una variable es una magnitud medible en un determinado
problema. Es incierta cuando su resultado no puede ser
determinado con exactitud.
Vamos a hablar en términos de variables inciertas. Las
variables aleatorias las representaremos por X,Y,Z,...
Temperatura con valores en
{≤ 36,36.5,37,37.5,38,38.5,39,39.5,≥ 40}
Hepatitis con valores en {Presente,Ausente}
N. de Hijos con valores en {0,1,2,3,> 3}
Un valor genérico de la variable X se representará por x
Un conjunto de variables se representará por X
Un valor genérico de X se representará por x

Variables Discretas y Continuas
Una variable es discreta si el conjunto de valores posibles
es ﬁnito (Presencia de una enfermedad, Número de
asignaturas matriculadas, Sexo, Estudios realizados)
Una variable es continua si toma valores en un intervalo de
los números reales (Altura, Peso, Luminosidad ).
Nosotros vamos a considerar variables discretas
Si hay continuas las discretizamos dividiéndolas en un
conjunto ﬁnito de intervalos

Distribuciones de probabilidad
Una distribución de probabilidad p sobre X es la función que
asigna a cada valor x, la probabilidad con que X toma dicho
valor. Se notará como p(x).
Ejemplo: Variable N. de hijos con valores {0,1,2,3,> 3} y la
distribución de probabilidad:
p 0 1 2 3 >3
0.1 0.3 0.4 0.15 0.05
Sus valores deben de sumar 1.
0.1
0.2
0.3
0.4
0 1 2 3 >3 Una Introducción a las Redes Bayesianas– p.17/??

Distribuciones Conjuntas
Si tenemos un conjunto de variables X una distribución de
probabilidad conjunta asocia a cada posible valor de estas x, su
probabilidad p(x).
Ejemplo: Tenemos las variables X(Color de los ojos) e Y
(Color del pelo), una distribución conjunta sobre estas variables
puede ser
Y
Moreno Rubio
X Marrones 0.5 0.15
Azules 0.05 0.3
También podemos tener distribuciones que dependan de más
de dos variables, p.e. p(x,y,z).

Distribuciones Condicionadas
Si tenemos dos variables, X,Y, la distribución de probabilidad
de Y dado X, es una función de los conjuntos dónde Y y X
toman sus valores en [0,1], dada por
p(y|x) = P(Y = y|X = x)
Es evidente que ∀x, ∑y p(y|x) = 1
Caso de los test y de las enfermedades p(t|e)
t+ t−
e 0.95 0.05
¬e 0.03 0.97

Distribuciones Condicionadas
Si condicionamos a varias variables, tenemos que dar el valor
de probabilidad de la variable para cada combinación de valores
de las variables condicionadas.
Ejemplo:
Sean X Cáncer de Pulmón, Y Fumador y Z Sexo. Supongamos
que tenemos que una probabilidad condicionada de X dadas las
variables Y y Z, tenemos que dar una tabla de valores como la
siguiente:
Y= Si Y = Si Y = No Y = No
Z= Hombre Z= Mujer Z = Hombre Z = Mujer
X=Si 0.5 0.4 0.2 0.1
X=No 0.5 0.6 0.8 0.9

Muchas Variables
¿Qué pasa si el número de variables es elevado?
Supongamos que en el problema de la enfermedad que se
detecta con un test, en vez de un sólo test tenemos 10
(T1,...,T10).
Ahora para especiﬁcar el problema y después poder aplicar el
teorema de Bayes, deberemos indicar todos los valores
p(t1,...,t10|e), ∀ti ∈ {+,−},e ∈ {pres,aus}
Esto constituye un número importante de valores y crece
exponencialmente en función del número de tests.

Independencia Condicional
Una hipótesis que permite simplificar el problema: Los tests son
condicionalmente independientes dada la enfermedad.
Entonces, podemos expresar
p(t1,...,t10|e) =
10
∏
i=1
p(ti|e)
La independencia será definida formalmente más adelante,
pero se puede interpretar como que los tests tienen distintos
mecanismos de medición, se fijan en distintos factores, no se
equivocan siempre en los mismos casos.

Bayes Naïve
En problemas de clasiﬁcación de una variable Y en función de
otras variables X1,...,Xn la hipótesis de independencia
condicional da lugar al método Naïve Bayes.
Fue usado por primera vez en 1.961 y es extremadamente
competitivo aún en casos en los que la hipótesis no sea
aplicable.
La razón: Los modelos son más sencillos y se pueden estimar
mejor.

Potenciales
Si X es un conjunto de variables y ΩX es el conjunto de todos los
valores posibles de X, un potencial sobre X es una aplicación f:
f : ΩX → R
donde R representa el conjunto de los números reales.
Un potencial asigna un valor numérico a cada combinación
posible de valores de las variables en X.
Una distribución de probabilidad conjunta o una distribución
condicionada son ejemplos de potenciales.
Un potencial se puede representar en un programa como una
tabla con tantos índices como variables y donde cada índice
puede tomar tantos valores como casos posibles tiene la
variable correspondiente.

Operaciones Básicas con Potenciales
Marginalización.- Si tenemos un potencial f deﬁnido sobre
las variables (X,Y) la marginalización de f sobre

Marginalización
Si tenemos un conjunto de variables Y = (X,Z), entonces la
marginalización permite obtener la distribución de probabilidad
sobre X (distribución marginal) a partir de la de Y.
Si p(x,z) es una distribución sobre (X,Z) entonces su
marginalización sobre X es la distribución que se obtiene de la
forma:
p(x) = ∑
z
p(x,z)
La marginalización sobre X se llama también borrado de las
variables en Z.
Por ejemplo, si tengo una distribución p(x,y,z) sobre (X,Y,Z) , la
marginalización sobre (X,Y) se obtiene como
p(x,y) = ∑z p(x,y,z)

Ejemplo
que tenemos la siguiente distribución de probabilidad conjunta
X=Si 0.14 0.168 0.024 0.018
X=No 0.14 0.252 0.096 0.162

Ejemplo
que tenemos la siguiente distribución de probabilidad conjunta
X=Si 0.14 0.168 0.024 0.018
X=No 0.14 0.252 0.096 0.162
La marginalización sobre (Y,Z) viene dada por la distribución de
probabilidad:
0.28 0.42 0.12 0.18

Ejemplo
La distribución sobre (Y,Z) la podemos marginalizar sobre
cualquiera de sus variables.
0.28 0.42 0.12 0.18
Sobre Y obtenemos
Y = Si Y = No
0.7 0.3
Sobre Z obtenemos
Z = Hombre Z = Mujer
0.4 0.6
El resultado de borrar dos variables consecutivas es el mismo
que si dichas variables se borran en un solo paso.

Independencia
Las variables X e Y son independientes si y solo si la
distribución de probabilidad veriﬁca
pX,Y (x,y) = pX(x).pY (y), ∀x,y
donde pX, pY son las distribuciones de probabilidad marginales
sobre las variables X e Y respectivamente.
Una deﬁnición alternativa:
p(y|x) = p(y), ∀x,y
o, equivalentemente,
p(x|y) = p(x), ∀x,y

Ejemplo
Sean dos urnas con 10 bolas: una con 3 rojas y 7 blancas y otra
con 8 rojas y 2 blancas.
Se eligen dos bolas aleatoriamente, una de cada urna, sin
ninguna relación entre las extracciones.
Tabla de Probabilidades:
R1 B1
R2 0.24 0.56 0.80
B2 0.06 0.14 0.20
0.30 0.70 1.00

Independencia Condicional
Dadas las variables X, Y y Z decimos que X e Y son
condicionalmente independientes Z si y solo si
PX,Y,Z(x,y,z) = (PX,Z(x,z).PY,Z(y,z))/PZ(z), ∀x,y,z con PZ(z) > 0
donde pX,Z, pY,Z, pZ son las distribuciones de probabilidad
marginales sobre las variables (X,Z), (Y,Z) y Z,
respectivamente.
Análogamente se deﬁne para conjuntos de variables

Deﬁniciones alternativas
PY|X,Z(y|x,z) = PY|Z(y|z), ∀x,y,z
PX|Y,Z(x|y,z) = PX|Z(x|z), ∀x,y,z
PX,Y|Z(x,y|z) = PX|Z(x|z).PY|Z(y|z), ∀x,y,z
PX,Y,Z(x,y,z) = f1(x,z). f2(y,z), ∀x,y,z

Ejemplo
Supongamos dos urnas con bolas blancas (b) y rojas ( r). La
primera tiene 99 rojas y 1 blanca; la segunda tiene 1 roja y 99
blancas.
Supongamos el siguiente experimento: elegimos aleatoriamente
una urna, las dos con la misma probabilidad (0.5).
Sea Z el resultado de la selección: con valores u1 (primera
urna), u2 (segunda).
Entonces elegimos dos bolas con reemplazamiento de la urna
elegida. Sean los colores de las bolas X e Y.
X e Y no son independientes: el color de una bola nos informa
sobre el color de la otra.

Ejemplo
Z: u1 (99 rojas y 1 blanca), u2 (1 roja y 99 blancas)
X, Y colores de las bolas.
La probabilidad de que X = b es
p(u1).pX (b|u1)+ p(u2).pX (b|u2) = 0.5×0.01+0,5×0.99 = 0.5
Análogamente, la probabilidad de que Y = b es 0.5. Sin
embargo, la probabilidad de que X = b,Y = b es
p(u1).pX (b|u1)pY (b|u1)+ p(u2).pX (b|u2).pY (b|u2) =
0.5×0.01×0.01+0.5×0.99×0.99 = 0.4901
Por tanto, PX,Y (b,b) = PX(b).PY (b)

Ejemplo
Z: u1 (99 rojas y 1 blanca), u2 (1 roja y 99 blancas)
X, Y colores de las bolas.
La probabilidad de que X = b es
p(u1).pX (b|u1)+ p(u2).pX (b|u2) = 0.5×0.01+0,5×0.99 = 0.5
Análogamente, la probabilidad de que Y = b es 0.5. Sin
embargo, la probabilidad de que X = b,Y = b es
p(u1).pX (b|u1)pY (b|u1)+ p(u2).pX (b|u2).pY (b|u2) =
0.5×0.01×0.01+0.5×0.99×0.99 = 0.4901
Por tanto, PX,Y (b,b) = PX(b).PY (b)
Sin embargo, X e Y son independientes dada Z, ya que las
extracciones se hacen con reemplazamiento de la misma urna.
Por ejemplo,
pX,Y (b,r|u1) = pX (b|u1).pY (r|u1) = 0.01×0.99 = 0.0099

Diﬁcultades de la independencia
Si tenemos una conjunto de variable, tendríamos que
considerar todas las relaciones de independencia
I(X,Y|Z)
Variables Independ. Variables Observadas
Esta relación se lee X es independiente de Y dadas (o
conocidas) Z
Dado un conjunto de n variables, estas son n·(n−1)·2n−2.

Cambios en las Observaciones
Consideremos las variables:
A Alarma
R Robo
S Seismo
La Alarma puede sonar por un Robo o un Seismo.
Tenemos que R y S son independientes sin saber nada
(I(R,S|/0)).
Sin embargo, si conocemos que sonó la alarma, estas variables
se vuelven dependientes (¬I(R,S|A))
Al conocer más pasamos de independencia a dependencia.

Cambios en las Observaciones
M1 Transm. 1 M2 Transm. 2 M3
Se manda un mensaje (M1) por un transmisor. El mensaje que
se recibe (M2) se envía por un segundo transmisor. M3 es el
mensaje que se recible al ﬁnal. Los transmisores tienen ruido y
pueden modiﬁcar los mensajes
Tenemos que M1 y M3 son dependientes sin conocer nada
(¬I(M1,M3|/0)). Sin embargo, conocido (M2) los mensajes M1 y
M3 son independientes (I(M1,M3|M2))
En este ejemplo, conocer más pasamos de dependencia a inde-
pendencia.

Redes Bayesianas
Una red bayesiana consta de dos partes:
Una cualitativa: un grafo dirigido acíclico
Un nodo por cada variable del problema
Un conjunto de enlaces dirigidos sin crear ciclos
dirigidos
SI NO
Una cuantitativa: una serie de probabilidades
condicionadas que determinan una única distribución de
probabilidad conjunta.

Redes Bayesianas. Nodo X
X
Nodo referencia
Padres
Ascendientes
Hijos
Descendientes
Otros

Representación de Independencias
Una red bayesiana representa un conjunto de independencias.
De ellas podemos distinguir:
Independencias Básicas.- Son aquellas que hay que tener
cuidado que se veriﬁquen cuando se construye la red.
Independencias Totales.- Son todas las que se deducen de
las básicas aplicando las propiedades de las relaciones de
independencia. Se puede comprobar mediante el llamado
criterio de D-separación.

Independencias Básicas
X
Nodo referencia
Padres
No descendientes
Descendientes
Cada nodo es independiente
de sus no-descendientes da-
dos sus padres.

Ejemplos
R S
A
I(R,S|/0)
M1
M2
M3
I(M1,M3|M2)

Otras independencias: D-separación
X es independiente de Y dado Z1,...,Zk si todo camino (usando
los arcos en ambas direcciones) entre X e Y está bloqueado en
algún nodo por las observaciones Z1,...,Zk.
Un camino entre X e Y está bloqueado en un nodo Z por un
conjunto de observaciones Z1,...,Zk cuando se da una de las
siguientes condiciones:
El camino pasa por el nodo Z con ﬂechas no
cabeza-cabeza y el nodo está observado.
El camino pasa por el nodo Z con ﬂechas cabeza-cabeza y
ni el nodo ni ninguno de sus descendientes está observado.

Dos formas de bloqueo
Dos formas básicas de bloqueo en un nodo:
X Y
No Cabeza-Cabeza
Nodos estudiados
Nodos observados
Nodos no observados
Nodo que bloquea (observado o no)
X Y
Cabeza-Cabeza
Nodo y descendientes
no observados
× ×
×

Cabeza-Cabeza
Cabeza-Cabeza
X
No Cabeza-Cabeza
X
X
X

Ejemplos de Independencia
Nodo Observado
Variables examinadas
Resto Variables

Nodo Observado
Resto Variables
× ×
Primer Camino Bloqueado

Nodo Observado
Resto Variables
× ×
×
Segundo Camino Bloqueado

Nodo Observado
Resto Variables
×
××
Tercer Camino Bloqueado

Nodo Observado
Resto Variables
×
×
×
Cuarto Camino Bloqueado

Nodo Observado
Resto Variables
Variables Independientes (sin obs.)