Regresion linealsimple

logo
Análisis de regresión
Interpretación del modelo de regresión lineal simple RLS
Estimación de los Parámetros del MRLS
Inferencia acerca de los parámetros del MRLS
Análisis de varianza en modelos de RLS
Regresión lineal simple
Lorena Brun González
Universidad de Antioquia
Métodos Estadísticos II
Ingeniería Industrial
Semestre 2015-II
18 de agosto de 2015
Ingeniería Industrial Regresión lineal simple

logo
1 Análisis de regresión
2 Interpretación del modelo de regresión lineal simple RLS
3 Estimación de los Parámetros del MRLS
4 Inferencia acerca de los parámetros del MRLS
5 Análisis de varianza en modelos de RLS

logo
El análisis de regresión es apropiado en situaciones donde se
sospecha o se asume que una variable está relacionada a una
o varias mediadas hechas usualmente en un mismo individuo
(objeto). El objetivo del análisis es usar los datos (valores ob-
servados de las variables) para estimar la forma de la relación.

logo
Ejemplo
Ingreso y el número de años de escolaridad formal.
Ingreso y el gasto familiar.
Número de horas de sueño y el rendimiento en clase.
Número de horas en el Facebook con el grado de estres de una
persona.

logo
Deﬁnición:
El análisis de regresión es una técnica estadística para investi-
gar y modelar la relación entre variables.
Es una de las técnicas de uso más frecuente para analizar con-
juntos de datos que involucran dos tipos de variables, la variable
dependiente o variable respuesta y un grupo de variables inde-
pendientes (regresoras o predictoras).

logo
1. Los modelos lineales empleados son aproximaciones que se
espera trabajen bien en el rango de valores de las variables
regresoras empleados en la construcción del modelo ajustado.
2. Usualmente los métodos de regresión son empleados con los
siguientes ﬁnes:
2.1 Encontrar variables que expliquen un fenomeno.
2.2 Predecir valores.
3. El analista debe tener claro los objetivos del estudio y el con-
texto del problema. Un modelo que da una solución a un proble-
ma en particular no necesariamente da buenos resultados para
resolver otros.

logo
Ejemplo 1:
Se realiza un estudio de fotoperiodo en aves acuáticas. Se pre-
tende establecer una ecuación mediante la cual pueda prede-
cirse el tiempo de reproducción (Y), en base al conocimiento
del fotoperiodo (número de horas de luz por día) bajo el que se
inició la reproducción (X). Se obtuvieron datos del comporta-
miento de 11 Aythya (patos buceadores). Los resultados fueron
los siguientes:
X 12.8 13.9 14.1 14.7 15.0 15.1 16.0 16.5 16.6 17.2 17.9
Y 110 54 98 50 67 58 52 50 43 15 28

logo
Fotoperiodo:
Se denomina fotoperiodo al conjunto de procesos de las espe-
cies vegetales mediante los cuales regulan sus funciones bio-
lógicas (como por ejemplo su reproducción y crecimiento). El
mismo mecanismo también es válido para los animales.

logo
Ejemplo 2:
Consideremos el siguiente experimento controlado y aleatori-
zado para estudiar el efecto de una nueva droga sobre la fre-
cuencia cardiaca de ratas sanas. Cinco ratas fueron asignadas
aleatoriamente a una de cinco dosis (X) y se registró la máxima
disminución observada en la frecuencia cardiaca en una hora
(Y). Los datos obtenidos son:
x 0.5 1.0 1.5 2.0 2.5
y 5 8 12 13 16

logo

logo
El diagrama de dispersión parece indicar con claridad que hay
una relación entre la dosis y la disminución de la frecuencia car-
diaca.
La gráﬁca que sigue muestra la relación de línea recta.

logo
Ecuación de la recta:
Como la máxima disminución observada en la frecuencia car-
diaca en una hora es denotada por Y y X representa dosis del
medicamento, la ecuación de una recta que relaciona estas dos
variables es:
Y = β0 + β1X, (1)
en donde, β0: es la ordenada al origen y β1: es la pendiente.
Pero debido a que los datos no caen exactamente sobre una
recta, es necesario modiﬁcar la ecuación anterior para tener en
cuenta dicha situación.

logo
Sea la diferencia entre el valor observado de Y y el valor de la
línea recta (β0 + β1X) un error, denotado por ε.
Conviene imaginar que ε es un error estadístico, es decir, que
es una variable aleatoria que explica el porqué el modelo no
ajusta exactamente los datos.
Este error puede estar formado por los efectos de otras varia-
bles sobre la frecuencia cardiaca Y, por errores de medición,
etc.

logo
Modelo lineal simple:
Un modelo más plausible para los datos de la frecuencia cardia-
ca es:
Y = β0 + β1X + ε (2)
A ésta ecuación se le llama modelo de regresión lineal.
Por costumbre se dice que X es la variable independiente y Y
la variable dependiente.
También se usa el nombre de variable regresora o predictora
para X y variable respuesta para Y.
Como la ecuación anterior sólo tiene una variable regresora, se
le llama modelo de regresión lineal simple.

logo
Para comprender mejor el modelo de regresión lineal, supon-
ga que se puede ﬁjar el valor de la variable regresora X para
observar el valor correspondiente de la respuesta Y.
Si X está ﬁja, el componente aleatorio ε del lado derecho del
modelo de RLS determina las probabilidades de Y.
Supongamos que el promedio y la varianza de ε son cero y
σ2 respectivamente, entonces la respuesta media en cualquier
valor de la variable regresora será:
E[Y|X = x] = µy|x
= E[β0 + β1X + ε]
= β0 + β1X + E[ε]
= β0 + β1X.

logo
Se observa que la anterior respuesta media coincide con la re-
lación dada por la ecuación (1) obtenida a partir del diagrama
de dispersión de los datos.
Ahora la varianza de Y para cualquier valor de X es:
V[Y|X = x] = σ2
y|x
= V[β0 + β1X + ε]
= V[ε]
= σ2
.
De lo anterior se tiene que el verdadero modelo de regresión
µy|x = β0 + β1X.

logo
es una línea recta de valores promedios, es decir, la altura de
la línea de regresión en cualquier valor de X no es más que el
valor esperado de Y para ese valor de X.
La pendiente β1 es el cambio de la media de Y por un cambio
unitario de X. Además, la variabilidad de Y en cualquier valor
particular de X queda determinada por la varianza del compo-
nente de error aleatorio del modelo ε, es decir, por σ2.
Esto implica que hay una distribución de valores de Y en cada
valor de X y que la varianza de dicha distribución es igual en
cada valor de X.

logo
En muchas aplicaciones solo se tiene tanto una variable respu-
esta Y como una variable regresora o independiente X, en cuyo
caso se habla de modelos de regresión lineal simple (RLS), es
decir, modelos de RLS.

logo
Relación estadística entre dos variables
Una relación estadística, a diferencia de una relación funcional,
NO ES PERFECTA. En general, las observaciones para una
relación estadística no caen directamente sobre la curva de re-
lación.

logo
MRLS con término de error no especiﬁcado
En el caso de un modelo de RLS, se considera que existe sola-
mente una variable predictora y que la función de regresión es
lineal, es decir, el modelo es de la forma:
Yi = β0 + β1Xi + εi, para i = 1, . . . , n. (3)
Yi : Es el valor de la variable respuesta en el i-ésimo nivel (o
valor) de X.
β0, β1 : Son los parámetros del modelo.
Xi :Es una constante conocida que representa el valor de la
variable predictora para el i-ésimo ensayo o prueba.

logo
εi: Es un error aleatorio, con media cero, es decir, E[εi] = 0 y
varianza constante, es decir, Var[εi] = σ2, además los εi son
no-correlacionados, es decir que, Cov[εi; εj] = 0; ∀(i, j); i = j;
i = 1, . . . n.
El modelo de regresión anterior se dice que es:
Simple: En el sentido de que sólo hay una variable predictora
o independiente.
Lineal: En el sentido de que es lineal en los parámetros.
De primer orden: En el sentido de que la variable predictora
aparece solamente en potencias de uno.

logo
Ejemplos
Modelo Tipo
Y = β0 + xβ1 + ε Modelo no lineal
Y =
1
[β0 + eβ1x ]
+ ε Modelo no lineal
Y = β0 + β1x + β2x2 + ε Modelo de regresión de segundo orden

logo
ALgunas características del modelo de RLS
• La respuesta Yi en el i-ésimo ensayo o prueba, es la suma
de dos términos, a saber: un término constante, β0 + β1Xi y un
término aleatorio, εi.
• Como E[εi] = 0, entonces se tiene que, E[Yi] = β0 + β1Xi
(constante), por lo que, la respuesta Yi cuando el nivel de X
es Xi, viene de una distribución de probabilidad cuya media es:
E[Yi] = β0 + β1Xi, y por lo tanto la función de regresión del
modelo es: E[Y] = β0 + β1X
ya que la función de regresión relaciona la media de la dis-
tribución de probabilidad de Y para X dado a un nivel.

logo
• La respuesta Yi en el i-ésimo nivel de X, excede o cae cerca
del valor de la función de regresión, por una cantidad de tamaño
εi.
• Los εi, se asumen que tienen varianza constante σ2, por lo
tanto, se sigue que la respuesta Yi tiene la misma varianza,
es decir, Var[Yi] = σ2. De donde el modelo (3), asume que la
distribución de probabilidad de la variable respuesta Y tiene la
misma varianza constante σ2, independientemente del valor de
la variable predictora X.
• Los términos de error εi, se asume que son no-correlacionados,
es decir, la entrada en cualquier nivel de X, no tiene efecto so-
bre el término de error de cualquier otro nivel.
Como εi y εj son no-correlacionados, también lo son Yi y Yj.

logo
Dado un conjunto de observaciones o datos (X1, Y1); . . . ; (Xn; Yn),
se trata de hallar valores apropiados de β0, β1, que se ajusten
lo mejor posible a este conjunto de datos.
El método de mínimos cuadrados ordinario (ordinary least squa-
res method (OLS)), considera la desviación de Yi a su valor es-
perado, es decir,
Yi − (β0 + β1Xi).
Para hallar a β0 y β1, se considera la suma de las n-desviaciones
al cuadrado, denotada por,
Q(β0, β1) =
n
i=1
[Yi − (β0 + β1Xi)]2
.

logo
Las estimaciones de β0 y β1, son aquellos valores β0 y β1,
que minimizan la cantidad Q para las observaciones muestrales
(X1, Y1); . . . ; (Xn; Yn).
Para hallar β0 y β1, se pueden usar procesos de búsqueda nu-
mérica, hasta hallar valores de β0 y β1 que minimicen a Q, o
bien, mediante procesos analíticos, cuando el modelo de regre-
sión propuesto no es tan complejo matemáticamente.

logo
Mediante un acercamiento analático, se tiene que derivando
parcialmente la cantidad Q con respecto a β0 y β1 e igualando a
cero, se obtienen las siguientes ecuaciones, también llamadas
Ecuaciones Normales:
n
i=1
Yi = nβ0 + β1
n
i=1
Xi,
n
i=1
XiYi = β0
n
i=1
Xi + β1
n
i=1
X2
i ,
y resolviendo simultáneamente las ecuaciones anteriores, para
β0 y β1, se obtiene que:

logo
β0 =
1
n
n
i=1
Yi − β1
n
i=1
Xi ,
β1 =
n
i=1(Xi − X)(Yi − Y)
n
i=1(Xi − X)2
=
Sxy
Sxx
.
A las cantidades, Sxx y Sxy se les llama: suma corregida de
cuadrados de X y suma corregida de productos cruzados de X
e Y, respectivamente.

logo
Los estimadores de mínimos cuadrados ordinario son:
β0 = Y − β1X, con,
β1 =
(Xi − X)(Yi − Y)
(Xi − X)2
=
XiYi − Xi Yi
n
(Xi)2 − ( Xi )2
n
=
Sxy
Sxx
con, Y =
n
i=1
Yi
n y X =
n
i=1
Xi
n .

logo
El modelo de RLS ajustado es:
y = β0 + β1X,
el cual representa una estimación de la media de Y para un
valor especíﬁco de X, es decir:
y = β0 + β1X ⇐⇒ E(Y|X) = β0 + β1X.

logo
Residuales
Se llama residual a la diferencia entre el valor observado yi y su
valor estimado, yi, es decir,
ei = yi − yi = yi − (β0 + β1xi).
Para i = 1, . . . , n
NOTA: Los Residuales serán importantes en la validación de
los supuestos de un modelo de regresión.

logo
Propiedades de β0 y β1, obtenidos mediante OLS
Bajo las condiciones del modelo de RLS, los estimadores
obtenidos mediante OLS β0 y β1 son insesgados y tienen
mínima varianza, entre todos los estimadores lineales
insesgados. La anterior propiedad quiere decir lo
siguiente:
Primero: E[β0] = β0 y E[β1] = β1 (insesgados).
Segundo: Los estimadores β0 y β1 son los más precisos
(es decir, sus distribuciones muestrales son menos
variables), esto es, β0 y β1 tienen la variabilidad más
pequeña sobre muestras repetidas en las cuales los
niveles de X permanecen sin cambiar.

logo
Demostrar que β0 es insesgado.
E[β0] = E Y − β1X
= E
1
n
yi − Xβ1
=
1
n
E[yi] − XE[β1]
=
1
n
(β0 + β1xi) − Xβ1
= β0 + Xβ1 − Xβ1
= β0.

logo
Cálculo de la varianza de β0
Var[β0] = Var Y − β1X
= Var(Y) + X
2
Var(β1) − 2XCov(Y, β1)
=
σ2
n
+
X
2
σ2
Sxx
− 2X(0), pues Cov(Y, β1) = 0
= σ2 1
n
+
X
2
Sxx
.
En la demostración anterior se utilizó la siguiente propiedad de
varianza:
Var(aX ± bY) = Var(aX) + Var(bY) ± Cov(aX, bY)
= a2
Var(X) + b2
Var(Y) ± abCov(X, Y)

logo
de igual forma se demuestra que Var[β1] = σ2
Sxx
.
Otras propiedades de los estimadores OLS
La suma de residuales en cualquier modelo de regresión
que contiene un intercepto β0 es siempre igual a cero, es
decir, ei = (yi − yi) = 0.
La línea de regresión de mínimos cuadrados, siempre
pasa a través del centroide de los datos, es decir, a través
de (x; y).
La suma de residuales por los correspondientes valores
ajustados de yi s, es siempre cero, es decir, yiei

logo
Ahora se realizarán algunos procedimientos de inferencia es-
tadística tanto para β0 como para β1, entre los cuales se in-
cluyen la realización de pruebas de hipótesis concernientes a
ambos parámetros, la construcción de intervalos de conﬁanza
(I.C) para ambos parámetros, I.C para la respuesta media de
la distribución de probabilidad de Y dado X, es decir I.C para
µy = E[Y|X], intervalos de predicción para nuevas observacio-
nes de Y.

logo
Para poder hacer inferencia acerca de los parámetros del mo-
delo de RLS, es necesario una suposición adicional sobre los
errores del modelo, es decir sobre los εi, la cual es: los errores
εi siguen o tienen una distribución normal. Con esta suposición
adicional, se tiene el llamado modelo de RLS normal (o modelo
de RLS con errores normales), deﬁnido como:
yi = β0 + β1xi + εi, (4)
con los supuesto: εi ∼ Ni.i.d.(0, σ2).
De lo anterior se sigue que las Yi s, son variables aleatorias
independientes distribuidas normales con media E[Yi] = β0 +
β1Xi y varianza Var[Yi] = σ2, es decir,
Yi|Xi ∼ Ni.i.d.(β0 + β1Xi, σ2
)

logo
Inferencia para β1
I.C para β1
Un I.C del (1 − α) % para β1 es:
β1 ± t(α/2,n−2)Sβ1
,
β1 ± t(α/2,n−2)
CME
Sxx
,
donde CME = σ2 =
SCE
n − 2
y SCE = n
i=1(yi − yi)2.

logo
Inferencia para β0
I.C β0
Un I.C del (1 − α) % para β0 es:
β0 ± t(α/2,n−2)Sβ0
,
es decir,
β0 ± t(α/2,n−2) CME
1
n
+
X
2
Sxx
,

logo
Prueba de hipótesis acerca de β1
Para realizar la siguiente prueba de hipótesis (PH) acerca de β1
H0 : β1 = 0 vs H1 : β1 = 0,
se utiliza la siguiente estadística de prueba:
tc =
β1
CME
Sxx
,
y cuya regla de decisión con dicha estadística de prueba es:
rechazo H0 si |tc| > t(α/2;n−2)

logo
Para pruebas de hipótesis de la siguiente forma,
H0 : β1 ≤ 0 vs H1 : β1 > 0
H0 : β1 ≥ 0 vs H1 : β1 < 0
se utiliza la misma estadística de prueba, con las siguientes re-
glas de decisión:
Rechazo H0 si tc > t(α;n−2) ó tc < −t(α;n−2), respectivamente.
Otra forma de tomar la decisión es utilizando el valor-p de la
prueba.

logo
Prueba de hipótesis acerca de β0
Para realizar la siguiente prueba de hipótesis (PH) acerca de β0
H0 : β0 = 0 vs H1 : β0 = 0,
tc =
β0
CME 1
n + X
2
Sxx
,
y cuya regla de decisión con dicha estadística de prueba es:
rechazo H0 si |tc| > t(α/2;n−2)

logo
Para pruebas de hipótesis de la siguiente forma,
H0 : β0 ≤ 0 vs H1 : β0 > 0
H0 : β0 ≥ 0 vs H1 : β0 < 0
se utiliza la misma estadística de prueba, con las siguientes re-
glas de decisión:
Rechazo H0 si tc > t(α;n−2) ó tc < t(α;n−2), respectivamente. Otra
forma de tomar la decisión es utilizando el valor-p de la prueba.

logo
Análisis de varianza en modelos de RLS Partición de la su-
ma total de cuadrados
El acercamiento del análisis de varianza se basa en la partición
de sumas de cuadrados y sus grados de libertad asociados con
la variable respuesta Y.
La medida de variación de Y alrededor de su media muestral Y
es:
SCT =
n
i=1
(Yi − Y)2

logo
la cual se le llama suma total de cuadrados. Si todas las ob-
servaciones Yi son iguales entonces la SCT = 0. Entre más
variación exista entre las Yi s, mayor será la SCT.
Cuando se usa la variable predictora o regresora X, la variación
que reﬂeja la incertidumbre con respecto a la variable Y está
dada por las diferencias entre las observaciones Yi s y la línea
de regresión ajustada Yi, es decir, por Yi − Yi.
La medida de variación presente en las observaciones Yi s cuan-
do se tiene en cuenta la variable regresora X, es la suma de
desviaciones al cuadrado, la cual se denota por SCE y está da-
da por:

logo
SCE =
n
i=1
(Yi − Yi)2
y a la cual se le llama, suma cuadrática de errores. Si todas las
Yi s caen sobre la línea de regresión ajustada, entonces
SCE = 0. Entre mayor es la variación de las Yi s alrededor de la
línea de regresión ajustada, mayor es la SCE.
A la diferencia entre la SCT y la SCE se le llama, suma cuadrá-
tica de regresión y se denota por, SCR y est deﬁnida por:
SCR =
n
i=1
(Yi − Y)2
La SCR es una medida de la parte de la variabilidad de las Yi s,
la cual está asociada con la línea de regresión ajustada.

logo
Desarrollo formal de la partición
A partir de la siguiente igualdad
Yi − Y = Yi − Yi + Yi − Y
Elevando al cuadrado a ambos lados, se obtiene lo siguiente:
(Yi − Y)2
= (Yi − Yi)2
+ (Yi − Y)2
+ 2(Yi − Yi)(Yi − Y)
y tomando sumatorias a ambos lados se tiene que:
n
i=1
(Yi − Y)2
=
n
i=1
(Yi − Yi)2
+
n
i=1
(Yi − Y)2

logo
es decir, se obtiene la identidad fundamental del análisis de va-
rianza, la cual está dada por:
SCT = SCR + SCE
Para obtener la anterior igualdad se ha utilizado el hecho de
que:
n
i=1
2(Yi − Yi)(Yi − Y) = 0,
pues,
n
i=1
(Yi − Yi)(Yi − Y) =
n
i=1
Yi(Yi − Yi) −
n
i=1
Y(Yi − Yi)
=
n
i=1
Yiei − Y
n
i=1
ei = 0

logo
El análisis de varianza, divide la variabilidad observada en la
muestra en dos partes:
SCT = SCR + SCE,
donde,
SCT: Variabilidad muestral total y tiene n − 1 grados de libertad,
SCR: Variabilidad explicada por el modelo o por las variables
regresoras X y tiene 1 grados de libertad,
SCE: Variabilidad no explicada por el modelo o error y tiene n−2
grados de libertad.

logo
Medias cuadráticas o cuadrados medios
Las medias cuadráticas se obtienen como las SS divididas por
sus respectivos grados de libertad, es decir que
CMR = SCR
1 : Cuadrado medio de la regresión,
CME = SCE
n−2 : Cuadrado medio del error.

logo
Tabla resumen de análisis de varianza
Ahora se presenta la tabla resumen del análisis de varianza (o
ANOVA) para el modelo de RLS.
F.V G.L SC CM Est. F
Regresión 1 SCR CMR Fc = CMR
CME ∼ F(1,n−2)
Error n-2 SCE CME
Total n-1 SCT

logo
Prueba de Signiﬁcancia de la regresión
Para realizar la siguiente prueba de hipótesis, también llamada
prueba de signiﬁcancia de la regresión,
Hipótesis
H0 : β1 = 0 vs H1 : β1 = 0,
Fc =
SCR
σ2
/1
SCE
σ2
/(n − 2)
=
χ2
1/1
χ2
n−2/(n − 2)
=
SCR/1
SCE/(n − 2)
=
CMR
CME
∼ F(1,n−2)

logo
Lo anterior se justifica debido a que, si β1 = 0, tal que todas las
Yi s tienen la misma media µ = β0 y la misma varianza , enton-
ces SCE/σ2 y SCR/σ2 son variables aleatorias independientes.
cuando H0 es cierto, esta Fc es el cociente de dos variables in-
dependientes chi-cuadrados, cada una dividida por sus respec-
tivos grados de libertad, lo cual es la definición de una variable
aleatoria con distribución F de Fisher Snedecor.
La regla de decisión para la prueba de significancia de la regre-
sión es:
Rechazar H0 si Fc > F(α,1,n−2).
Si rechazamos H0, es decir que existe una asociación lineal en-
tre X y Y.

logo
Observación: Se puede veriﬁcar la siguiente relación entre la
estadística Fc y la estadística tc = β1
Sβ1
utilizada para prueba de
hipótesis individuales acerca de β1
Fc = [tc]2
=
β1
Sβ1
2
Para la demostración se utilizan las siguientes igualdades:
SCR = β1Sxx , y Sβ1
= CME
Sxx

logo
Referencias
Montgomery D.C. Design and Analysis of Experiment. Limusa
Wiley, 2001, 5 Edition.
Montgomery D.C y Runger G.C. Probabilidad y Estadística Apli-
cadas a la Ingeniería. 2003, tercera edición.

Regresion linealsimple

Más contenido relacionado

La actualidad más candente (20)

Destacado (13)

Similar a Regresion linealsimple (20)

Último (20)

Regresion linealsimple