Regresion mutiple

Capítulo 4
Análisis de Regresión Múltiple

Capítulo 4

1. Introducción

El Análisis de Regresión Lineal Múltiple nos permite estable-
cer la relación que se produce entre una variable dependiente Y
y un conjunto de variables independientes (X1, X2, ... XK). El
análisis de regresión lineal múltiple, a diferencia del simple, se
aproxima más a situaciones de análisis real puesto que los fenó-
menos, hechos y procesos sociales, por definición, son comple-
jos y, en consecuencia, deben ser explicados en la medida de lo
posible por la serie de variables que, directa e indirectamente,
participan en su concreción.

Al aplicar el análisis de regresión múltiple lo más frecuente
es que tanto la variable dependiente como las independientes
sean variables continuas medidas en escala de intervalo o razón.
No obstante, caben otras posibilidades: (1) también podremos
aplicar este análisis cuando relacionemos una variable depen-
diente continua con un conjunto de variables categóricas; (2) o
bien, también aplicaremos el análisis de regresión lineal múltiple
en el caso de que relacionemos una variable dependiente nomi-
nal con un conjunto de variables continuas.

La anotación matemática del modelo o ecuación de regre-
sión lineal múltiple es la que sigue:

Y = a + b1x1 + b2x2 + ... + bnxn + e
ó
presente = a + b1pasado + b2futuro + e

en donde:
Y es la variable a predecir;
a, b1x1, b2x2... bnxn, son parámetros desconocidos a estimar;
y e es el error que cometemos en la predicción de los pará-
metros.

Al ocuparnos del análisis lineal bivariado, análisis de regresión
simple, vimos como el modelo final resultante podía ser calificado

Estadística Informática: casos y ejemplos con el SPSS •3•

Capítulo 4

de un “buen modelo”. Sin embargo, en muchas ocasiones los
modelos bivariados o simples pueden verse mejorados al introdu-
cir una segunda (tercera, cuarta,...) variable independiente o expli-
cativa. Consideramos que un modelo de regresión lineal simple se
ha “mejorado” cuando al introducir en el mismo más variables
independientes la proporción de variabilidad explicada se incre-
menta. Pero ¿qué variables son las que mejor explican el hecho,
proceso o fenómeno social objeto de estudio?; o, ¿qué variables
no son necesario incluir en el modelo dada su nula o escasa capa-
cidad explicativa? Esta es, sin lugar a dudas, la decisión más
importante ligada al análisis de regresión múltiple y la inclusión de
este proceso es lo que diferencia, sustancialmente, al análisis de
regresión múltiple del de regresión simple.

La exposición de este capítulo se estructura en torno a los
siguientes puntos, a saber:

1. Determinación de la bondad de ajuste de los datos al
modelo de regresión lineal múltiple.
2. Elección del modelo que con el menor número de varia-
bles explica más la variable dependiente o criterio. Para
ello exponemos el proceso de “paso a paso” o stepwise.
3. Estimación de los parámetros de la ecuación y del mode-
lo o ecuación predictiva.
4. Exposición de los pasos y Cuadro de Diálogo del Análisis
de Regresión Lineal (Múltiple) que podemos seguir para
la obtención de los estadísticos y las pruebas necesarias
citadas en cada uno de los puntos precedentes.

2. Elección del modelo: el método “stepwise” o paso a paso

En el análisis de regresión múltiple, los estadísticos, pruebas
y análisis que se aplican para determinar la relación y grado de
asociación entre una variable dependiente y sus supuestas varia-
bles explicativas, así como la estimación de los parámetros de la
ecuación, no difieren de los determinados en el análisis de regre-
sión simple. De hecho, una parte del análisis de regresión biva-
riado se realiza aplicando el cuadro de diálogo específico del
análisis de regresión múltiple. La diferencia estriba, pues, en que
mientras en el análisis de regresión simple al contar exclusiva-
mente con la relación de un par de variables el proceso se resol-
vía en un solo paso; en el análisis de regresión múltiple es
necesario calcular estadísticos, pruebas y análisis a medida que

•4• Estadística Informática: casos y ejemplos con el SPSS

Capítulo 4

vamos introduciendo y/o sacando variables independientes en el
modelo.

En el análisis de regresión lineal múltiple la construcción de
su correspondiente ecuación se realiza seleccionando las varia-
bles una a una, “paso a paso”. La finalidad perseguida es buscar
de entre todas las posibles variables explicativas aquellas que más
y mejor expliquen a la variable dependiente sin que ninguna de
ellas sea combinación lineal de las restantes. Este procedimiento
implica que: (1) en cada paso solo se introduce aquella variable
que cumple unos criterios de entrada; (2) una vez introducida, en
cada paso se valora si alguna de las variables cumplen criterios
de salida; y (3), en cada paso se valora la bondad de ajuste de
los datos al modelo de regresión lineal y se calculan los paráme-
tros del modelo verificado en dicho paso. El proceso se inicia sin
ninguna variable independiente en la ecuación de regresión y el
proceso concluye cuando no queda ninguna variable fuera de la
ecuación que satisfaga el criterio de selección (garantiza que las
variables seleccionadas son significativas) y/o el criterio de elimi-
nación (garantizar que una variable seleccionada no es redundan-
te).

1.- Verificación de los criterios de probabilidad de entrada.
El p-valor asociado al estadístico T, o probabilidad de entrada,
nos indica si la información proporcionada por cada una de las
variables es redundante. Si éste es menor que un determinado
valor crítico, la variable será seleccionada. El SPSS por defecto
establece en 0.05 el valor crítico de la probabilidad de entrada.

El criterio de tolerancia puede ser aplicado como un criterio
adicional a la probabilidad de entrada. Éste nos ayuda a identifi-
car si alguna de las variables del modelo es una combinación
lineal de las restantes. Si dicho valor es próximo a 0, la variable
analizada será una combinación lineal de las restantes variables
independientes introducidas. Si el valor de la tolerancia se aproxi-
ma a 1 puede reducir la parte de la variabilidad de Y no expli-
cada por las restantes. En síntesis, si la tolerancia para una
variable es muy pequeña se excluirá del modelo.

2.- Verificación del criterio de probabilidad de salida.
En este caso, si el p-valor asociado al estadístico T, o proba-
bilidad de salida, es mayor que un determinado valor crítico, la
variable será eliminada. El SPSS por defecto establece en 0.1 el
valor crítico de la probabilidad de salida (nótese que con la fina-


Capítulo 4

lidad de que una variable no pueda entrar y salir de la ecuación
en dos pasos consecutivos, el valor crítico de la probabilidad de
salida debe ser mayor que el de la probabilidad de entrada). En
el caso práctico que recogemos en los resultados puede apreciar-
se que las dos variables independientes han superado los crite-
rios de entrada y de salida.

3.- Límite al número de pasos.
Por último, y para evitar que el proceso de selección se con-
vierta en un proceso cíclico se debe establecer un número límite
de pasos. Normalmente este límite es el que equivale al doble del
número de variables independientes.

3. Bondad de ajuste de los datos al modelo de regresión lineal
múltiple
En cada paso, en el que se introduce o elimina una variable,
se obtienen los estadísticos de bondad de ajuste (R, R2, R2
corregido, error típico de la estimación), el análisis de varianza y
la estimación de parámetros considerando las variables introduci-
das. El SPSS ofrece dos tablas con esta información: en la pri-
mera resume los estadísticos de bondad de ajuste y en la segun-
da nos presenta el análisis de varianza. En ellas se comparan los
resultados obtenidos para cada una de las ecuaciones o modelo
obtenidos con la secuencia de pasos utilizados. En nuestro ejem-
plo, y dado que dos han sido las variables incluidas en la ecua-
ción, dos han sido los pasos, dos son los modelos definidos: el
primero sólo incluye una variable explicativa, mientras que el
segundo utiliza las dos variables independientes.

A continuación exponemos los principales elementos a con-
siderar en el análisis de regresión múltiple. Recordemos que
éstos ya se expusieron en el capítulo de regresión simple. Aquí
enfatizamos aquellos aspectos que debemos considerar cuando
éstos son aplicados en el análisis de regresión múltiple.

1.- Coeficiente de Correlación Múltiple (Múltiple R).
Mide la intensidad de la relación entre un conjunto de varia-
bles independientes y una variable dependiente. La primera
variable que se introducirá en el modelo, primer paso, será aque-
lla que ofrezca una correlación parcial más alta. Para ello es
necesario calcular la matriz de correlaciones parciales. En ella


Capítulo 4

debemos observar: (1) la interrelación entre las variables inde-
pendientes; y (2), la relación entre cada una de las variables
independientes respecto a la dependiente. En el primer caso, los
coeficientes deben ser bajos pues, de lo contrario, cabe la posi-
bilidad que entre ellas se produzca multicolinealidad (diferentes
variables explican lo mismo de la variable dependiente). Por su
parte, en el segundo caso, las relaciones deben ser altas. En
nuestro ejemplo, y por lo que respecta a las variables indepen-
dientes, su correlación no solo es más alta que baja (0,523) sino
que además existe relación entre ellas (su significación se
encuentra por debajo de 0.05). Por su parte, ambas variables
independientes explican a la variable dependiente pero es la pri-
mera la que lo hace de forma más intensa. En síntesis, y a tenor
de los resultados obtenidos, tanto la p7b como la p7c explican lo
mismo de la variable dependiente. Esta es una cuestión que hay
que tener en cuenta a la hora de decidir qué variables son las que
entran en el modelo.

Los coeficientes de correlación parcial oscilan entre 1 (fuerte
asociación lineal positiva: a medida que aumenten los valores de
una variable aumentarán los de la otra) y –1 (fuerte asociación
lineal negativa: a medida que aumenten los valores de una varia-
ble disminuyen los de la otra). Cuando los valores de este estadís-
tico se aproximen a 0 nos estará indicando que entre las dos
variables no existe asociación lineal y, en consecuencia, carece de
sentido determinar el modelo y/o ecuación de regresión lineal.

Para determinar si la asociación es estadísticamente significa-
tiva podemos contrastar la H0 de que el coeficiente de correlación
lineal es igual a 0; o lo que es lo mismo, que las dos variables
están incorrelacionadas. Si el p-valor asociado al estadístico de
contraste (r) es menor que el nivel de significación elegido (nor-
malmente 0.05) rechazaremos H0. En la matriz de correlaciones
se recogen estos dos valores: en primer lugar aparece el grado
de relación (coeficiente de correlación parcial) que se produce
entre las dos variables que cruzamos; y en segundo lugar, la
significación estadística de esa relación.

La correlación más alta entre el cruce de una variable inde-
pendiente con la dependiente será el valor de Multiple R que
aparezca en el primer paso. En nuestro ejemplo la correlación
parcial más alta es la de la variable independiente p7B. Por lo
tanto, la primera R que aparece en el primer modelo es 0.871.
Además esta correlación es significativa (sig. 0.000).


Capítulo 4

2.- Coeficiente de Correlación Múltiple al Cuadrado o
Coeficiente de Determinación (R Square “R2”).
Mide la proporción (porcentaje si lo multiplicamos por 100)
de la variabilidad de la variable dependiente explicada por las
variables independiente que en ese momento han sido admitidas
en el modelo. A partir del resumen de los modelos generados
paso a paso podemos calcular el incremento de R2, siendo éste
una estimación de la importancia relativa que tiene la variable
que acabamos de introducir en el paso correspondiente para
predecir la variable dependiente. En nuestro caso el segundo
modelo (aquel que considera las dos variables explicativas) mejo-
ra al primero (solo considera una variable explicativa). La variabi-
lidad explicada por el primero es del 75% mientras que la del
segundo es del 78%. Al introducir una segunda variable se ha
mejorado el modelo pues se ha incrementado en un 3% la varia-
bilidad total explicada. Ahora bien, ¿consideramos significativo
este incremento hasta el punto de decidir que incluimos esta
variable en el modelo?; o por el contrario, ¿es tan insignificante
que no cabe introducirlo?; ¿al introducirlo explicamos más con
el menor número de variables? La contestación a estos interro-
gantes varia si nos encontramos ante un modelo con más varia-
bles independientes de las consideradas en nuestro ejemplo. En
nuestro caso la p7c no es incluida en el modelo definitivo y, por
lo tanto, no formará parte de la ecuación predictiva.

3.- Coeficiente de Determinación Ajustado (Adjusted R
Square).
El coeficiente de determinación mide lo mismo que R2 pero
en este caso no queda influenciado por el número de variables
que introducimos.

4.- Error Típico de Predicción (ETB).
Por último, el error típico de la predicción nos indica la parte
de la variable dependiente que dejamos por explicar. A medida
que se incrementa el coeficiente de determinación el error des-
ciende. En nuestro ejemplo, en el primer modelo el ETB es de
1.05 mientras que en el segundo es de 0.99.

5.- Análisis de Varianza.
La tabla de análisis de varianza que incluye en su salida de
resultados el SPSS nos permite valorar hasta qué punto es ade-
cuado el modelo de regresión lineal para estimar los valores de
la variable dependiente. La tabla de análisis de varianza se basa
en que la variabilidad total de la muestra puede descomponerse


Capítulo 4

entre la variabilidad explicada por la regresión y la variabilidad
residual. La tabla de ANOVA proporciona el estadístico F a partir
del cual podemos contrastar la H0 de que R2 es igual a 0, la
pendiente de la recta de regresión es igual a 0, o lo que es lo
mismo, la hipótesis de que las dos variables están incorrelaciona-
das. Si el p-valor asociado al estadístico F es menor que el nivel
de significación (normalmente 0.05), rechazaremos la hipótesis
nula planteada. Del mismo modo podremos considerar que los
resultados obtenidos con la muestra son generalizables a la
población a la que pertenece la muestra.

En el caso de análisis de regresión múltiple la tabla del aná-
lisis de varianza nos indica los p-valores asociados al estadístico
F en cada uno de los modelos generados.

6.- Análisis de Residuales.
Como ya hemos comentado los residuos, “e”, son la estima-
ción de los verdaderos errores. En regresión lineal la distribución
de la variable formada por los residuos debe ser Normal, esto es,
los residuos observados y los esperados bajo hipótesis de distri-
bución normal deben ser parecidos. Además, los residuos deben
ser independientes. En consecuencia, el análisis de los residuales
nos va a permitir no solo profundizar en la relación que se pro-
duce entre las variables, sino también, ponderar la bondad de
ajuste de la regresión obtenida.

Para contrastar la supuesta normalidad de los residuales
podemos recurrir, fundamentalmente, a la representación de dos
gráficos: (1) el gráfico de residuales tipificados (gráfico 1 del
anexo de resultados) nos da idea de cómo se distribuyen los
residuos en relación a la distribución normal (que sería la que
cabría esperar de los mismos). Si ambas distribuciones son igua-
les (la distribución de los residuos es normal) los puntos se sitúan
sobre la diagonal del gráfico. Por lo contrario, en la medida que
aparecen dispersos y formando líneas horizontales respecto a la
diagonal, habrá más residuos y el ajuste será peor; (2) el gráfico
de probabilidad normal (gráfico 2 del anexo de resultados) com-
para gráficamente, al superponer la curva de distribución normal,
la función de distribuciones acumulada observadas en la muestra
con la función de distribución acumulada esperada bajo supues-
tos de normalidad.

Por su parte el estadístico de Durbin-Watson mide el grado
de autocorrelación entre el residuo correspondiente a cada obser-


Capítulo 4

vación y el anterior (si los residuos son independientes, el valor
observado en una variable para un individuo no debe estar
influenciado en ningún sentido por los valores de esta variable
observados en otro individuo). Si el valor del estadístico es próxi-
mo a 2 los residuos están incorrelacionados; si se aproxima a 4,
estarán negativamente incorrelacionados; y si se aproximan a 0
estarán positivamente incorrelacionados.

4. Estimación de los parámetros o coeficientes de regresión: la
ecuación de predicción o ecuación de regresión múltiple
Una vez que ya hemos analizado el carácter e intensidad de
la relación entre las variables, podemos proceder a estimar los
parámetros de la ecuación de predicción o de regresión lineal.
En el caso del análisis de regresión múltiple tendremos tantas
ecuaciones como modelos o pasos hayamos efectuado. De
todos ellos elegiremos aquel que mejor se ajuste. Éste es el ulti-
mo de los modelos generados.

El criterio para obtener los coeficientes de regresión B0, B1 y
B2 es el de mínimos cuadrados. Este consiste en minimizar la
suma de los cuadrados de los residuos de tal manera que la recta
de regresión que definamos es la que más se acerca ala nube de
puntos observados y, en consecuencia, la que mejor los repre-
senta.

Los estadísticos asociados a la variable independiente que a
pasado a formar parte del modelo de regresión simple son:

1.- Coeficiente de regresión B.
Este coeficiente nos indica el número de unidades que
aumentará la variable dependiente o criterio por cada unidad que
aumente la variable independiente.

2.- SEB.
Error típico de B.

3.- Coeficiente Beta.
El coeficiente Beta es el coeficiente de regresión estandariza-
do. Expresa la pendiente de la recta de regresión en el caso de
que todas las variables estén transformadas en puntuaciones Z.

• 10 • Estadística Informática: casos y ejemplos con el SPSS

Capítulo 4

4.- Constante.
El valor de la constante coincide con el punto en el que la
recta de regresión corta el eje de ordenadas. En la ecuación de
predicción se mantiene constante para todos los individuos.
Cuando las variables han sido estandarizadas (puntuaciones Z) o
si se utilizan los coeficientes Beta, la constante es igual a 0 por
lo que no se incluye en la ecuación de predicción.

5.- Tolerancia.
La tolerancia (T) de una variable en un paso cualquiera del
análisis stepwise es la proporción de su varianza intra-grupo no
explicada por otras variables del análisis (1-R2). Antes de incluir
una variable en el modelo se comprueba que su tolerancia es
superior al nivel fijado. Si el valor de la tolerancia de una de las
variables independientes es próximo a 0 podemos pensar que
ésta es una combinación lineal del resto de variables. Sin embar-
go, si el valor de T se aproxima a 1, la variable en cuestión puede
reducir parte de la varianza no explicada por el resto de variables.
Se excluyen del modelo las variables que presentan una toleran-
cia muy pequeña.

6.- Valor T.
El estadístico T nos permite comprobar si la regresión entre
una variable independiente y la dependiente es significativa. Si el
p-valor asociado al estadístico T (Sig T) es mayor al nivel de
significación (normalmente 0.05) rechazaremos que la regresión
sea significativa para las dos variables relacionadas.

A tenor de los resultados arrojados sólo nos resta construir la
ecuación predictiva. En el ejemplo que se recoge en la sección
de Resultados, la transcripción de los resultados a la ecuación
quedaría como sigue (al tener las variables la misma escala se
toman los coeficientes de B):

Y = a + b1x1 + e
ó
presente (p7A) = 0,51 + 0,87pasado (p7B) + e

En el supuesto caso de que los valores de las variables siguie-
ran una escala diferente, tendríamos que estandarizar utilizando
los coeficientes Beta, y no B. Del mismo modo, al contar con la
misma escala la constante será cero.

presente (p7A) = 0 + 0,87pasado (p7B) + e

Estadística Informática: casos y ejemplos con el SPSS • 11 •

Capítulo 4

5. Cuadro de Diálogo del Análisis de Regresión Múltiple

Los pasos para la construcción del modelo son los que
siguen.

1er paso: Para acceder al Cuadro de Diálogo del Análisis de
Regresión Lineal, deberemos seguir Analizar: Regresión: Lineal
(figura 1).

2º paso: Allí seleccionaremos la variable Dependiente que
queremos explicar a partir de un conjunto de variables
Figura 1
Independientes. Las variables seleccionadas las pasamos las
pasamos a sus respectivos cuadros (figura 2). En el ejemplo que
proponemos las variables seleccionadas han sido las variables
continuas p7A SITUACIÓN ACTUAL ESPAÑOLA como varia-
ble dependiente o criterio y p7B SITUACIÓN ESPAÑOLA
PASADA y p7C SITUACIÓN ESPAÑOLA futura como variables
independientes o predictoras.

3er paso: En el cuadro principal, y una vez seleccionadas las
variables, deberemos elegir el Método que vamos a seguir para
la obtención del mejor modelo de regresión lineal. El método de
Figura 2 entrada de datos al modelo que vamos a seleccionar es de Pasos
sucesivos (o Stepwise) (figura 2).

4º paso: Cliqueando en Estadísticos, botón de comando
situado en la parte inferior del cuadro de diálogo principal, acce-
demos a la relación de los principales estadísticos vinculados con
el análisis de regresión. Nuestro interés se va a centrar, funda-
mentalmente, en las opciones: Descriptivos (nos calcula la media
y desviación típica de cada una de las variables que introduci-
Figura 3
mos, nos presenta la matriz de correlaciones así como el análisis
de varianza); Ajuste del modelo y Cambio en R cuadrado; en
Coeficientes de regresión solicitaremos las Estimaciones; y en
Residuos pediremos el estadístico de Durbin-Watson (figura 3).

5º paso: Como complemento al estadístico de Durbin-
Watson podemos solicitar los gráficos Histograma y Gráfico de
probabilidad normal (figura 4). Para acceder a este subcuadro de
diálogo debemos cliquear en el botón de comando Gráficos
situado en la parte inferior del cuadro de diálogo principal de
Figura 4 regresión lineal.


Capítulo 4

La técnica de análisis de regresión múltiple, a diferencia del
modelo de regresión simple, se encuentra muy generaliza en la
investigación social. En este apartado presentamos la aplicación
del modelo de regresión múltiple para la estimación del Producto
Interior Bruto (P.I.B.).

6. Bibliografia Comentada

• Díaz-Agero, Coral (1999): “Indicadores sintéticos”, (en línea)
<http//www.festadisticas.fguam.es/indicadores/iae.html>
(consultado el 4 de abril de 2001).

En este artículo la autora recoge el proceso que se sigue
para convertir una batería de indicadores económicos
representativos de la evolución de una macromagnitud
en un índice compuesto o indicador sintético para a
partir de éste realizar predicciones sobre la evolución de
sus indicadores base. Dos cuestiones son las que hay
que resolver: cómo se agregan los indicadores parciales
y de qué forma participan cada uno de los indicadores
parciales en la síntesis final. La autora agrega los indica-
dores parciales aplicando el procedimiento stepwise y
cada uno de ellos participa ponderándose por sus res-
pectivos coeficientes de correlación. De esta manera
llega a concretar el indicador sintético cuantitativo del
P.I.B.

7. Resultados

Los resultados que se recogen en la salida de resultados son,
en esencia, los mismos que ya hemos comentado en el capítulo
dedicado al modelo de regresión lineal simple. Éstos los pode-
mos agrupar en torno a los siguientes puntos.

• En primer lugar, el programa nos ofrece una serie de
tablas que recogen información básica tanto del proceso
como de las variables sometidas a análisis. Dentro de
este primer grupo cabe destacar las tablas de descriptivos
básicos y la de matriz de correlaciones.

• A continuación, se presenta una tabla (resumen del
modelo) en la que se relaciona una serie de estadísticos


Capítulo 4

a partir de los cuáles valorar la bondad de ajuste de los
datos del modelo. Con la misma finalidad se presenta la
tabla de análisis de varianza.

• En tercer lugar, nos encontramos con la tabla en la que
aparecen los coeficientes de la ecuación predictiva. Ésta
se forma a partir de los coeficientes no estandarizados (B)
cuando los valores de las dos variables tienen la misma
escala. En el caso contrario deberemos elegir los coefi-
cientes Beta.

• Por último, la exposición de resultados se cierra con una
serie de representaciones gráficas cuya finalidad es facili-
tar el análisis del tipo de distribución de los residuales
(gráfico de residuos tipificados y gráfico de probabilidad
normal).

7.1. Estadísticos básicos

7.2. Matriz de Correlaciones Parciales


Capítulo 4

7.3. Resumen del proceso STEPWISE: relación y eliminación de
variables

7.4. Estadísticos de Bondad de Ajuste

7.5. Tabla de Análisis de Varianza


Capítulo 4

7.6. Estimaciones de parámetros o coeficientes de correlación: la
ecuación de predicción

7.7. Variables excluidas del Modelo


Capítulo 4

7.8. Gráfico de distribución de residuales (gráfico 1)

Gráfico de probabilidad normal (gráfico 2)


Regresion mutiple

Más contenido relacionado

La actualidad más candente (19)

Similar a Regresion mutiple (20)

Último (20)

Regresion mutiple