Modelo lineal

De Wikipedia, la enciclopedia libre
Saltar a: navegación, búsqueda

En estadística, el término modelo lineal es usado en diferentes maneras de acuerdo al contexto. La manera más frecuente es en conexión con modelos de regresión y el término a menudo se toma como un sinónimo del modelo de regresión lineal. Sin embargo, el término es también usado en análisis de series de tiempo con un significado diferente. En cada caso, la denominación como "lineal" es usada para identificar una subclase de modelos para los cuales la reducción en complejidad de la teoría estadística relacionada es posible.

Modelos de Regresión Lineal[editar]

Para el caso de regresión, el modelo estadístico es como sigue: un modelo lineal predice el valor de una variable a través de otras que llamaremos factores mediante una función lineal de estos.[1] Estos factores están determinados por el escenario donde observamos la variable a predecir, a la cual llamaremos variable endógena. Dada una muestra (aleatoria)  (Y_i, X_{i1}, \ldots, X_{ip}), \, i = 1, \ldots, n la relación entre las observaciones Yi y las variables independientes Xij se fórmula como

Y_i = \beta_0 + \beta_1 \phi_1(X_{i1}) + \cdots + \beta_p \phi_p(X_{ip}) + \varepsilon_i \qquad i = 1, \ldots, n

donde  \phi_1, \ldots, \phi_p pueden ser funciones no lineales. En la ecuación anterior, las cantidades εi son variables aleatorias representando errores en la relación. La parte "lineal" se refiere a la apariencia de los coeficientes de regresión, βj en esta ecuación. Alternativamente, se puede decir que los valores ajustados correspondientes al anterior modelo, notados

\hat{Y}_i = \beta_0 + \beta_1 \phi_1(X_{i1}) + \cdots + \beta_p \phi_p(X_{ip}) \qquad (i = 1, \ldots, n),

son funciones lineales de los βj.

Dado que la estimación se toma en la base de un análisis de mínimos cuadrados, las estimaciones de los parámetros desconocidos βj se determinan al minimizar una función de suma de cuadrados

S = \sum_{i = 1}^n \left(Y_i - \beta_0 - \beta_1 \phi_1(X_{i1}) - \cdots - \beta_p \phi_p(X_{ip})\right)^2 .

Por lo tanto, se puede ver que el aspecto "lineal" del modelo implica lo siguiente:

  • la función a ser minimizada es una función cuadrática de los βj para lo cual el problema de minimización es relativamente simple;
  • las derivadas de la función son funciones lineales de los βj haciendo fácil de encontrar los valores estimados que la minimizan;
  • los valores estimados de βj son funciones lineales de las observaciones Yi;
  • los valores estimados de βj son funciones lineales de los errores aleatorios εi lo cual hace relativamente fácil determinar sus propiedades estadísticas.


Algunas expresiones del modelo de regresión lineal[editar]

Modelos polinomiales[editar]

Los modelos lineales sirven para estimar modelos polinomiales. Por ejemplo, si las potencias de una variable explican la variable endógena, el modelo sería:

 y = \beta_1 + \beta_2 \ x + \beta_3 \ x^2 + ... + \beta_p \ x^{p-1} + \varepsilon

Modelos multinomiales[editar]

También podemos recurrir a los modelos lineales para estimar modelos multinomiales. Un ejemplo es el siguiente:

 y = \beta_1 + \beta_2 \, x + \beta_3 \, y + \beta_4 \, x^2 + \beta_5 \, xy + \beta_6 \, y^2 + \varepsilon

Estimación del modelo[editar]

Para estimar el modelo, tenemos que observar el valor de la variable dependiente y de los factores en m casos. En este caso, las ecuaciones serán:


\left .
   \begin{matrix}
     y_1 = \beta_1 x_{11} + \beta_2 x_{12} + ... + \beta_n x_{1p} + \varepsilon_1 \\
     y_2 = \beta_1 x_{21} + \beta_2 x_{22} + ... + \beta_n x_{2p} + \varepsilon_2 \\
                           .... \\
     y_n = \beta_1 x_{n1} + \beta_2 x_{n2} + ... + \beta_n x_{np} + \varepsilon_n 
        \end{matrix}  \right \}

Este sistema de ecuaciones admite la siguiente expresión vectorial:

 \bold y = \bold X \cdot \boldsymbol \beta + \boldsymbol \varepsilon

Los símbolos que aparecen en este modelo vectorial representan lo siguiente:

 

\bold y = \;
\begin{bmatrix}
y_1 \\ y_2 \\ ... \\ y_n 
\end{bmatrix}

\quad

\bold X = \;

\begin{bmatrix}
x_{1,1} & x_{1,2} & ... & x_{1,p}\\
x_{2,1}& x_{2,2} & ... & x_{2,p} \\
... & ... & ... & ... \\
x_{n,1} & x_{n,2} & ... & x_{n,p}
\end{bmatrix}

\quad

\boldsymbol \beta  = \;
\begin{bmatrix}
\beta_1 \\ \beta_2 \\ ... \\ \beta_p 
\end{bmatrix}


\quad

\boldsymbol  \varepsilon = \;
\begin{bmatrix}
 \varepsilon_1 \\  \varepsilon_2 \\ ... \\  \varepsilon_n 
\end{bmatrix}


El vector de errores cometido por el modelo viene dado por:

 \boldsymbol  \varepsilon = \bold y - \bold X \cdot \boldsymbol \beta

El estimador mínimo cuadrático es aquel que hace mínima la suma de los cuadrados de estos errores. Esta suma es:

 SCE = \sum_{i=1}^n \varepsilon_i^2 = \boldsymbol \varepsilon ' \boldsymbol \varepsilon = ( \bold y - \bold X \boldsymbol \hat { \beta }  ) ' (\bold y - \bold X \boldsymbol \hat { \beta } )

Observemos que no hemos establecido ninguna restricción para el valor de  \bold \beta . Estamos pues ante un problema de optimización sin restricciones. Los cálculos llevan a las llamadas ecuaciones normales que tiene que verificar el valor de  \bold \beta que hace mínima la suma de los cuadrados de los errores.

 \bold X ' \bold X \boldsymbol \hat { \beta }  = \bold X ' \bold y

El estimador mínimo-cuadrático para  \bold \beta resulta ser:

 {\boldsymbol \hat{ \beta } = ( \bold X ' \bold X )^{-1} \bold X ' \bold y }

El Teorema de Gauss-Márkov nos informa sobre la eficacia de este estimador.

Insesgado[editar]

Si los errores -que son variables aleatorias- son insesgados  E( \boldsymbol \varepsilon ) = \bold 0 , el estimador mínimo-cuadrático también lo es:

 E(\boldsymbol \hat {\beta} ) = E( ( \bold X ' \bold X ) ^{-1} \bold X ( \bold X \boldsymbol \beta + \boldsymbol \varepsilon ) ) = \boldsymbol \beta + E( ( \bold X ' \bold X) ^{-1} ) X ' \boldsymbol \varepsilon )= \boldsymbol \beta

Es importante que incluyamos en el modelo todos los factores relevantes: si falta alguno, es posible que los errores no tengan media cero y el estimador de los coeficientes será sesgado. No obstante, cualquier buen modelo lineal ayuda a comprender un fenómeno y a hacer buenas estimaciones. Si incluimos factores de influencia dudosa, también podemos provocar un sesgo en el estimador mínimo-cuadrático. Desde hace muchos años, existe una teoría de inferencia en modelos lineales que nos permite decidir -con un pequeño margen de error- si un factor es o no relevante.

Residuos[editar]

Los errores cometidos por el modelo cuando se usa el verdadero valor del parámetro son  \boldsymbol \varepsilon = \bold Y - \bold X \boldsymbol \beta . No obstante, nosotros no conocemos el verdadero valor del parámetro  \bold \beta , sino sólo su estimación  \bold \hat {\beta} y esto provoca que no manejemos los verdaderos errores cometidos, sino su estimación, a la que llamaremos residuos y que vienen dados por:

 \boldsymbol \hat {\varepsilon} = \bold y - \bold X \boldsymbol \hat {\beta}

En nuestros cálculos, tampoco manejaremos la suma de los cuadrados de los errores, sino la suma de los cuadrados de los residuos:

 SCR = \sum_{i=1}^n \hat {\varepsilon_i}^2 = \boldsymbol \hat{\varepsilon} ' \boldsymbol \hat {\varepsilon} = ( \bold y - \bold X \boldsymbol \hat { \beta }  ) ' (\bold y - \bold X \boldsymbol \hat { \beta } )

Se dice que los errores son homocedásticos cuando:

 \exist \sigma^2 \quad \forall i   \quad E( \varepsilon _i^2 )= \sigma^2

Si el error presenta una varianza distinta en cada caso, hablamos de heterocedasticidad.

Modelos de series temporales[editar]

Un ejemplo de modelo lineal en series temporales es el Modelo autorregresivo de media móvil, en el que los valores {Xt} de la serie pueden representarse de la forma

 X_t = c + \varepsilon_t +  \sum_{i=1}^p \varphi_i X_{t-i} + \sum_{i=1}^q \theta_i \varepsilon_{t-i}.\,

donde, de nuevo, las cantidades εt son variables aleatorias que representan las innovaciones o nuevos efectos aleatorios que aparecen en un instante determinado pero solo afectan a X en lo sucesivo de la serie. En este contexto, el término modelo lineal se refiere a la estructura de la relación que representa a Xt como una función lineal de los valores anteriores de la misma serie de tiempo y de innovaciones en el mismo instante e instantes pasados.[2] Este aspecto particular de la estructura indica que hay una manera simple de encontrar relaciones para la media y las propiedades de covarianza de la series. Note que la parte "lineal" del término "modelo lineal" no se refiere a los coeficientes φi y θi, como era el caso en el modelo de regresion, pero se ve estructuralmente similar.

Otros usos en estadística[editar]

Hay otras instancias donde los "modelos no lineales" son usados en contraste con un modelo estructuralmente lineal, aunque el término "modelo lineal" no sea particularmente usado. Un ejemplo de esto es la "reducción de dimensionalidad no lineal".

Véase también[editar]

Referencias[editar]

  1. "Linear Regression Analysis" G.A.F Seber Editorial Wiley-Interscience
  2. Priestley, M.B. (1988) Non-linear and Non-stationary time series analysis, Academic Press. ISBN 0-12-564911-8