Error cuadrático medio

De Wikipedia, la enciclopedia libre
Saltar a: navegación, búsqueda

En estadística, el error cuadrático medio (ECM) de un estimador mide el promedio de los errores al cuadrado, es decir, la diferencia entre el estimador y lo que se estima. El ECM es una función de riesgo, correspondiente al valor esperado de la pérdida del error al cuadrado o pérdida cuadrática. La diferencia se produce debido a la aleatoriedad o porque el estimador no tiene en cuenta la información que podría producir una estimación más precisa.[1]

El MSE es el segundo momento (sobre el origen) del error, y por lo tanto incorpora tanto la varianza del estimador así como su sesgo. Para un estimador insesgado, el ECM es la varianza del estimador. Al igual que la varianza, el EMC tiene las mismas unidades de medida que el cuadrado de la cantidad que se estima. En una analogía con la desviación estándar, tomando la raíz cuadrada del EMC produce el error de la raíz cuadrada de la media o la desviación de la raíz cuadrada media (RMSE o RMSD), que tiene las mismas unidades que la cantidad que se estima; para un estimador insesgado, el RMSE es la raíz cuadrada de la varianza, conocida como la desviación estándar.

Definición y propiedades básicas[editar]

Si \hat{Y} es un vector de n predicciones y Y es el vector de los verdaderos valores, entonces el (estimado) ECM del predictor es:

\operatorname{ECM}=\frac{1}{n}\sum_{i=1}^n(\hat{Y_i} - Y_i)^2.

Esta es una cantidad conocida, calculado dada una muestra particular (y por lo tanto es dependiente de la muestra).

El MSE de un estimador \hat{\theta} con respecto al parámetro desconocido \theta se define como

\operatorname{ECM}(\hat{\theta})=\operatorname{E}\big[(\hat{\theta}-\theta)^2\big].

Esta definición depende del parámetro desconocido, y el MSE en este sentido es una propiedad de un estimador (de un método de obtención de una estimación).

El MSE es igual a la suma de la varianza y el cuadrado sesgo del estimador o de las predicciones. En el caso de la MSE de un estimador, [2]

\operatorname{ECM}(\hat{\theta})=\operatorname{Var}(\hat{\theta})+ \left(\operatorname{Bias}(\hat{\theta},\theta)\right)^2.

Así pues, el ECM evalúa la calidad de un estimador o conjunto de predicciones en cuanto a su variación y el grado de sesgo.

Desde MSE es una expectativa, no es técnicamente una variable aleatoria, pero va a estar sujeto a error de estimación cuando se calcula para un estimador particular de \theta con valor verdadero desconocido. Por lo tanto, cualquier estimación de la MSE sobre la base de un parámetro estimado es de hecho una variable aleatoria.

Demostración[editar]

\begin{align}\operatorname{MSE}(\hat{\theta})\equiv \mathbb{E}((\hat{\theta}-\theta)^2)&=
 \mathbb{E}\left[\left(\hat{\theta}-\mathbb{E}(\hat\theta)+\mathbb{E}(\hat\theta)-\theta\right)^2\right]
\\ & =
\mathbb{E}\left[\left(\hat{\theta}-\mathbb{E}(\hat\theta)\right)^2 +2\left((\hat{\theta}-\mathbb{E}(\hat\theta))(\mathbb{E}(\hat\theta)-\theta)\right)+\left( \mathbb{E}(\hat\theta)-\theta \right)^2\right]
\\ & = \mathbb{E}\left[\left(\hat{\theta}-\mathbb{E}(\hat\theta)\right)^2\right]+2\mathbb{E}\left[(\hat{\theta}-\mathbb{E}(\hat\theta))(\mathbb{E}(\hat\theta)-\theta)\right]+\mathbb{E}\left[\left(\mathbb{E}(\hat\theta)-\theta\right)^2\right]
\\ & = \mathbb{E}\left[\left(\hat{\theta}-\mathbb{E}(\hat\theta)\right)^2\right]+2(\mathbb{E}(\hat\theta)-\theta)\overbrace{\mathbb{E}(\hat{\theta}-\mathbb{E}(\hat\theta))}^{=\mathbb{E}(\hat\theta)-\mathbb{E}(\hat\theta)=0}+\mathbb{E}\left[\left(\mathbb{E}(\hat\theta)-\theta\right)^2\right]
\\ & = \mathbb{E}\left[\left(\hat{\theta}-\mathbb{E}(\hat\theta)\right)^2\right]+\mathbb{E}\left[\left(\mathbb{E}(\hat\theta)-\theta\right)^2\right]
\\ & = \operatorname{Var}(\hat\theta)+ \operatorname{Bias}(\hat\theta,\theta)^2
\end{align}

Regresión[editar]

En el análisis de regresión, el término de error cuadrático medio se utiliza a veces para referirse a la estimación insesgada de la varianza del error: la suma residual de cuadrados, dividida por el número de grados de libertad. Esta definición para una cantidad calculada conocida, difiere de la definición anterior para el ECM calculado para un predictor en que se utiliza un denominador diferente. El denominador es el tamaño reducido de la muestra por el número de parámetros del modelo estimado a partir de los mismos datos, (np) para p regresores o (np-1) si se utiliza una intercepción.[3] Para más detalles, ver los errores y los residuos en las estadísticas. Tenga en cuenta que, aunque el ECM no es un estimador insesgado de la varianza del error, es coherente, dada la consistencia del predictor.

También en el análisis de regresión, "error cuadrático medio", se refiere a menudo al error medio de predicción cuadrado o "fuera de la media muestral de error al cuadrado", puede referirse a la media de las desviaciones al cuadrado de las predicciones de los verdaderos valores, a lo largo un espacio fuera de la muestra de ensayo, generado por un modelo estimado durante un espacio de muestra particular. Esto también es una, cantidad calculada conocida, y varía por muestra y por espacio de ensayo fuera de la muestra.

Ejemplos[editar]

Media[editar]

Supongamos que tenemos una muestra aleatoria de tamaño n de una población,X_1,\dots,X_n. Supongamos que las unidades de muestra se eligieron con el reemplazo. Es decir, las n unidades se seleccionan uno a la vez, y las unidades previamente seleccionadas siguen siendo elegibles para ser seleccionados para todo n empates. El estimador usual de la media es el promedio de la muestra

\overline{X}=\frac{1}{n}\sum_{i=1}^n X_i

el cual tiene un valor esperado igual a la media real μ (por lo que es imparcial) y un error cuadrático medio de

\operatorname{ECM}(\overline{X})=\operatorname{E}((\overline{X}-\mu)^2)=\left(\frac{\sigma}{\sqrt{n}}\right)^2= \frac{\sigma^2}{n}

donde \sigma^2 es la varianza de la población.

Para una distribución gaussiana este es el mejor estimador insesgado (es decir, que tiene el MSE más bajo entre todos los estimadores insesgados), pero no, por ejemplo, para una distribución uniforme .

Varianza[editar]

El estimador usual para la varianza es la corregida varianza de la muestra :

S^2_{n-1} = \frac{1}{n-1}\sum_{i=1}^n\left(X_i-\overline{X}\,\right)^2
=\frac{1}{n-1}\left(\sum_{i=1}^n X_i^2-n\overline{X}^2\right).

Esto es imparcial (su valor esperado es \sigma^2), Por lo tanto, también llamada la varianza de la muestra no sesgada, y su ECM es [4]

\begin{align}\operatorname{ECM}(S^2_{n-1})&= \frac{1}{n} \left(\mu_4-\frac{n-3}{n-1}\sigma^4\right) \\
&=\frac{1}{n} \left(\gamma_2+\frac{2n}{n-1}\right)\sigma^4,\end{align}

donde \mu_4 es el cuarto momento central de la distribución o de la población y \gamma_2=\mu_4/\sigma^4-3 es el exceso de curtosis.

Sin embargo, se puede utilizar otros estimadores de \ Sigma ^ 2 que son proporcionales a S ^ 2_ {n-1} , Y una elección adecuada siempre puede dar un error cuadrático medio menor. Si definimos

\begin{align}S^2_a &= \frac{n-1}{a}S^2_{n-1}\\
&= \frac{1}{a}\sum_{i=1}^n\left(X_i-\overline{X}\,\right)^2\end{align}

a continuación, el MSE es

\begin{align}
\operatorname{MSE}(S^2_a)&=\operatorname{E}\left(\left(\frac{n-1}{a} S^2_{n-1}-\sigma^2\right)^2 \right) \\
&=\frac{n-1}{n a^2}[(n-1)\gamma_2+n^2+n]\sigma^4-\frac{2(n-1)}{a}\sigma^4+\sigma^4
\end{align}

Esto se minimiza cuando

a=\frac{(n-1)\gamma_2+n^2+n}{n} = n+1+\frac{n-1}{n}\gamma_2.

Para una distribución gaussiana, donde\gamma_2=0. Esto significa que el MSE se minimiza cuando dividiendo la suma por a=n+1. El exceso de curtosis es mínimo \gamma_2=-2, [a] que se consigue mediante una distribución de Bernoulli con p = 1/2 (un tirón de la moneda), y el MSE se reduce al mínimo para a=n-1+2/n. Así que no importa lo que la curtosis, obtenemos una estimación "mejor" (en el sentido de tener un MSE inferior) reduciendo el tamaño de la perito imparcial un poco; este es un ejemplo sencillo de un estimador de la contracción : uno "encoge" el estimador hacia cero (escalas por el estimador no sesgado).

Además, mientras que la varianza muestral corregida es el mejor estimador insesgado (error cuadrático medio mínimo entre los estimadores no sesgados) de la varianza para distribuciones gaussianas, si la distribución no es gaussiana entonces incluso entre estimadores no sesgados, el mejor estimador insesgado de la varianza puede no ser S^2_{n-1}.

Referencias[editar]

  1. Lehmann, E. L.; Casella, George (1998). Theory of Point Estimation (2nd edición). New York: Springer. ISBN 0-387-98502-6. MR 1639875. 
  2. Wackerly, Dennis; Scheaffer, William (2008). Mathematical Statistics with Applications (7 edición). Belmont, CA, USA: Thomson Higher Education. ISBN 0-495-38508-5. 
  3. Steel, R.G.D, and Torrie, J. H., Principles and Procedures of Statistics with Special Reference to the Biological Sciences., McGraw Hill, 1960, page 288.
  4. Mood, A.; Graybill, F.; Boes, D. (1974). Introduction to the Theory of Statistics (3rd edición). McGraw-Hill. p. 229.