Matriz de covarianza

De Wikipedia, la enciclopedia libre
Saltar a: navegación, búsqueda

En estadística y teoría de la probabilidad, la matriz de covarianza es una matriz que contiene la covarianza entre los elementos de un vector. Es la generalización natural a dimensiones superiores del concepto de varianza de una variable aleatoria escalar.

Definición[editar]

Si las entradas del vector-columna

X = \begin{bmatrix}X_1 \\  \vdots \\ X_n \end{bmatrix}

son variables aleatorias, cada una con varianza finita, entonces la matriz de covarianza Σ es la matriz cuya entrada (ij) es la covarianza


\Sigma_{ij}
=\mathrm{E}\begin{bmatrix}
(X_i - \mu_i)(X_j - \mu_j)
\end{bmatrix}

donde

\mu_i = \mathrm{E}(X_i)\,

es el valor esperado de la entrada i-ésima del vector X. En otras palabras, tenemos


\Sigma
= \begin{bmatrix}
 \mathrm{E}[(X_1 - \mu_1)(X_1 - \mu_1)] & \mathrm{E}[(X_1 - \mu_1)(X_2 - \mu_2)] & \cdots & \mathrm{E}[(X_1 - \mu_1)(X_n - \mu_n)] \\ \\
 \mathrm{E}[(X_2 - \mu_2)(X_1 - \mu_1)] & \mathrm{E}[(X_2 - \mu_2)(X_2 - \mu_2)] & \cdots & \mathrm{E}[(X_2 - \mu_2)(X_n - \mu_n)] \\ \\
 \vdots & \vdots & \ddots & \vdots \\ \\
 \mathrm{E}[(X_n - \mu_n)(X_1 - \mu_1)] & \mathrm{E}[(X_n - \mu_n)(X_2 - \mu_2)] & \cdots & \mathrm{E}[(X_n - \mu_n)(X_n - \mu_n)]
\end{bmatrix}.

Como una generalización de la varianza[editar]

La anterior definición es equivalente a la igualdad matricial


\Sigma=\mathrm{E}
\left[
 \left(
 \textbf{X} - \mathrm{E}[\textbf{X}]
 \right)
 \left(
 \textbf{X} - \mathrm{E}[\textbf{X}]
 \right)^\top
\right]

Por tanto, se entiende que esto generaliza a mayores dimensiones el concepto de varianza de una variable aleatoria escalar X, definida como


\sigma^2 = \mathrm{var}(X)
= \mathrm{E}[(X-\mu)^2], \,

donde

\mu = \mathrm{E}(X).\,


Propiedades[editar]

Para \Sigma=\mathrm{E} \left[ \left( \textbf{X} - \mathrm{E}[\textbf{X}] \right) \left( \textbf{X} - \mathrm{E}[\textbf{X}] \right)^\top \right] y  \mu = \mathrm{E}(\textbf{X}), las siguientes propiedades fundamentales se demuestran correctas:

  1.  \Sigma = \mathrm{E}(\mathbf{X X^\top}) - \mathbf{\mu}\mathbf{\mu^\top}

  2.  \mathbf{\Sigma} es semidefinida positiva

  3.  \operatorname{var}(\mathbf{A X} + \mathbf{a}) = \mathbf{A}\, \operatorname{var}(\mathbf{X})\, \mathbf{A^\top}

  4.  \operatorname{cov}(\mathbf{X},\mathbf{Y}) = \operatorname{cov}(\mathbf{Y},\mathbf{X})^\top

  5.  \operatorname{cov}(\mathbf{X_1} + \mathbf{X_2},\mathbf{Y}) = \operatorname{cov}(\mathbf{X_1},\mathbf{Y}) + \operatorname{cov}(\mathbf{X_2}, \mathbf{Y})

  6. Si los vectores \mathbf{X} y \mathbf{Y} son de igual dimensión, entonces \operatorname{var}(\mathbf{X} + \mathbf{Y}) = \operatorname{var}(\mathbf{X}) + \operatorname{cov}(\mathbf{X},\mathbf{Y}) + \operatorname{cov}(\mathbf{Y}, \mathbf{X}) + \operatorname{var}(\mathbf{Y})

  7. \operatorname{cov}(\mathbf{AX}, \mathbf{BY}) = \mathbf{A}\, \operatorname{cov}(\mathbf{X}, \mathbf{Y}) \,\mathbf{B}^\top

  8. Si \mathbf{X} y \mathbf{Y} son independientes, entonces \operatorname{cov}(\mathbf{X}, \mathbf{Y}) = 0

donde \mathbf{X}, \mathbf{X_1} y \mathbf{X_2} son vectores aleatorios de dimensión \mathbf{(p \times 1)}, \mathbf{Y} es un vector aleatorio \mathbf{(q \times 1)}, \mathbf{a} es \mathbf{(p \times 1)}, \mathbf{A} y \mathbf{B} son matrices de \mathbf{(p \times q)}.

La matriz de covarianza (aunque muy simple) es una herramienta muy útil en varios campos. A partir de ella se puede derivar una transformación lineal que puede de-correlacionar los datos o, desde otro punto de vista, encontrar una base óptima para representar los datos de forma óptima (véase cociente de Rayleigh para la prueba formal y otras propiedades de las matrices de covarianza). Esto se llama análisis del componente principal (PCA por sus siglas en inglés) en estadística , y transformada de Karhunen-Loève en procesamiento de la imagen.


Lecturas avanzadas[editar]