Distribución normal multivariante

De Wikipedia, la enciclopedia libre
Saltar a: navegación, búsqueda
Normal multivariante
Parámetros \mu = [\mu_1, \dots, \mu_n]^T (vector real)
\Sigma matriz de covarianza (matriz real definida positiva de dimensión n\times n )
Dominio x \in\mathbb{R}^n\!
Función de densidad (pdf) f_X(x_1, \dots, x_n)=\frac {1} {(2\pi)^{n/2} \left|\Sigma\right|^{1/2}}

                 \exp\left( -\frac{1}{2}( x - \mu)^\top \Sigma^{-1} (x - \mu)\right)
Función de distribución (cdf) Sin expresión analítica
Media \mu \,\!
Mediana \mu \,\!
Moda \mu \,\!
Varianza \sigma^2 \,\!
Coeficiente de simetría 0
Curtosis 0
Entropía \ln\left(\sqrt{(2\,\pi\,e)^n \left| \Sigma \right|}\right)\!
Función generadora de momentos (mgf) M_X(t)= \exp\left( \mu^\top t + \frac{1}{2} t^\top \Sigma t\right)
Función característica \phi_X(t;\mu,\Sigma)=\exp\left( i \mu^\top t - \frac{1}{2} t^\top \Sigma t\right)
[editar datos en Wikidata ]

En probabilidad y estadística, una distribución normal multivariante, también llamada distribución gaussiana multivariante, es una generalización de la distribución normal unidimensional a dimensiones superiores.

Caso general[editar]

Un vector aleatorio \ X = [X_1, \dots, X_n]^T sigue una distribución normal multivariante si satisface las siguientes condiciones equivalentes:

  • Toda combinación lineal \ Y = a_1 X_1 + \cdots + a_n X_n está normalmente distribuida.
  • Hay un vector aleatorio \ Z = [Z_1, \dots, Z_m]^T, cuyas componentes son variables aleatorias independientes distribuidas según la normal estándar, un vector \ \mu = [\mu_1, \dots, \mu_n]^T y una matriz n \times m \ A tal que \ X = A Z + \mu.
  • Hay un vector \mu y una matriz semidefinida positiva simétrica \ \Sigma tal que la función característica de X es

\phi_X\left(u;\mu,\Sigma\right)
=
\exp
\left(
 i \mu^\top u - \frac{1}{2} u^\top \Sigma u
\right).

Si \ \Sigma es una matriz no singular, entonces la distribución puede describirse por la siguiente función de densidad:


f_X(x_1, \dots, x_n)
=
\frac
 {1}
 {(2\pi)^{n/2}|\Sigma|^{1/2}}
\exp
\left(
 -\frac{1}{2}
 ( x - \mu)^\top \Sigma^{-1} (x - \mu)
\right)

donde \ \left| \Sigma \right| es el determinante de \ \Sigma. Nótese como la ecuación de arriba se reduce a la distribución normal si \ \Sigma es un escalar (es decir, una matriz 1x1).

El vector μ en estas circunstancias es la esperanza de X y la matriz \ \Sigma = A A^T es la matriz de covarianza de las componentes Xi.

Es importante comprender que la matriz de covarianza puede ser singular (aunque no esté así descrita por la fórmula de arriba, para la cual \ \Sigma^{-1} está definida).

Este caso aparece con frecuencia en estadística; por ejemplo, en la distribución del vector de residuos en problemas ordinarios de regresión lineal. Nótese también que los Xi son en general no independientes; pueden verse como el resultado de aplicar la transformación lineal A a una colección de variables normales Z.

Esta distribución de un vector aleatorio X que sigue una distribución normal multivariante puede ser descrita con la siguiente notación:

X\ \sim \mathcal{N}(\mu, \Sigma),

o hacer explícito que X es n-dimensional,

X\ \sim \mathcal{N}_N(\mu, \Sigma).

Función de distribución[editar]

La función de distribución F(x) se define como la probabilidad de que todos los valores de un vector aleatorio X sean menores o iguales que los valores correspondientes de un vector x. Aunque F no tenga una fórmula, hay una serie de algoritmos que permiten estimarla numéricamente.[1]

Un contraejemplo[editar]

El hecho de que dos variables aleatorias X e Y sigan una distribución normal, cada una, no implica que el par (XY) siga una distribución normal conjunta. Un ejemplo simple se da cuando Y = X si |X| > 1 e Y = −X si |X| < 1. Esto también es cierto para más de dos variables aleatorias.[2]

Normalmente distribuidas e independencia[editar]

Si X e Y están normalmente distribuidas y son independientes, su distribución conjunta también está normalmente distribuida, es decir, el par (XY) debe tener una distribución normal bivariante. En cualquier caso, un par de variables aleatorias normalmente distribuidas no tienen por qué ser independientes al ser consideradas de forma conjunta.

Caso bivariante[editar]

En el caso particular de dos dimensiones, la función de densidad (con media (0, 0) es


f(x,y) = \frac{1}{2 \pi \sigma_x \sigma_y \sqrt{1-\rho^2}}
\exp
\left(
 -\frac{1}{2 (1-\rho^2)}
 \left(
  \frac{x^2}{\sigma_x^2} +
  \frac{y^2}{\sigma_y^2} -
  \frac{2 \rho x y}{ (\sigma_x \sigma_y)}
 \right)
\right)

donde \rho es el coeficiente de correlacion entre X e Y. En este caso,


\Sigma =
\begin{bmatrix}
\sigma_x^2              & \rho \sigma_x \sigma_y \\
\rho \sigma_x \sigma_y  & \sigma_y^2
\end{bmatrix}.

Transformación afín[editar]

Si Y = c + B X \, es una transformación afín de X\ \sim \mathcal{N}(\mu, \Sigma), donde c\, es un M \times 1 vector de constantes y B\, una M \times N matriz, entonces Y\, tiene una distribución normal multivariante con esperanza c + B \mu \, y varianza B \Sigma B^T \, esto es, Y \sim \mathcal{N} \left(c + B \mu, B \Sigma B^T\right). En particular, cualquier subconjunto de las X_i\, tiene una distribución marginal que es también una normal multivariante.

Para ver esto, considérese el siguiente ejemplo: para extraer el subconjunto (X_1, X_2, X_4)^T \,, úsese


B =
\begin{bmatrix}
 1 & 0 & 0 & 0 & 0 & \ldots & 0 \\
 0 & 1 & 0 & 0 & 0 & \ldots & 0 \\
 0 & 0 & 0 & 1 & 0 & \ldots & 0
\end{bmatrix}

lo que extrae directamente los elementos deseados.

Otro corolario sería que la distribución de Z=b\cdot X, donde b es un vector de la misma longitud que X y el punto indica un producto vectorial, sería una distribución gaussiana unidimensional con Z\sim\mathcal{N}\left(b\cdot\mu, b^T\Sigma b\right). Este resultado se obtiene usando


B=\begin{bmatrix}
b_1    & b_2    & \ldots & b_n    \\
0      & 0      & \ldots & 0      \\
\vdots & \vdots & \ddots & \vdots \\
0      & 0      & \ldots & 0
\end{bmatrix}

y considerando sólo la primera componente del producto (la primera fila de B es el vector b). Obsérvese cómo la definición positiva de \Sigma implica que la varianza del producto vectorial debería ser positiva.

Interpretación geométrica[editar]

Las curvas de equidensidad de una distribución normal multivariante son elipsoides (es decir, transformaciones lineales de hiperesferas) centrados en la media.[3] Las direcciones de los ejes principales de los elipsoides vienen dados por los vectores propios de la matriz de covarianza \Sigma. Las longitudes relativas de los cuadrados de los ejes principales vienen dados por los correspondientes vectores propios.

Si \Sigma=U\Lambda U^T=U\Lambda^{1/2}(U\Lambda^{1/2})^T es una descomposición espectral donde las columnas de U son vectores propios unitarios y \Lambda es una matriz diagonal de valores propios, entonces tenemos

X\ \sim N(\mu, \Sigma) \iff X\ \sim \mu+U\Lambda^{1/2}N(0, I) \iff X\ \sim \mu+UN(0, \Lambda).

Además, U puede elegirse de tal modo que sea una matriz de rotación, tal que invirtiendo un eje no tenga ningún efecto en N(0, \Lambda), pero invirtiendo una columna, cambie el signo del determinante de U'. La distribución N(\mu, \Sigma) es en efecto N(0, I) escalada por \Lambda^{1/2}, rotada por U y trasladada por \mu.

Recíprocamente, cualquier elección de \mu, matriz de rango completo U, y valores diagonales positivos \Lambda_i cede el paso a una distribución normal no singular multivariante. Si cualquier \Lambda_i es cero y U es cuadrada, la matriz de covarianza U\Lambda U^T es una singular. Geométricamente esto significa que cada curva elipsoide es infinitamente delgada y tiene volumen cero en un espacio n-dimensional, así como, al menos, uno de los principales ejes tiene longitud cero.

Correlaciones e independencia[editar]

En general, las variables aleatorias pueden ser incorreladas, pero altamente dependientes. Pero si un vector aleatorio tiene una distribución normal multivariante, entonces cualesquiera dos o más de sus componentes que sean incorreladas, son independientes.

Pero no es cierto que dos variables aleatorias que están (separadamente, marginalmente) normalmente distribuidas e incorreladas sean independientes. Dos variables aleatorias que están normalmente distribuidas pueden que no lo estén conjuntamente. Para un ejemplo de dos variables normalmente distribuidas que sean incorreladas pero no independientes, véase normalmente distribuidas e incorreladas no implica independencia.

Momentos más altos[editar]

El momento estándar de k-ésimo orden de X se define como


\mu _{1,\dots,N}(X)\ \stackrel{\mathrm{def}}{=}\  \mu _{r_{1},\dots,r_{N}}(X)\ \stackrel{\mathrm{def}}{=}\  E\left[
\prod\limits_{j=1}^{N}X_j^{r_{j}}\right]

donde r_1 +r_2 + \cdots + r_N =k.

Los momentos centrales de orden k viene dados como sigue:

(a) Si k es impar, \mu _{1,\dots,N}(X-\mu )=0.

(b) Si k es par, con k=2\lambda, entonces


\mu _{1,\dots,2\lambda }(X-\mu )=\sum \left( \sigma _{ij}\sigma _{k\ell}\cdots\sigma _{XZ}\right)

donde la suma se toma sobre todas las disposiciones de conjuntos \left\{ 1,\dots,2\lambda
\right\} en \lambda parejas (no ordenadas). Esto es, si se tiene un k-ésimo ({}=2\lambda=6) momento central, se estarán sumando los productos de \lambda=3 covarianzas (la notación -\mu se ha despreciado para facilitar la lectura):

\begin{align}
& {} E[X_1 X_2 X_3 X_4 X_5 X_6] \\
&{} = E[X_1 X_2 ]E[X_3 X_4 ]E[X_5 X_6 ] + E[X_1 X_2 ]E[X_3 X_5 ]E[X_4 X_6] + E[X_1 X_2 ]E[X_3 X_6 ]E[X_4 X_5] \\
&{} + E[X_1 X_3 ]E[X_2 X_4 ]E[X_5 X_6 ] + E[X_1 X_3 ]E[X_2 X_5 ]E[X_4 X_6 ] + E[X_1 X_3]E[X_2 X_6]E[X_4 X_5] \\
&+ E[X_1 X_4]E[X_2 X_3]E[X_5 X_6]+E[X_1 X_4]E[X_2 X_5]E[X_3 X_6]+E[X_1 X_4]E[X_2 X_6]E[X_3 X_5] \\
& + E[X_1 X_5]E[X_2 X_3]E[X_4 X_6]+E[X_1 X_5]E[X_2 X_4]E[X_3 X_6]+E[X_1 X_5]E[X_2 X_6]E[X_3 X_4] \\
& + E[X_1 X_6]E[X_2 X_3]E[X_4 X_5 ] + E[X_1 X_6]E[X_2 X_4 ]E[X_3 X_5] + E[X_1 X_6]E[X_2 X_5]E[X_3 X_4].
\end{align}

Esto da lugar a (2\lambda -1)!/(2^{\lambda -1}(\lambda -1)!) términos en la suma (15 en el caso de arriba), cada uno siendo el producto de \lambda (3 en este caso) covarianzas. Para momentos de cuarto orden (cuatro variables) hay tres términos. Para momentos de sexto orden hay 3 × 5 = 15 términos, y para momentos de octavo orden hay 3 × 5 × 7 = 105 términos.

Las covarianzas son entonces determinadas mediante el reemplazo de los términos de la lista \left[ 1,\dots,2\lambda \right] por los términos correspondientes de la lista que consiste en r_1 unos, entonces r_2 doses, etc... Para ilustrar esto, examínese el siguiente caso de momento central de cuarto orden:

E\left[ X_i^4\right] = 3\sigma _{ii}^2
E\left[ X_i^3 X_j\right] = 3\sigma _{ii} \sigma _{ij}
E\left[ X_i^2 X_j^2\right] = \sigma _{ii}\sigma_{jj}+2\left( \sigma _{ij}\right) ^2
E\left[ X_i^2X_jX_k\right] = \sigma _{ii}\sigma _{jk}+2\sigma _{ij}\sigma _{ik}
E\left[ X_i X_j X_k X_n\right] = \sigma _{ij}\sigma _{kn}+\sigma _{ik}\sigma _{jn}+\sigma _{in}\sigma _{jk}.

donde  \sigma_{ij} es la covarianza de  X_i y  X_j. La idea del método de arriba es que primero se encuentra el caso general para el momento k-ésimo, donde se tiene k diferentes variables X - E\left[ X_i X_j X_k X_n\right] y entonces se pueden simplificar apropiadamente. Si se tiene E\left[ X_i^2 X_k X_n\right] entonces, simplemente sea X_i = X_j y se sigue que \sigma_{ii}=\sigma_i^2.

Distribuciones condicionales[editar]

Si \mu y \Sigma son divididas como sigue:


\mu =
\begin{bmatrix}
 \mu_1 \\
 \mu_2
\end{bmatrix}
\quad con tamaños \begin{bmatrix} q \times 1 \\ (N-q) \times 1 \end{bmatrix}

\Sigma =
\begin{bmatrix}
 \Sigma_{11} & \Sigma_{12} \\
 \Sigma_{21} & \Sigma_{22}
\end{bmatrix}
\quad con tamaños \begin{bmatrix} q \times q & q \times (N-q) \\ (N-q) \times q & (N-q) \times (N-q) \end{bmatrix}

entonces la distribución de x_1 condicionada a x_2=a es una normal multivariante (X_1|X_2=a) \sim N(\bar{\mu}, \overline{\Sigma}) donde


\bar{\mu}
=
\mu_1 + \Sigma_{12} \Sigma_{22}^{-1}
\left(
 a - \mu_2
\right)

y matriz de covarianza


\overline{\Sigma}
=
\Sigma_{11} - \Sigma_{12} \Sigma_{22}^{-1} \Sigma_{21}.

Esta matriz es el complemento de Schur de {\mathbf\Sigma_{22}} en {\mathbf\Sigma}. Esto significa que para calcular la matriz condicional de covarianza, se invierte la matriz global de covarianza, se desprecian las filas y columnas correspondientes a las variables bajo las cuales está condicionada y entonces se invierte de nuevo para conseguir la matriz condicional de covarianza.

Nótese que se sabe que x_2=a altera la varianza, aunque la nueva varianza no dependa del valor específico de a; quizás más sorprendentemente, la media se cambia por \Sigma_{12} \Sigma_{22}^{-1} \left(a - \mu_2 \right); compárese esto con la situación en la que no se conoce el valor de a, en cuyo caso x_1 tendría como distribución

N_q \left(\mu_1, \Sigma_{11} \right).

La matriz \Sigma_{12} \Sigma_{22}^{-1} se conoce como la matriz de coeficientes de regresión.

Esperanza condicional bivariante[editar]

En el caso


\begin{pmatrix}
 X_1 \\
 X_2
\end{pmatrix}  \sim \mathcal{N} \left( \begin{pmatrix}
 0 \\
 0
\end{pmatrix} , \begin{pmatrix}
 1 & \rho \\
 \rho & 1 
\end{pmatrix} \right)

entonces


E(X_1 | X_2 > z) = \rho { \phi(z) \over \Phi(-z) }

donde esta última razón se llama a menudo razón inversa de Mills.

Matriz de información de Fisher[editar]

La matriz de información de Fisher (MIF) para una distribución normal toma una formulación especial. El elemento (m,n) de la MIF para X \sim N(\mu(\theta), \Sigma(\theta)) es


\mathcal{I}_{m,n}
=
\frac{\partial \mu}{\partial \theta_m}
\Sigma^{-1}
\frac{\partial \mu^\top}{\partial \theta_n}
+
\frac{1}{2}
\mathrm{tr}
\left(
 \Sigma^{-1}
 \frac{\partial \Sigma}{\partial \theta_m}
 \Sigma^{-1}
 \frac{\partial \Sigma}{\partial \theta_n}
\right)

donde

Divergencia de Kullback-Leibler[editar]

La divergencia de Kullback-Leibler de N0_N(\mu_0, \Sigma_0) a N1_N(\mu_1, \Sigma_1) es:


D_\text{KL}(N0 \| N1) = { 1 \over 2 } \left( \log_e \left( { \det \Sigma_1 \over \det \Sigma_0 } \right) + \mathrm{tr} \left( \Sigma_1^{-1} \Sigma_0 \right) + \left( \mu_1 - \mu_0\right)^\top \Sigma_1^{-1} ( \mu_1 - \mu_0 ) - N \right).

El logaritmo debe tomarse con base e en los dos términos (logaritmos neperianos), siguiendo el logaritmo están los logaritmos neperianos de las expresiones que son ambos factores de la función de densidad o si no, surgen naturalmente. La divergencia de arriba se mide en nats. Dividiendo la expresión de arriba por loge 2 se da paso a la divergencia en bits.

Estimación de parámetros[editar]

La derivación del estimador de máxima verosimilitud de la matriz de covarianza de una distribución normal multivariante es, quizás sorprendentemente, sutil y elegante. Véase estimación de matrices de covarianza.

En pocas palabras, la función de densidad de probabilidad de una normal multivariante N-dimensional es

f(x)=(2 \pi)^{-N/2} \det(\Sigma)^{-1/2} \exp\left(-{1 \over 2} (x-\mu)^T \Sigma^{-1} (x-\mu)\right)

y el estimador MV de la matriz de covarianza para una muestra de n observaciones es

\widehat\Sigma = {1 \over n}\sum_{i=1}^n (X_i-\overline{X})(X_i-\overline{X})^T

lo cual es, simplemente, la matriz muestral de covarianza. Este es un estimador sesgado cuya esperanza es

E[\widehat\Sigma] = {n-1 \over n}\Sigma.

Una covarianza muestral insesgada es

\widehat\Sigma = {1 \over n-1}\sum_{i=1}^n (X_i-\overline{X})(X_i-\overline{X})^T.

Entropía[editar]

La entropía diferencial de la distribución normal multivariante es[4]


\begin{align}
h\left(f\right) & = -\int_{-\infty}^\infty \int_{-\infty}^\infty \cdots\int_{-\infty}^\infty f(x) \ln f(x)\,dx \\
& = \frac12 \left(N+N\ln\left(2\pi\right) + \ln\left| \Sigma \right|\right) \\
& =\frac{1}{2}\ln\{(2\pi e)^N \left| \Sigma \right|\}
\end{align}

donde \left| \Sigma \right| es el determinante de la matriz de covarianza \Sigma.

Tests de normalidad multivariante[editar]

Los tests de normalidad multivariante comprueban la similitud de un conjunto dado de datos con la distribución normal multivariante. La hipótesis nula es que el conjunto de datos es similar a la distribución normal, por consiguiente un p-valor suficientemente pequeño indica datos no normales. Los tests de normalidad multivariante incluyen el test de Cox-Small[5] y la adaptación de Smith y Jain [6] del test de Friedman-Rafsky.

Simulando valores de la distribución[editar]

Un método ampliamente usado para simular un vector aleatorio X de la distribución normal multivariada N-dimensional con vector de medias \mu y matriz de covarianza \Sigma (requerida para ser simétrica y definida positiva) funciona como sigue:

  1. Se calcula la descomposición de Cholesky de \Sigma, esto es, se encuentra la única matriz triangular inferior A tal que A\,A^T = \Sigma. Nótese que cualquier otra matriz A que satisfaga esta condición, o sea, que es uno la raíz cuadrada de \Sigma, podría usarse, pero a menudo encontrar tal matriz, distinta de la de la descomposición de Cholesky, sería bastante más costoso en términos de computación.
  2. Sea Z=(z_1,\dots,z_N)^T un vector cuyas componentes N normales e independientes varían (lo cual puede generarse, por ejemplo, usando el método de Box-Muller.
  3. Sea X = \, \mu + AZ \,.

Referencias[editar]

  1. Véase MVNDST en [1] (incluye código FORTRAN) o [2] (incluye código MATLAB).
  2. Véase también normalmente distribuidas e incorreladas no implica independencia
  3. Nikolaus Hansen. «The CMA Evolution Strategy: A Tutorial» (PDF).
  4. Gokhale, DV; NA Ahmed, BC Res, NJ Piscataway (May 1989). «Entropy Expressions and Their Estimators for Multivariate Distributions». Information Theory, IEEE Transactions on 35 (3):  pp. 688–692. doi:10.1109/18.30996. 
  5. Cox, D. R.; N. J. H. Small (August 1978). «Testing multivariate normality». Biometrika 65 (2):  pp. 263–272. doi:10.1093/biomet/65.2.263. 
  6. Smith, Stephen P.; Anil K. Jain (September 1988). «A test to determine the multivariate normality of a dataset». IEEE Transactions on Pattern Analysis and Machine Intelligence 10 (5):  pp. 757–761. doi:10.1109/34.6789.