Distribución normal multivariada

Distribución normal multivariante
Parámetros	$\mu =[\mu _{1},\dots ,\mu _{n}]^{T}$ (vector real) $\Sigma$ matriz de covarianza (matriz real definida positiva de dimensión $n\times n$ )
Dominio	$x\in \mathbb {R} ^{n}\!$
Función de densidad (pdf)	$f_{X}(x_{1},\dots ,x_{n})={\frac {1}{(2\pi )^{n/2}\left|\Sigma \right|^{1/2}}}$ $\exp \left(-{\frac {1}{2}}(x-\mu )^{\top }\Sigma ^{-1}(x-\mu )\right)$
Función de distribución (cdf)	Sin expresión analítica
Media	$\mu \,\!$
Mediana	$\mu \,\!$
Moda	$\mu \,\!$
Varianza	$\sigma ^{2}\,\!$
Coeficiente de simetría	0
Curtosis	0
Entropía	$\ln \left({\sqrt {(2\,\pi \,e)^{n}\left|\Sigma \right|}}\right)\!$
Función generadora de momentos (mgf)	$M_{X}(t)=\exp \left(\mu ^{\top }t+{\frac {1}{2}}t^{\top }\Sigma t\right)$
Función característica	$\phi _{X}(t;\mu ,\Sigma )=\exp \left(i\mu ^{\top }t-{\frac {1}{2}}t^{\top }\Sigma t\right)$

En probabilidad y estadística, una distribución normal multivariante, también llamada distribución gaussiana multivariante, es una generalización de la distribución normal unidimensional a dimensiones superiores.

Definición

Notación

Si $X=[X_{1},\dots ,X_{n}]^{T}$ es un vector aleatorio de dimensión $n$ con distribución normal multivariante entonces escribimos

$X\ \sim {\mathcal {N}}(\mu ,\Sigma )$

o si queremos decir que $X$ es un vector de dimensión $n$ entonces se usa la notación

$X\sim {\mathcal {N}}_{n}(\mu ,\Sigma )$

El vector aleatorio $X=[X_{1},\dots ,X_{n}]^{T}$ sigue una distribución normal multivariante si satisface las siguientes condiciones equivalentes:

• Toda combinación lineal $Y=a_{1}X_{1}+\cdots +a_{n}X_{n}$ está normalmente distribuida.
• Hay un vector aleatorio $Z=[Z_{1},\dots ,Z_{m}]^{T}$, cuyas componentes son variables aleatorias independientes distribuidas según la normal estándar, un vector $\mu =[\mu _{1},\dots ,\mu _{n}]^{T}$ y una matriz $n\times m$ $A$ tal que $X=AZ+\mu$.
• Hay un vector $\mu$ y una matriz semidefinida positiva simétrica $\Sigma$ tal que la función característica de $X$ es

$\phi _{X}\left(u;\mu ,\Sigma \right)=\exp \left(i\mu ^{\top }u-{\frac {1}{2}}u^{\top }\Sigma u\right).$

Si $\Sigma$ es una matriz no singular, entonces la distribución puede describirse por la siguiente función de densidad:

$f_{X}(x_{1},\dots ,x_{n})={\frac {1}{(2\pi )^{n/2}|\Sigma |^{1/2}}}\exp \left(-{\frac {1}{2}}({\mathbf {x}}-{\mathbf {\mu }})^{\top }\Sigma ^{-1}({\mathbf {x}}-{\mathbf {\mu }})\right)$

donde $\left|\Sigma \right|$ denota el determinante de la matriz $\Sigma$. Nótese cómo la ecuación de arriba se reduce a la distribución normal si $\Sigma$ es un escalar (es decir, una matriz 1x1).

El vector $\mu$ en estas circunstancias es la esperanza de $X$ y la matriz $\Sigma =AA^{T}$ es la matriz de covarianza de las componentes $X_{j}$.

Es importante comprender que la matriz de covarianza puede ser singular (aunque no esté así descrita por la fórmula de arriba, para la cual $\Sigma ^{-1}$ está definida).

Este caso aparece con frecuencia en estadística; por ejemplo, en la distribución del vector de residuos en problemas ordinarios de regresión lineal. Nótese también que los X_i son en general no independientes; pueden verse como el resultado de aplicar la transformación lineal $A$ a una colección de variables normales $Z$.

Función de distribución

Tipo de distribución de probabilidad
$X$ $Y$ $p(X)$ $p(Y)$
Muchas observaciones de muestras (en negro) se observan a partir de una distribución de probabilidad conjunta. También se muestran las densidades marginales.

La función de distribución $F(x)$ se define como la probabilidad de que todos los valores de un vector aleatorio $X$ sean menores o iguales que los valores correspondientes de un vector $x$. Aunque $F$ no tenga una fórmula, hay una serie de algoritmos que permiten estimarla numéricamente.​

Un contraejemplo

El hecho de que dos variables aleatorias $X$ e $Y$ sigan una distribución normal, cada una, no implica que el par (X, Y) siga una distribución normal conjunta. Un ejemplo simple se da con $X$ Normal(0,1), $Y=X$ si $|X|>1$ e $Y=-X$ si $|X|<1$. Esto también es cierto para más de dos variables aleatorias.​

Normalmente distribuidas e independencia

Si $X$ y $Y$ están normalmente distribuidas y son independientes, su distribución conjunta también está normalmente distribuida, es decir, el par (X, Y) debe tener una distribución normal bivariante. En cualquier caso, un par de variables aleatorias normalmente distribuidas no tienen por qué ser independientes al ser consideradas de forma conjunta.

Caso bivariante

En el caso particular de dos dimensiones, la función de densidad (con media (0, 0) es

$f(x,y)={\frac {1}{2\pi \sigma _{x}\sigma _{y}{\sqrt {1-\rho ^{2}}}}}\exp \left(-{\frac {1}{2(1-\rho ^{2})}}\left({\frac {x^{2}}{\sigma _{x}^{2}}}+{\frac {y^{2}}{\sigma _{y}^{2}}}-{\frac {2\rho xy}{(\sigma _{x}\sigma _{y})}}\right)\right)$

donde $\rho$ es el coeficiente de correlación entre $X$ e $Y$. En este caso,

$\Sigma ={\begin{bmatrix}\sigma _{x}^{2}&\rho \sigma _{x}\sigma _{y}\\\rho \sigma _{x}\sigma _{y}&\sigma _{y}^{2}\end{bmatrix}}.$

Transformación afín

Ilustración de una distribución gaussiana multivariante y sus marginales. Código Matlab incluido a continuación.

Si $Y=c+BX\,$ es una transformación afín de $X\ \sim {\mathcal {N}}(\mu ,\Sigma ),$ donde $c\,$ es un $M\times 1$ vector de constantes y $B\,$ una $M\times N$ matriz, entonces $Y\,$ tiene una distribución normal multivariante con esperanza $c+B\mu \,$ y varianza $B\Sigma B^{T}\,$ esto es, $Y\sim {\mathcal {N}}\left(c+B\mu ,B\Sigma B^{T}\right)$. En particular, cualquier subconjunto de las $X_{i}\,$ tiene una distribución marginal que es también una normal multivariante.

Para ver esto, considérese el siguiente ejemplo: para extraer el subconjunto $(X_{1},X_{2},X_{4})^{T}\,$, úsese

$B={\begin{bmatrix}1&0&0&0&0&\ldots &0\\0&1&0&0&0&\ldots &0\\0&0&0&1&0&\ldots &0\end{bmatrix}}$

lo que extrae directamente los elementos deseados.

Otro corolario sería que la distribución de $Z=b\cdot X$, donde $b$ es un vector de la misma longitud que $X$ y el punto indica un producto vectorial, sería una distribución gaussiana unidimensional con $Z\sim {\mathcal {N}}\left(b\cdot \mu ,b^{T}\Sigma b\right)$. Este resultado se obtiene usando

$B={\begin{bmatrix}b_{1}&b_{2}&\ldots &b_{n}\\0&0&\ldots &0\\\vdots &\vdots &\ddots &\vdots \\0&0&\ldots &0\end{bmatrix}}$

y considerando sólo la primera componente del producto (la primera fila de $B$ es el vector $b$). Obsérvese cómo la definición positiva de $\Sigma$ implica que la varianza del producto vectorial debería ser positiva.

Interpretación geométrica

Las curvas de equidensidad de una distribución normal multivariante son elipsoides (es decir, transformaciones lineales de hiperesferas) centrados en la media.​ Las direcciones de los ejes principales de los elipsoides vienen dados por los vectores propios de la matriz de covarianza $\Sigma$. Las longitudes relativas de los cuadrados de los ejes principales vienen dados por los correspondientes vectores propios.

Si $\Sigma =U\Lambda U^{T}=U\Lambda ^{1/2}(U\Lambda ^{1/2})^{T}$ es una descomposición espectral donde las columnas de U son vectores propios unitarios y $\Lambda$ es una matriz diagonal de valores propios, entonces tenemos

$X\ \sim N(\mu ,\Sigma )\iff X\ \sim \mu +U\Lambda ^{1/2}N(0,I)\iff X\ \sim \mu +UN(0,\Lambda ).$

Además, U puede elegirse de tal modo que sea una matriz de rotación, tal que invirtiendo un eje no tenga ningún efecto en $N(0,\Lambda )$, pero invirtiendo una columna, cambie el signo del determinante de U'. La distribución $N(\mu ,\Sigma )$ es en efecto $N(0,I)$ escalada por $\Lambda ^{1/2}$, rotada por U y trasladada por $\mu$.

Recíprocamente, cualquier elección de $\mu$, matriz de rango completo U, y valores diagonales positivos $\Lambda _{i}$ cede el paso a una distribución normal no singular multivariante. Si cualquier $\Lambda _{i}$ es cero y U es cuadrada, la matriz de covarianza $U\Lambda U^{T}$ es una singular. Geométricamente esto significa que cada curva elipsoide es infinitamente delgada y tiene volumen cero en un espacio n-dimensional, así como, al menos, uno de los principales ejes tiene longitud cero.

Correlaciones e independencia

En general, las variables aleatorias pueden ser incorreladas, pero altamente dependientes. Pero si un vector aleatorio tiene una distribución normal multivariante, entonces cualesquiera dos o más de sus componentes que sean incorreladas, son independientes.

Pero no es cierto que dos variables aleatorias que están (separadamente, marginalmente) normalmente distribuidas e incorreladas sean independientes. Dos variables aleatorias que están normalmente distribuidas pueden que no lo estén conjuntamente. Para un ejemplo de dos variables normalmente distribuidas que sean incorreladas pero no independientes, véase normalmente distribuidas e incorreladas no implica independencia.

Momentos más altos

El momento estándar de k-ésimo orden de X se define como

$\mu _{1,\dots ,N}(X)\ {\stackrel {\mathrm {def} }{=}}\ \mu _{r_{1},\dots ,r_{N}}(X)\ {\stackrel {\mathrm {def} }{=}}\ E\left[\prod \limits _{j=1}^{N}X_{j}^{r_{j}}\right]$

donde $r_{1}+r_{2}+\cdots +r_{N}=k.$

Los momentos centrales de orden k viene dados como sigue:

(a) Si k es impar, $\mu _{1,\dots ,N}(X-\mu )=0$.

(b) Si k es par, con $k=2\lambda$, entonces

$\mu _{1,\dots ,2\lambda }(X-\mu )=\sum \left(\sigma _{ij}\sigma _{k\ell }\cdots \sigma _{XZ}\right)$

donde la suma se toma sobre todas las disposiciones de conjuntos $\left\{1,\dots ,2\lambda \right\}$ en $\lambda$ parejas (no ordenadas). Esto es, si se tiene un k-ésimo (${}=2\lambda =6$) momento central, se estarán sumando los productos de $\lambda =3$ covarianzas (la notación -$\mu$ se ha despreciado para facilitar la lectura):

${\begin{aligned}&{}E[X_{1}X_{2}X_{3}X_{4}X_{5}X_{6}]\\&{}=E[X_{1}X_{2}]E[X_{3}X_{4}]E[X_{5}X_{6}]+E[X_{1}X_{2}]E[X_{3}X_{5}]E[X_{4}X_{6}]+E[X_{1}X_{2}]E[X_{3}X_{6}]E[X_{4}X_{5}]\\&{}+E[X_{1}X_{3}]E[X_{2}X_{4}]E[X_{5}X_{6}]+E[X_{1}X_{3}]E[X_{2}X_{5}]E[X_{4}X_{6}]+E[X_{1}X_{3}]E[X_{2}X_{6}]E[X_{4}X_{5}]\\&+E[X_{1}X_{4}]E[X_{2}X_{3}]E[X_{5}X_{6}]+E[X_{1}X_{4}]E[X_{2}X_{5}]E[X_{3}X_{6}]+E[X_{1}X_{4}]E[X_{2}X_{6}]E[X_{3}X_{5}]\\&+E[X_{1}X_{5}]E[X_{2}X_{3}]E[X_{4}X_{6}]+E[X_{1}X_{5}]E[X_{2}X_{4}]E[X_{3}X_{6}]+E[X_{1}X_{5}]E[X_{2}X_{6}]E[X_{3}X_{4}]\\&+E[X_{1}X_{6}]E[X_{2}X_{3}]E[X_{4}X_{5}]+E[X_{1}X_{6}]E[X_{2}X_{4}]E[X_{3}X_{5}]+E[X_{1}X_{6}]E[X_{2}X_{5}]E[X_{3}X_{4}].\end{aligned}}$

Esto da lugar a $(2\lambda -1)!/(2^{\lambda -1}(\lambda -1)!)$ términos en la suma (15 en el caso de arriba), cada uno siendo el producto de $\lambda$ (3 en este caso) covarianzas. Para momentos de cuarto orden (cuatro variables) hay tres términos. Para momentos de sexto orden hay 3 × 5 = 15 términos, y para momentos de octavo orden hay 3 × 5 × 7 = 105 términos.

Las covarianzas son entonces determinadas mediante el reemplazo de los términos de la lista $\left[1,\dots ,2\lambda \right]$ por los términos correspondientes de la lista que consiste en $r_{1}$ unos, entonces $r_{2}$ doses, etc. Para ilustrar esto, examínese el siguiente caso de momento central de cuarto orden:

$E\left[X_{i}^{4}\right]=3\sigma _{ii}^{2}$

$E\left[X_{i}^{3}X_{j}\right]=3\sigma _{ii}\sigma _{ij}$

$E\left[X_{i}^{2}X_{j}^{2}\right]=\sigma _{ii}\sigma _{jj}+2\left(\sigma _{ij}\right)^{2}$

$E\left[X_{i}^{2}X_{j}X_{k}\right]=\sigma _{ii}\sigma _{jk}+2\sigma _{ij}\sigma _{ik}$

$E\left[X_{i}X_{j}X_{k}X_{n}\right]=\sigma _{ij}\sigma _{kn}+\sigma _{ik}\sigma _{jn}+\sigma _{in}\sigma _{jk}.$

donde $\sigma _{ij}$ es la covarianza de $X_{i}$ y $X_{j}$. La idea del método de arriba es que primero se encuentra el caso general para el momento $k$-ésimo, donde se tiene $k$ diferentes variables $X$ - $E\left[X_{i}X_{j}X_{k}X_{n}\right]$ y entonces se pueden simplificar apropiadamente. Si se tiene $E\left[X_{i}^{2}X_{k}X_{n}\right]$ entonces, simplemente sea $X_{i}=X_{j}$ y se sigue que $\sigma _{ii}=\sigma _{i}^{2}$.

Distribuciones condicionales

Si $\mu$ y $\Sigma$ son divididas como sigue:

$\mu ={\begin{bmatrix}\mu _{1}\\\mu _{2}\end{bmatrix}}\quad$ con tamaños ${\begin{bmatrix}q\times 1\\(N-q)\times 1\end{bmatrix}}$

$\Sigma ={\begin{bmatrix}\Sigma _{11}&\Sigma _{12}\\\Sigma _{21}&\Sigma _{22}\end{bmatrix}}\quad$ con tamaños ${\begin{bmatrix}q\times q&q\times (N-q)\\(N-q)\times q&(N-q)\times (N-q)\end{bmatrix}}$

entonces la distribución de $x_{1}$ condicionada a $x_{2}=a$ es una normal multivariante $(X_{1}|X_{2}=a)\sim N({\bar {\mu }},{\overline {\Sigma }})$ donde

${\bar {\mu }}=\mu _{1}+\Sigma _{12}\Sigma _{22}^{-1}\left(a-\mu _{2}\right)$

y matriz de covarianza

${\overline {\Sigma }}=\Sigma _{11}-\Sigma _{12}\Sigma _{22}^{-1}\Sigma _{21}.$

Esta matriz es el complemento de Schur de ${\mathbf {\Sigma } _{22}}$ en ${\mathbf {\Sigma } }$. Esto significa que para calcular la matriz condicional de covarianza, se invierte la matriz global de covarianza, se desprecian las filas y columnas correspondientes a las variables bajo las cuales está condicionada y entonces se invierte de nuevo para conseguir la matriz condicional de covarianza.

Nótese que se sabe que $x_{2}=a$ altera la varianza, aunque la nueva varianza no dependa del valor específico de $a$; quizás más sorprendentemente, la media se cambia por $\Sigma _{12}\Sigma _{22}^{-1}\left(a-\mu _{2}\right)$; compárese esto con la situación en la que no se conoce el valor de $a$, en cuyo caso $x_{1}$ tendría como distribución

$N_{q}\left(\mu _{1},\Sigma _{11}\right)$.

La matriz $\Sigma _{12}\Sigma _{22}^{-1}$ se conoce como la matriz de coeficientes de regresión.

Esperanza condicional bivariante

En el caso

${\begin{pmatrix}X_{1}\\X_{2}\end{pmatrix}}\sim {\mathcal {N}}\left({\begin{pmatrix}0\\0\end{pmatrix}},{\begin{pmatrix}1&\rho \\\rho &1\end{pmatrix}}\right)$

entonces

$E(X_{1}|X_{2}>z)=\rho {\phi (z) \over \Phi (-z)}$

donde esta última razón se llama a menudo razón inversa de Mills.

Matriz de información de Fisher

La matriz de información de Fisher (MIF) para una distribución normal toma una formulación especial. El elemento $(m,n)$ de la MIF para $X\sim N(\mu (\theta ),\Sigma (\theta ))$ es

${\mathcal {I}}_{m,n}={\frac {\partial \mu }{\partial \theta _{m}}}\Sigma ^{-1}{\frac {\partial \mu ^{\top }}{\partial \theta _{n}}}+{\frac {1}{2}}\mathrm {tr} \left(\Sigma ^{-1}{\frac {\partial \Sigma }{\partial \theta _{m}}}\Sigma ^{-1}{\frac {\partial \Sigma }{\partial \theta _{n}}}\right)$

donde

• ${\frac {\partial \mu }{\partial \theta _{m}}}={\begin{bmatrix}{\frac {\partial \mu _{1}}{\partial \theta _{m}}}&{\frac {\partial \mu _{2}}{\partial \theta _{m}}}&\cdots &{\frac {\partial \mu _{N}}{\partial \theta _{m}}}&\end{bmatrix}}$
• ${\frac {\partial \mu ^{\top }}{\partial \theta _{m}}}=\left({\frac {\partial \mu }{\partial \theta _{m}}}\right)^{\top }={\begin{bmatrix}{\frac {\partial \mu _{1}}{\partial \theta _{m}}}\\\\{\frac {\partial \mu _{2}}{\partial \theta _{m}}}\\\\\vdots \\\\{\frac {\partial \mu _{N}}{\partial \theta _{m}}}\\\\\end{bmatrix}}$
• ${\frac {\partial \Sigma }{\partial \theta _{m}}}={\begin{bmatrix}{\frac {\partial \Sigma _{1,1}}{\partial \theta _{m}}}&{\frac {\partial \Sigma _{1,2}}{\partial \theta _{m}}}&\cdots &{\frac {\partial \Sigma _{1,N}}{\partial \theta _{m}}}\\\\{\frac {\partial \Sigma _{2,1}}{\partial \theta _{m}}}&{\frac {\partial \Sigma _{2,2}}{\partial \theta _{m}}}&\cdots &{\frac {\partial \Sigma _{2,N}}{\partial \theta _{m}}}\\\\\vdots &\vdots &\ddots &\vdots \\\\{\frac {\partial \Sigma _{N,1}}{\partial \theta _{m}}}&{\frac {\partial \Sigma _{N,2}}{\partial \theta _{m}}}&\cdots &{\frac {\partial \Sigma _{N,N}}{\partial \theta _{m}}}\end{bmatrix}}$
• $\mathrm {tr}$ es la función traza de una matriz.

Divergencia de Kullback-Leibler

La divergencia de Kullback-Leibler de $N0_{N}(\mu _{0},\Sigma _{0})$ a $N1_{N}(\mu _{1},\Sigma _{1})$ es:

$D_{\text{KL}}(N0\|N1)={1 \over 2}\left(\log _{e}\left({\det \Sigma _{1} \over \det \Sigma _{0}}\right)+\mathrm {tr} \left(\Sigma _{1}^{-1}\Sigma _{0}\right)+\left(\mu _{1}-\mu _{0}\right)^{\top }\Sigma _{1}^{-1}(\mu _{1}-\mu _{0})-N\right).$

El logaritmo debe tomarse con base e en los dos términos (logaritmos neperianos), siguiendo el logaritmo están los logaritmos neperianos de las expresiones que son ambos factores de la función de densidad o si no, surgen naturalmente. La divergencia de arriba se mide en nats. Dividiendo la expresión de arriba por log_e 2 se da paso a la divergencia en bits.

Estimación de parámetros

La derivación del estimador de máxima verosimilitud de la matriz de covarianza de una distribución normal multivariante es, quizás sorprendentemente, sutil y elegante. Véase estimación de matrices de covarianza.

En pocas palabras, la función de densidad de probabilidad de una normal multivariante N-dimensional es

$f(x)=(2\pi )^{-N/2}\det(\Sigma )^{-1/2}\exp \left(-{1 \over 2}(x-\mu )^{T}\Sigma ^{-1}(x-\mu )\right)$

y el estimador MV de la matriz de covarianza para una muestra de n observaciones es

${\widehat {\Sigma }}={1 \over n}\sum _{i=1}^{n}(X_{i}-{\overline {X}})(X_{i}-{\overline {X}})^{T}$

lo cual es, simplemente, la matriz muestral de covarianza. Este es un estimador sesgado cuya esperanza es

$E[{\widehat {\Sigma }}]={n-1 \over n}\Sigma .$

Una covarianza muestral insesgada es

${\widehat {\Sigma }}={1 \over n-1}\sum _{i=1}^{n}(X_{i}-{\overline {X}})(X_{i}-{\overline {X}})^{T}.$

Entropía

La entropía diferencial de la distribución normal multivariante es​

${\begin{aligned}h\left(f\right)&=-\int _{-\infty }^{\infty }\int _{-\infty }^{\infty }\cdots \int _{-\infty }^{\infty }f(x)\ln f(x)\,dx\\&={\frac {1}{2}}\left(N+N\ln \left(2\pi \right)+\ln \left|\Sigma \right|\right)\\&={\frac {1}{2}}\ln\{(2\pi e)^{N}\left|\Sigma \right|\}\end{aligned}}$

donde $\left|\Sigma \right|$ es el determinante de la matriz de covarianza $\Sigma$.

Tests de normalidad multivariante

Los tests de normalidad multivariante comprueban la similitud de un conjunto dado de datos con la distribución normal multivariante. La hipótesis nula es que el conjunto de datos es similar a la distribución normal, por consiguiente un p-valor suficientemente pequeño indica datos no normales. Los tests de normalidad multivariante incluyen el test de Cox-Small​ y la adaptación de Smith y Jain ​ del test de Friedman-Rafsky.

Simulando valores de la distribución

Un método ampliamente usado para simular un vector aleatorio $X$ de la distribución normal multivariante $N$-dimensional con vector de medias $\mu$ y matriz de covarianza $\Sigma$ (requerida para ser simétrica y definida positiva) funciona como sigue:

1. Se calcula la descomposición de Cholesky de $\Sigma$, esto es, se encuentra la única matriz triangular inferior $A$ tal que $A\,A^{T}=\Sigma$. Nótese que cualquier otra matriz $A$ que satisfaga esta condición, o sea, que es uno la raíz cuadrada de $\Sigma$, podría usarse, pero a menudo encontrar tal matriz, distinta de la de la descomposición de Cholesky, sería bastante más costoso en términos de computación.
2. Sea $Z=(z_{1},\dots ,z_{N})^{T}$ un vector cuyas componentes $N$ normales e independientes varían (lo cual puede generarse, por ejemplo, usando el método de Box-Muller.
3. Sea $X=\,$ $\mu +AZ\,.$

Referencias

• Datos: Q1149000