Familia exponencial

De Wikipedia, la enciclopedia libre
Saltar a: navegación, búsqueda

En probabilidad y estadística, la familia exponencial es una clase de distribuciones de probabilidad cuya formulación matemática puede expresarse de la manera que se especifica debajo. Esta formulación confiere a las distribuciones de esta familia una serie de propiedades algebraicas y estadísticas muy convenientes.

El concepto de la familia exponencial fue introducido por[1] E. J. G. Pitman,[2] G. Darmois,[3] and B. O. Koopman[4] en 1935.

Definición[editar]

A continuación se ofrece una serie de definiciones de la familia exponencial con un grado creciente de generalidad y abstracción.

Parámetro escalar[editar]

La familia exponencial de parámetro escalar es un conjunto de funciones de distribución cuya función de densidad puede expresarse de la forma

 f_X(x; \theta) = h(x) \exp(\eta(\theta) T(x) - A(\theta)) \,\!

donde T(x), h(x), \eta(\theta) y A(\theta) son funciones conocidas.

A θ se lo denomina parámetro de la familia.

A menudo, x es un vector de observaciones. En tal caso, T(x) es una función real sobre el espacio de posibles valores de x.

Si η(θ) = θ se dice que la familia exponencial está expresada en su forma canónica. Redefiniendo η = η(θ), es posible expresar una familia exponencial en su forma canónica. De todos modos, la forma canónica no es única dado que η(θ) puede aparecer multiplicado por una constante no nula y T(x), a su vez, multiplicada por su inversa.

Parámetro vectorial[editar]

La definición anterior puede extenderse al caso de un parámetro vectorial {\boldsymbol \theta} = (\theta_1, \theta_2, \ldots, \theta_d)^T. En tal caso, se dice que una familia de distribuciones pertenece a la familia exponencial cuando su función de densidad puede expresarse de la forma

 f_X(x; \theta) = h(x) \exp\left(\sum_{i=1}^s \eta_i({\boldsymbol \theta}) T_i(x) - A({\boldsymbol \theta}) \right) \,\!

Como en el caso escalar, se dice que está en forma canónica cuando \eta_i({\boldsymbol \theta}) = \theta_i para todo i.

Se dice que la familia exponencial está curvada cuando la dimensión de {\boldsymbol \theta} = (\theta_1, \theta_2, \ldots, \theta_d)^T es menor que la del vector {\boldsymbol \eta}(\boldsymbol \theta) = (\eta_1(\boldsymbol \theta), \eta_2(\boldsymbol \theta), \ldots, \eta_s(\boldsymbol \theta))^T, es decir, cuando la dimensión del vector de parámetros es menor que el número de funciones del vector de parámetros en la representación anterior.

Formulación de acuerdo con la teoría de la medida[editar]

Supóngase que H es una función real de variable real no decreciente y que H(x) tiende a cero cuando x tiende a −∞. Entonces, la integral de Lebesgue–Stieltjes con respecto a dH(x) son integrales con respecto a la medida de referencia de la familia exponencial generada por H.

Un miembro de tal familia exponencial tiene función de distribución

dF(x|\eta) = e^{-\eta^{\top} T(x) - A(\eta)}\, dH(x).

Si F es una función de distribución continua que tiene densidad, se puede escribir dF(x) = f(xdx.

H(x) es entonces el integrador de Lebesgue–Stieltjes para la medida de referencia. Cuando la medida de referencia es finita puede ser normalizada y H es una función de distribución. Si F es continua y tiene una densidad, lo mismo sucede con H; entonces se puede escribir dH(x) = h(xdx. Si F es discreta, entonces H es una función escalonada is a step function (con escalones en el soporte de F).

Interpretación[editar]

En las definiciones anteriores, las funciones T(x), \eta(\theta) y A(\theta) parecen haber sido definidas arbitrariamente. Sin embargo, desempeñan un papel particular en la función de distribución.

  • T(x) es un estimador suficiente de la distribución. Así, las familias exponenciales cuentan con un estimador suficiente cuya dimensión es igual a la del número de parámetros estimables.
  • \eta es el llamado parámetro natural. El conjunto de sus valores para los que f_X(x;\theta) es finito recibe el nombre de espacio del parámetro natural. Puede demostrarse que dicho espacio es siempre convexo.
  • A(\theta) es un factor de normalización gracias al cual f_X(x;\theta) es una función de distribución. La función A tiene gran importancia por sí misma dado que en los casos en lo que la medida de referencia dH(x) es una medida de probabilidad, A es la función generadora de la distribución del estadístico suficiente T(X) cuando la distribución de X es dH(x).

En particular, para el caso escalar y cuando la familia exponencial está expresada en su forma canónica, se tiene que

 f_X(x; \theta) = h(x) \exp(\theta T(x) - A(\theta)) \,\!.

Derivando con respecto a \theta, se obtiene

 \frac{d}{d\theta} f_X(x; \theta) = [T(x) - A^\prime (\theta )] f_X(x; \theta) \,\!

e, integrando dicha expresión con respecto a x, (y permutando la integral y la derivada) se llega a que

 0 = \frac{d}{d\theta} \int f_X(x; \theta) = \int [T(x) - A^\prime (\theta )] f_X(x; \theta) \,\!,

es decir,

 A^\prime (\theta ) = \int A^\prime (\theta ) f_X(x; \theta) = \int  T(x) f_X(x; \theta) = E_\theta[T(x)] \,\!.

Tomando derivadas sucesivas respecto a \theta puede deducirse que la varianza de T(x) es la derivada segunda de A (\theta ), etc.

Ejemplos[editar]

Muchas de las familias de funciones de distribución pertenecen a la exponencial. Por ejemplo, la normal, la exponencial, la gamma, la chi-cuadrado, la beta, la Weibull (si el parámetro de forma es conocido), la distribución de Dirichlet, la de Bernoulli, la binomial, la multinomial, la de Poisson, la distribución binomial negativa y la geométrica. También lo es la de Pareto cuando el límite inferior del soporte está fijo.

Sin embargo, las distribuciones uniforme y de Cauchy no forman parte de la familia exponencial. La de Weibull no es de la familia exponencial a no ser que el parámetro de forma sea conocido. Y la de Laplace tampoco lo es a no ser que su media sea conocida e igual a cero.

A continuación se ofrencen algunos ejemplos detallados de la representación de algunas familias de funciones de densidad de acuerdo con el formalismo de las familias exponenciales.

Distribución normal de varianza unitaria y media desconocida[editar]

En tal caso, la función de densidad es

f(x;\mu) = \frac{1}{\sqrt{2 \pi}} e^{-(x-\mu)^2/2}.

Pertenece a la familia exponencial como puede apreciarse identificando

h(x) = e^{-x^2/2}/\sqrt{2\pi}
T(x) = x\!\,
A(\mu) = \mu^2/2\!\,
\eta(\mu) = \mu.\!\,

Distribución normal con media y varianza desconocidas[editar]

En tal caso, la función de densidad es

f(x) = \frac{1}{\sqrt{2 \pi \sigma^2}} e^{-(x-\mu)^2/(2 \sigma^2)}

y pueden definirse

 {\boldsymbol \theta} = \left({\mu \over \sigma^2},{1 \over \sigma^2} \right)^T
 h(x) = {1 \over \sqrt{2 \pi}}
 T(x) = \left( x, -{x^2 \over 2} \right)^T
 A({\boldsymbol \theta}) = { \theta_1^2 \over 2 \theta_2} - \ln( \theta_2^{1/2} ) = { \mu^2 \over 2 \sigma^2} - \ln \left( {1 \over \sigma } \right)

Distribución binomial[editar]

Como ejemplo de una familia exponencial discreta puede considerarse la binomial. Su función de probabilidad es

f(x)={n \choose x}p^x (1-p)^{n-x}, \quad x \in \{0, 1, 2, \ldots, n\},

que puede escribirse también como

f(x)={n \choose x}\exp\left(x \log\left({p \over 1-p}\right) + n \log\left(1-p\right)\right).

De ahí que esté dentro de la familia exponencial con parámetro natural

\eta = \log{p \over 1-p}.

Importancia en estadística[editar]

Estimación clásica: suficiencia[editar]

De acuerdo con el teorema de Pitman-Koopman-Darmois, dentro de las familias cuyo dominio no varía con el parámetro que se quiere estimar, sólo existe un estadístico suficiente cuya dimensión permanece constante al aumentar el tamaño muestral dentro de las familias exponenciales.

Estimación bayesiana y distribuciones conjugadas[editar]

Cuando la función de verosimilitud pertenece a la familia exponencial, siempre existe una distribución de probabilidad a priori conjugada que, además, a menudo, pertenece también a la familia exponencial. Una distribución a priori conjugada π para el parámetro η de la familia exponencial es

\pi(\eta) \propto \exp(-\eta^{\top} \alpha - \beta\, A(\eta)),

donde \alpha \in \mathbb{R}^n y \beta>0 son hiperparámetros.

Tests uniformemente más potentes[editar]

La familia exponencial uniparamétrica es una función monótonamente creciente de su estadístico suficiente T(x) siempre que η(θ) no sea decreciente. Como consecuencia, existe un test uniformemente más potente para verificar la hipótesis H0: θ ≥ θ0 contra H1: θ < θ0.

Existencia del estimador de máxima verosimilitud[editar]

Aunque el estimador de máxima verosimilitud de una familia de distribuciones no tiene por qué existir o ser único, la situación es distinta dentro de la familia exponencial. De hecho, el logaritmo de la función de verosimilitud es necesariamente cóncavo.

Referencias[editar]

  1. Andersen, Erling (September 1970). «Sufficiency and Exponential Families for Discrete Sample Spaces». Journal of the American Statistical Association 65 (331):  pp. 1248–1255. 
  2. Pitman, E. (1936). «Sufficient statistics and intrinsic accuracy». Proc. Camb. phil. Soc. 32:  pp. 567–579. 
  3. Darmois, G. (1935). «Sur les lois de probabilites a estimation exhaustive». C.R. Acad. sci. Paris 200:  pp. 1265–1266. 
  4. Koopman, B (1936). «On distribution admitting a sufficient statistic». Trans. Amer. math. Soc. 39:  pp. 399–409.