Máxima verosimilitud

De Wikipedia, la enciclopedia libre
(Redirigido desde «Maxima verosimilitud»)
Saltar a: navegación, búsqueda

En estadística, la estimación por máxima verosimilitud (conocida también como EMV y, en ocasiones, MLE por sus siglas en inglés) es un método habitual para ajustar un modelo y encontrar sus parámetros.

Historia[editar]

Fue recomendado, analizado y popularizado por R. A. Fisher entre 1912 y 1922, aunque había sido utilizado antes por Gauss, Laplace, Thiele y F. Y. Edgeworth.[1]

Fundamento[editar]

Supóngase que se tiene una muestra x1, x2, …, xn de n observaciones independientes extraídas de una función de distribución desconocida con función de densidad (o función de probabilidad) f0(·). Se sabe, sin embargo, que f0 pertenece a una familia de distribuciones { f(·|θ), θ ∈ Θ }, llamada modelo paramétrico, de manera que f0 corresponde a θ = θ0, que es el verdadero valor del parámetro. Se desea encontrar el valor \scriptstyle\hat\theta (o estimador) que esté lo más próximo posible al verdadero valor θ0.

Tanto xi como θ pueden ser vectores.

La idea de este método es el de encontrar primero la función de densidad conjunta de todas las observaciones, que bajo condiciones de independencia, es


   f(x_1,x_2,\ldots,x_n\;|\;\theta) = f(x_1|\theta)\cdot f(x_2|\theta)\cdots f(x_n|\theta)\,

Observando esta función bajo un ángulo ligeramente distinto, se puede suponer que los valores observados x1, x2, …, xn son fijos mientras que θ puede variar libremente. Esta es la función de verosimilitud:


  \mathcal{L}(\theta\,|\,x_1,\ldots,x_n) = \prod_{i=1}^n f(x_i|\theta).

En la práctica, se suele utilizar el logaritmo de esta función:


   \hat\ell(\theta\,|\,x_1,\ldots,x_n) = \ln\mathcal{L} =  \sum_{i=1}^n \ln f(x_i|\theta).

El método de la máxima verosimilitud estima θ0 buscando el valor de θ que maximiza \scriptstyle\hat\ell(\theta|x). Este es el llamado estimador de máxima verosimilitud (MLE) de θ0:


   \hat\theta_\mathrm{mle} = \underset{\theta\in\Theta}{\operatorname{arg\,max}}\ \hat\ell(\theta\,|\,x_1,\ldots,x_n).

En ocasiones este estimador es una función explícita de los datos observados x1, …, xn, pero muchas veces hay que recurrir a optimizaciones numéricas. También puede ocurrir que el máximo no sea único o no exista.

En la exposición anterior se ha asumido la independencia de las observaciones, pero no es un requisito necesario: basta con poder construir la función de probabilidad conjunta de los datos para poder aplicar el método. Un contexto en el que esto es habitual es el del análisis de series temporales.

Propiedades del estimador de máxima verosimilitud[editar]

En muchos casos, el estimador obtenido por máxima verosimilitud posee un conjunto de propiedades asintóticas atractivas:

Consistencia[editar]

Bajo ciertas condiciones bastante habituales,[2] el estimador de máxima verosimilitud es consistente: si el número de observaciones n tiende a infinito, el estimador \scriptstyle\hat\theta converge en probabilidad a su valor verdadero:


   \hat\theta_\mathrm{mle}\ \xrightarrow{p}\ \theta_0\ .

Bajo condiciones algo más fuertes,[3] la convergencia es casi segura:


   \hat\theta_\mathrm{mle}\ \xrightarrow{a.s.}\ \theta_0\ .

Normalidad asintótica[editar]

Si las condiciones para la consistencia se cumplen y, además,

  1. θ0 ∈ interior(Θ);
  2. f(x|θ) > 0 y es dos veces continuamente diferenciable respecto a θ en algún entorno N de θ0;
  3. ∫ supθN||∇θf(x|θ)||dx < ∞, y ∫ supθN||∇θθf(x|θ)||dx < ∞;
  4. I = E[∇θlnf(x|θ0) ∇θlnf(x|θ0)′] existe y no es singular;
  5. E[ supθN||∇θθlnf(x|θ)||] < ∞,

entonces el estimador de máxima verosimilitud tiene una distribución asintótica normal:[4]


   \sqrt{n}\big(\hat\theta_\mathrm{mle} - \theta_0\big)\ \xrightarrow{d}\ \mathcal{N}(0,\,I^{-1}).

Invariancia funcional[editar]

Si \widehat{\theta} es el EMV de θ y g(θ) es una transformación de θ, entonces el EMV de α = g(θ) es

\widehat{\alpha} = g(\widehat{\theta}).\,\!

Además, el EMV es invariante frente a ciertas transformaciones de los datos. En efecto, si Y=g(X) y g una aplicación biyectiva que no depende de los parámetros que se estiman, entonces la función de densidad de Y es

f_Y(y) = f_X(x)/|g'(x)|

Es decir, las funciones de densidad de X e Y difieren únicamente en un término que no depende de los parametros. Así, por ejemplo, el EMV para los parámetros de una distribución lognormal son los mismos que los de una distribución normal ajustada sobre el logaritmo de los datos de entrada.

Otras propiedades[editar]

El EMV es √n-consistente y asintóticamente eficiente. En particular, esto significa que el sesgo es cero hasta el orden n−1/2. Sin embargo, al obtener los términos de mayor orden de la expansión de Edgeworth de la distribución del estimador, θemv tiene un sesgo de orden −1. Este sesgo es igual a[5]


   b_s \equiv \operatorname{E}[(\hat\theta_\mathrm{mle} - \theta_0)_s]
       = \frac1n \cdot I^{si}I^{jk} \big( \tfrac12 K_{ijk} + J_{j,ik} \big),

fórmula donde se ha adoptado la convención de Einstein para expresar sumas; Ijk representa la j,k-ésima componente de la inversa de la matriz de información de Fisher y


   \tfrac12 K_{ijk} + J_{j,ik} = \operatorname{E} \bigg[\;
            \frac12 \frac{\partial^3 \ln f_{\theta_0}(x_t)}{\partial\theta_i\,\partial\theta_j\,\partial\theta_k} +
            \frac{\partial\ln f_{\theta_0}(x_t)}{\partial\theta_j} \frac{\partial^2\ln f_{\theta_0}(x_t)}{\partial\theta_i\,\partial\theta_k}
            \;\bigg].

Gracias a estas fórmulas es posible estimar el sesgo de segundo orden del estimador y corregirlo mediante substracción:


   \hat\theta^*_\mathrm{mle} = \hat\theta_\mathrm{mle} - \hat b .

Este estimador, insesgado hasta el orden n−1, se llama estimador de máxima verosimilitud con corrección del sesgo.

Ejemplos[editar]

Distribución uniforme discreta[editar]

Supóngase que n bolas numeradas de 1 a n se colocan en una urna y que una de ellas se extrae al azar. Si se desconoce n, su EMV es el número m que aparece en la bola extraída: la función de verosimilitud es 0 para n < m y 1/n para n ≥ m; que alcanza su máximo cuando n = m. La esperanza matemática de \hat{n} , es (n + 1)/2. Como consecuencia, el EMV de n infravalorará el verdadero valor de n por (n − 1)/2.

Distribución discreta con parámetros discretos[editar]

Supóngase que se lanza una moneda sesgada al aire 80 veces. La muestra resultante puede ser algo así como x1 = H, x2 = T, ..., x80 = T, y se cuenta el número de caras, "H". La probabilidad de que salga cara es p y la de que salga cruz, 1 − p (de modo que p es el parámetro θ). Supóngase que se obtienen 49 caras y 31 cruces. Imagínese que la moneda se extrajo de una caja que contenía tres de ellas y que éstas tienen probabilidades p iguales a 1/3, 1/2 y 2/3 aunque no se sabe cuál de ellas es cuál.

A partir de los datos obtenidos del experimento se puede obtener saber cuál es la moneda con la máxima verosimilitud. Usando la función de probabilidad de la distribución binomial con una muestra de tamaño 80, número de éxitos igual a 49 y distintos valores de p, la función de verosimilitud toma tres valores siguientes:


\begin{align}
\Pr(\mathrm{H} = 49 \mid p)=1/3) & = \binom{80}{49}(1/3)^{49}(1-1/3)^{31} \approx 0.000, \\[6pt]
\Pr(\mathrm{H} = 49 \mid p)=1/2) & = \binom{80}{49}(1/2)^{49}(1-1/2)^{31} \approx 0.012, \\[6pt]
\Pr(\mathrm{H} = 49 \mid p)=2/3) & = \binom{80}{49}(2/3)^{49}(1-2/3)^{31} \approx 0.054.
\end{align}

La verosimilitud es máxima cuando p = 2/3 y éste es, por lo tanto, el EMV de p.


Aplicaciones[editar]

El estimador de máxima verosimilitud se usa dentro de un gran número de modelos estadísticos:

Véase también[editar]

Notas[editar]

  1. Edgeworth (Sep 1908, Dec 1908)
  2. Newey y McFadden (1994, Theorem 2.5.)
  3. Newey y McFadden (1994, Theorem 2.5.)
  4. Newey y McFadden (1994, Theorem 3.3.)
  5. Cox y Snell (1968, formula (20))

Referencias[editar]

Enlaces externos[editar]