Hiperparámetro

Este artículo trata sobre los hiperparámetros en estadística bayesiana. No debe confundirse con Hiperparámetro (aprendizaje automático).

En estadística bayesiana, un hiperparámetro es un parámetro de una distribución a priori; el término se utiliza para distinguirlos de los parámetros del modelo del sistema subyacente analizado.

Por ejemplo, si se utiliza una distribución beta para modelizar la distribución del parámetro p de una distribución Bernoulli, entonces:

• p es un parámetro del sistema subyacente (distribución Bernoulli), y
• α y β son parámetros de la distribución a priori (distribución beta), por lo tanto hiperparámetros.

Se puede tomar un único valor para un hiperparámetro dado, o se puede iterar y tomar una distribución de probabilidad sobre el propio hiperparámetro, llamada hiperprior.

Propósito

A menudo se utiliza una prioridad que procede de una familia paramétrica de distribuciones de probabilidad, en parte por explicitud (para poder escribir una distribución y elegir la forma variando el hiperparámetro, en lugar de intentar producir una función arbitraria) y en parte para poder variar el hiperparámetro, en particular en el método de las priores conjugadas, o para el análisis de sensibilidad.

Priores conjugadas

Artículo principal: Prior conjugada

Cuando se utiliza una prior conjugada, la distribución posterior será de la misma familia, pero tendrá diferentes hiperparámetros, que reflejan la información añadida de los datos: en términos subjetivos, las creencias de uno se han actualizado. Para una distribución a priori general, esto es muy complicado desde el punto de vista computacional, y la distribución a posteriori puede tener una forma inusual o difícil de describir, pero con una distribución a priori conjugada, suele haber una fórmula sencilla que relaciona los valores de los hiperparámetros de la distribución a posteriori con los de la distribución a priori, por lo que el cálculo de la distribución a posteriori es muy sencillo.

Análisis de sensibilidad

Artículo principal: Análisis de sensibilidad (estadística)

Una de las principales preocupaciones de los usuarios de la estadística bayesiana, así como de sus detractores, es la dependencia de la distribución posterior con respecto a las variables a priori. Los hiperparámetros solucionan este problema al permitir variar fácilmente los parámetros y ver cómo varía la distribución posterior (y varios estadísticos de la misma, como los intervalos creíbles): se puede ver lo sensibles que son las conclusiones a las suposiciones previas, y el proceso se denomina análisis de sensibilidad.

Del mismo modo, se puede utilizar una distribución a priori con un rango para un hiperparámetro, tal vez reflejando la incertidumbre en la correcta a priori a tomar, y reflejar esto en un rango para la incertidumbre final.​

Hiperpriores

Artículo principal: Hiperprior

En lugar de utilizar un único valor para un hiperparámetro determinado, se puede considerar una distribución de probabilidad del propio hiperparámetro; esto se denomina "hiperprior". En principio, se puede iterar esto, llamando a los parámetros de un hiperprior "hiperhiperparámetros", y así sucesivamente.

Véase también

• Método de Bayes empírico
• Optimización de hiperparámetros
• Vergonzosamente paralelo
• Dilución de regresión
• Debabrata Basu

Lectura adicional

• Bernardo, J. M.; Smith, A. F. M. (2000). Bayesian Theory. New York: Wiley
• Gelman, A.; Hill, J. (2007). Data Analysis Using Regression and Multilevel/Hierarchical Models. New York: Cambridge University Press. pp. 251–278
• Kruschke, J. K. (2010). Doing Bayesian Data Analysis: A Tutorial with R and BUGS. Academic Press. pp. 241–264