Criterio de información de Akaike

El criterio de información de Akaike (AIC) es una medida de la calidad relativa de un modelo estadístico, para un conjunto dado de datos. Como tal, el AIC proporciona un medio para la selección del modelo.

AIC maneja un trade-off entre la bondad de ajuste del modelo y la complejidad del modelo. Se basa en la entropía de información: se ofrece una estimación relativa de la información perdida cuando se utiliza un modelo determinado para representar el proceso que genera los datos.

AIC no proporciona una prueba de un modelo en el sentido de probar una hipótesis nula , es decir AIC puede decir nada acerca de la calidad del modelo en un sentido absoluto. Si todos los modelos candidatos encajan mal, AIC no dará ningún aviso de ello.

Definición

En el caso general, la AIC es

${\mathit {AIC}}=2k-2\ln(L)$

donde k es el número de parámetros en el modelo estadístico , y L es el máximo valor de la función de probabilidad para el modelo estimado.

Dado un conjunto de modelos candidatos para los datos, el modelo preferido es el que tiene el valor mínimo AIC. Por lo tanto AIC no sólo recompensas bondad de ajuste, pero también incluye un penalti, que es una función creciente del número de parámetros estimados. Esta penalización desalienta overfitting (aumentando el número de parámetros libres en el modelo mejora la bondad del ajuste, sin importar el número de parámetros libres en el proceso de generación de datos).

Referencia

• Akaike, Hirotugu (1974), «A new look at the statistical model identification», IEEE Transactions on Automatic Control 19 (6): 716-723, MR 0423716, doi:10.1109/TAC.1974.1100705 ..
• Akaike, Hirotugu (1980), «Likelihood and the Bayes procedure», en Bernardo, J. M.; et al., eds., Bayesian Statistics, Valencia: University Press, pp. 143-166 ..
• Anderson, D. R. (2008), Model Based Inference in the Life Sciences, Springer ..
• Brockwell, Peter J.; Davis, Richard A. (1987), Time Series: Theory and Methods, Springer, ISBN 0387964061 ..
• Brockwell, Peter J.; Davis, Richard A. (1991), Time Series: Theory and Methods (2nd edición), Springer, ISBN 0387974296 ..   Republished in 2009: ISBN 1441903194
• Burnham, K. P.; Anderson, D. R. (2002), Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach (2nd edición), Springer-Verlag, ISBN 0-387-95364-7 ..
• Burnham, K. P.; Anderson, D. R. (2004), «Multimodel inference: understanding AIC and BIC in Model Selection», Sociological Methods and Research 33: 261-304 ..
• Cavanaugh, J. E. (1997), «Unifying the derivations of the Akaike and corrected Akaike information criteria», Statistics and Probability Letters 31: 201-208 ..
• Claeskens, G.; Hjort, N. L. (2008), Model Selection and Model Averaging, Cambridge ..
• Fang, Yixin (2011). "Asymptotic equivalence between cross-validations and Akaike Information Criteria in mixed-effects models", Journal of Data Science, 9:15-21.
• Hurvich, C. M.; Tsai, C.-L. (1989), «Regression and time series model selection in small samples», Biometrika 76: 297-307 ..
• Lukacs, P.M., et al. (2007). "Concerns regarding a call for pluralism of information theory and hypothesis testing", Journal of Applied Ecology, 44:456–460. doi 10.1111/j.1365-2664.2006.01267.x.
• McQuarrie, A. D. R.; Tsai, C.-L. (1998), Regression and Time Series Model Selection, World Scientific, ISBN 981-02-3242-X ..
• Sugiura, N. (1978), «Further analysis of the data by Akaike’s information criterion and the finite corrections», Communications in Statistics - Theory and Methods, A7: 13-26 ..
• Takeuchi, K. (1976), «???», Suri-Kagaku (Mathematical Sciences) (en japanese) 153: 12-18 ..
• Yang, Y. (2005), «Can the strengths of AIC and BIC be shared?», Biometrika 92: 937-950 ..