Agregación de bootstrap

La agregación de bootstrap, también conocida como empaquetado, es un meta- algoritmo de aprendizaje automático diseñado para mejorar la estabilidad y presición de algoritmos de aprendizaje automático usados en clasificación estadística y regresión. Además reduce la varianza y ayuda a evitar el sobreajuste. Aunque es usualmente aplicado a métodos de árboles de decisión, puede ser usado con cualquier tipo de método. El empaquetado es un caso especial del promediado de modelos.

Descripción de la técnica

Dado un conjunto de entrenamiento estándar D de tamaño n, el empaquetado genera m nuevos conjuntos de entrenamiento $D_{i}$, cada uno de tamaño n′, mediante muestreo uniforme y con reemplazo de D. En el caso del muestreo con reemplazo, algunas observaciones deben repetirse en $D_{i}$. Si n′=n, entonces para un n grande el conjunto $D_{i}$ se espera que tenga (1 - 1/e) (≈63.2%) ejemplos únicos de D, siendo el resto duplicados. ​ Este tipo de muestra es conocido como muestra bootstrap. Los m modelos son aproximados usando las m muestras bootstrap y combinados promediando el resultado (para regresión) o votando (para clasificación).

El empaquetado lleva a "mejoras para procedimientos inestables" (Breiman, 1996), que incluyen, por ejemplo, redes neuronales artificiales, árboles de clasificación y regresión, y selección de subconjuntos en regresión lineal (Breiman, 1994). Una aplicación interesante del empaquetado mostrando mejorías en el aprendizaje preimagen puede ser visto aquí.​​ Por otra parte, esto puede degradar levemente el rendimiento de métodos estables tales como K-nearest neighbors (Breiman, 1996).

Ejemplo: Datos de Ozono

Para ilustrar los principios básicos del empaquetado, se muestra a continuación un análisis de la relación entre el ozono y la temperatura (datos de Peter Rousseeuw y Leroy (1986), disponibles en conjuntos de datos clásicos, el análisis está hecho en R).

La relación entre la temperatura y el ozono en este conjunto de datos es aparentemente no lineal, basado en el gráfico de dispersión. Para describir matemáticamente esta relación, se usan suavizadores LOESS. En vez de construir un único suavizador a partir del conjunto de datos completo, 100 muestras bootstrap de los datos fueron graficadas. Cada muestra es diferente del conjunto de datos original, y aún así se asemeja en distribución y variabilidad. Por cada muestra bootstrap, un suavizador LOESS fue ajustado. A través del rango de los datos, se hicieron predicciones a partir de estos 100 suavizadores . Los primeros 10 ajustes suaves aparecen en líneas grises en la figura. Las líneas claramente sobreajustan los datos.

Pero tomando un promedio de 100 suavizadores, cada uno ajustado a un subconjunto del conjnto original, llegamos a un pronosticador empaquetado (línea roja). Claramente, la media es más estable y hay menos sobreajuste.

Empaquetado para clasificadores de vecinos cercanos

Se conoce bien que el riesgo de un clasificador 1 nearest neighbor (1NN) es a lo sumo el doble del riesgo del clasificador Bayes, pero no hay garantías de que este clasficador será consistente. Escogiendo cuidadosamente el tamaño de las nuevas muestras, el empaquetado puede llevar a mejoras substanciales en el rendimiento del clasificador 1NN. Tomando una gran número de muestras de los datos de tamaño $n'$, el clasificador empaquetado nearest neighbors será consistente dado que $n'\to \infty$ diverge pero $n'/n\to 0$ cuando el tamaño de la muestra $n\to \infty$.

Bajo simulación infinita, el clasificador nearest neighbors empaquetado se puede ver como un clasificador nearest neighbors con pesos. Suponga que el espacio de estudio es $d$ dimensional y sea $C_{n,n'}^{bnn}$ el clasificador nearest neighbors empaquetado basado en un conjunto de entrenamiento de tamaño $n$, con muestras de tamaño $n'$. En el caso del muestreo infinito, bajo ciertas condiciones de regularidad en las distribuciones de clases, el riesgo excedente tiene la extensión asintótica siguiente​

${\mathcal {R}}_{\mathcal {R}}(C_{n,n'}^{bnn})-{\mathcal {R}}_{\mathcal {R}}(C^{Bayes})=\left(B_{1}{\frac {n'}{n}}+B_{2}{\frac {1}{(n')^{4/d}}}\right)\{1+o(1)\},$ para algunas constantes

$B_{1}$ y $B_{2}$. La selección óptima de $n'$, que balancea los dos términos en la extensión asintótica, esta dada por $n'=Bn^{d/(d+4)}$ para alguna constante $B$.

Historia

El empaquetado fue propuesto por Leo Breiman en 1994 para mejorar la clasificación combinando clasificaciones de conjuntos de entrenamientos generados aleatoriamente. Ver Breiman, 1994. Reporte Técnico No. 421.

Véase también

• Bootstrapping_(estadística)
• Validación_cruzada

Bibliografía

• Breiman, Leo (1996). Bagging predictors 24 (2). Machine Learning. pp. 123-140. doi:10.1007/BF00058655. 

• Alfaro, E., Gámez, M. and García, N. (2012). adabag: An R package for classification with AdaBoost.M1, AdaBoost- SAMME and Bagging.