Optimización de hiperparámetros

En el aprendizaje automático, la optimización de hiperparámetros ​ o sintonización es el problema de elegir un conjunto de hiperparámetros óptimos para un algoritmo de aprendizaje. Un hiperparámetro es un parámetro cuyo valor se utiliza para controlar el proceso de aprendizaje. En cambio, los valores de otros parámetros (normalmente los pesos de los nodos) se aprenden.

El mismo tipo de modelo de aprendizaje automático puede requerir diferentes restricciones, pesos o ritmos de aprendizaje para generalizar distintos patrones de datos. Estas medidas se denominan hiperparámetros y deben ajustarse para que el modelo pueda resolver de forma óptima el problema de aprendizaje automático. La optimización de hiperparámetros encuentra una tupla de hiperparámetros que produce un modelo óptimo que minimiza una función de pérdida predefinida en datos independientes dados.​ La función objetivo toma una tupla de hiperparámetros y devuelve la pérdida asociada.​ La validación cruzada se utiliza a menudo para estimar este rendimiento de generalización, y por lo tanto elegir el conjunto de valores para los hiperparámetros que lo maximizan.​

Enfoques

Búsqueda en cuadrícula

Búsqueda en cuadrícula a través de diferentes valores de dos hiperparámetros. Para cada hiperparámetro, se consideran 10 valores diferentes, por lo que se evalúan y comparan un total de 100 combinaciones distintas. Los contornos azules indican las regiones con buenos resultados, mientras que los rojos muestran las regiones con malos resultados.

La forma tradicional de realizar la optimización de hiperparámetros ha sido la búsqueda en cuadrícula, o barrido de parámetros, que no es más que una búsqueda exhaustiva a través de un subconjunto especificado manualmente del espacio de hiperparámetros de un algoritmo de aprendizaje. Un algoritmo de búsqueda en cuadrícula debe guiarse por alguna métrica de rendimiento, normalmente medida por validación cruzada en el conjunto de entrenamiento​ o evaluación en un conjunto de validación de espera.​

Dado que el espacio de parámetros de un aprendiz de máquina puede incluir espacios de valores reales o no limitados para ciertos parámetros, puede ser necesario establecer manualmente límites y discretización antes de aplicar la búsqueda de cuadrícula.

Por ejemplo, un clasificador SVM de margen suave típico equipado con un núcleo RBF tiene al menos dos hiperparámetros que deben ajustarse para obtener un buen rendimiento en datos no vistos: una constante de regularización C y un hiperparámetro de núcleo γ. Ambos parámetros son continuos, por lo que para realizar la búsqueda en la cuadrícula, se selecciona un conjunto finito de valores "razonables" para cada uno, digamos:

$C\in \{10,100,1000\}$

$\gamma \in \{0.1,0.2,0.5,1.0\}$

A continuación, la búsqueda de cuadrícula entrena una SVM con cada par (C, γ) en el producto cartesiano de estos dos conjuntos y evalúa su rendimiento en un conjunto de validación retenido (o mediante validación cruzada interna en el conjunto de entrenamiento, en cuyo caso se entrenan múltiples SVM por par). Por último, el algoritmo de búsqueda en cuadrícula proporciona los ajustes que han obtenido la puntuación más alta en el procedimiento de validación.

La búsqueda de cuadrícula sufre la maldición de la dimensionalidad, pero suele ser vergonzosamente paralela porque los ajustes de hiperparámetros que evalúa suelen ser independientes entre sí.​

Búsqueda aleatoria

Búsqueda aleatoria entre diferentes combinaciones de valores para dos hiperparámetros. En este ejemplo, se evalúan 100 opciones aleatorias diferentes. Las barras verdes muestran que se consideran más valores individuales para cada hiperparámetro en comparación con una búsqueda en cuadrícula.

La búsqueda aleatoria sustituye la enumeración exhaustiva de todas las combinaciones por su selección aleatoria. Puede aplicarse de forma sencilla al entorno discreto descrito anteriormente, pero también se generaliza a espacios continuos y mixtos. Puede superar a la búsqueda cuadriculada, especialmente cuando sólo un pequeño número de hiperparámetros afecta al rendimiento final del algoritmo de aprendizaje automático.​ En este caso, se dice que el problema de optimización tiene una dimensionalidad intrínseca baja.​ La búsqueda aleatoria también es embarazosamente paralela y, además, permite la inclusión de conocimiento previo especificando la distribución de la que tomar muestras. A pesar de su simplicidad, la búsqueda aleatoria sigue siendo una de las líneas de base importantes con las que comparar el rendimiento de los nuevos métodos de optimización de hiperparámetros.

Optimización bayesiana

Artículo principal: Optimización bayesiana

Métodos como la optimización bayesiana exploran inteligentemente el espacio de opciones potenciales de hiperparámetros decidiendo qué combinación explorar a continuación basándose en observaciones previas.

La optimización bayesiana es un método de optimización global para funciones de caja negra ruidosas. Aplicada a la optimización de hiperparámetros, la optimización bayesiana construye un modelo probabilístico de la función que relaciona los valores de los hiperparámetros con el objetivo evaluado en un conjunto de validación. Mediante la evaluación iterativa de una configuración de hiperparámetros prometedora basada en el modelo actual, y su posterior actualización, la optimización bayesiana pretende recopilar observaciones que revelen tanta información como sea posible sobre esta función y, en particular, sobre la ubicación del óptimo. Intenta equilibrar la exploración (hiperparámetros para los que el resultado es más incierto) y la explotación (hiperparámetros esperados cerca del óptimo). En la práctica, se ha demostrado que la optimización bayesiana​​​​ obtiene mejores resultados en menos evaluaciones que la búsqueda cuadriculada y la búsqueda aleatoria, debido a la capacidad de razonar sobre la calidad de los experimentos antes de ejecutarlos.

Optimización basada en el gradiente

Para algoritmos de aprendizaje específicos, es posible calcular el gradiente con respecto a los hiperparámetros y, a continuación, optimizar los hiperparámetros mediante el descenso de gradiente. El primer uso de estas técnicas se centró en las redes neuronales.​ Desde entonces, estos métodos se han extendido a otros modelos como las máquinas de vectores de soporte​ o la regresión logística.​

Un enfoque diferente para obtener un gradiente con respecto a los hiperparámetros consiste en diferenciar los pasos de un algoritmo de optimización iterativo utilizando diferenciación automática.​​​​ Un trabajo más reciente en esta dirección utiliza el teorema de la función implícita para calcular hipergradientes y propone una aproximación estable del hessiano inverso. El método es escalable a millones de hiperparámetros y requiere memoria constante.

En un enfoque diferente,​ se entrena una hiperred para aproximar la mejor función de respuesta. Una de las ventajas de este método es que también puede manejar hiperparámetros discretos. Las redes autoajustables​ ofrecen una versión eficiente en memoria de este enfoque mediante la elección de una representación compacta para la hiperred. Más recientemente, Δ-STN​ ha mejorado aún más este método mediante una ligera reparametrización de la hiperred que acelera el entrenamiento. Δ-STN también produce una mejor aproximación del jacobiano de mejor respuesta al linealizar la red en los pesos, eliminando así los efectos no lineales innecesarios de los grandes cambios en los pesos.

Además de los enfoques de hiperredes, los métodos basados en gradientes se pueden utilizar para optimizar hiperparámetros discretos también adoptando una relajación continua de los parámetros.​ Tales métodos se han utilizado ampliamente para la optimización de hiperparámetros de arquitectura en la búsqueda de arquitecturas neuronales.

Optimización evolutiva

Artículo principal: Algoritmo evolutivo

La optimización evolutiva es una metodología para la optimización global de funciones caja negra ruidosas. En la optimización de hiperparámetros, la optimización evolutiva utiliza algoritmos evolutivos para buscar el espacio de hiperparámetros de un algoritmo determinado.​ La optimización evolutiva de hiperparámetros sigue un proceso inspirado en el concepto biológico de evolución:

1. Crear una población inicial de soluciones aleatorias (es decir, generar aleatoriamente tuplas de hiperparámetros, normalmente más de 100).
2. Evaluar las tuplas de hiperparámetros y adquirir su función de aptitud (por ejemplo, la precisión de validación cruzada de 10 veces del algoritmo de aprendizaje automático con esos hiperparámetros).
3. Clasificar las tuplas de hiperparámetros por su aptitud relativa
4. Sustituir las tuplas de hiperparámetros con peor rendimiento por nuevas tuplas de hiperparámetros generadas mediante cruce y mutación.
5. Repita los pasos 2-4 hasta que el rendimiento del algoritmo sea satisfactorio o deje de mejorar.

La optimización evolutiva se ha utilizado en la optimización de hiperparámetros para algoritmos de aprendizaje automático estadístico,​ aprendizaje automático, búsqueda de arquitecturas típicas de redes neuronales​ y redes neuronales profundas,​​ así como en el entrenamiento de los pesos en redes neuronales profundas.​

Basado en la población

El entrenamiento basado en la población (PBT) aprende tanto los valores de los hiperparámetros como los pesos de la red. Múltiples procesos de aprendizaje operan de forma independiente, utilizando diferentes hiperparámetros. Al igual que ocurre con los métodos evolutivos, los modelos de bajo rendimiento se sustituyen de forma iterativa por modelos que adoptan valores de hiperparámetros y pesos modificados basados en los de mejor rendimiento. Este arranque en caliente del modelo de sustitución es el principal diferenciador entre PBT y otros métodos evolutivos. PBT permite que los hiperparámetros evolucionen y elimina la necesidad de un ajuste manual. El proceso no hace suposiciones sobre la arquitectura del modelo, las funciones de pérdida o los procedimientos de entrenamiento.

PBT y sus variantes son métodos adaptativos: actualizan los hiperparámetros durante el entrenamiento de los modelos. Por el contrario, los métodos no adaptativos tienen la estrategia subóptima de asignar un conjunto constante de hiperparámetros para todo el entrenamiento.​

Parada anticipada

Una clase de algoritmos de optimización de hiperparámetros basados en la parada anticipada está diseñada para grandes espacios de búsqueda de hiperparámetros continuos y discretos, especialmente cuando el coste computacional para evaluar el rendimiento de un conjunto de hiperparámetros es alto. Irace implementa el algoritmo de carrera iterada, que centra la búsqueda en torno a las configuraciones más prometedoras, utilizando pruebas estadísticas para descartar las que rinden mal.​​ Otro algoritmo de optimización de hiperparámetros de parada temprana es el de partición sucesiva por la mitad (SHA),​ que comienza como una búsqueda aleatoria pero periódicamente poda los modelos de bajo rendimiento, centrando así los recursos computacionales en los modelos más prometedores. Las divisiones sucesivas asíncronas (Asynchronous successive halving) (ASHA)​ mejoran aún más el perfil de utilización de recursos de SHA al eliminar la necesidad de evaluar y eliminar de forma sincrónica los modelos de bajo rendimiento. La hiperbanda​ es un algoritmo de alto nivel basado en la parada temprana que invoca SHA o ASHA varias veces con distintos niveles de agresividad de poda, para ser más ampliamente aplicable y con menos entradas requeridas.

Otros

También se han desarrollado enfoques de función de base radial (RBF)​ y métodos espectrales.​

Problemas con la optimización de hiperparámetros

Cuando se realiza la optimización de hiperparámetros, el conjunto de hiperparámetros suele ajustarse a un conjunto de entrenamiento y seleccionarse en función del rendimiento de generalización, o puntuación, de un conjunto de validación. Sin embargo, este procedimiento corre el riesgo de sobreajustar los hiperparámetros al conjunto de validación. Por lo tanto, la puntuación del rendimiento de generalización del conjunto de validación (que pueden ser varios conjuntos en el caso de un procedimiento de validación cruzada) no puede utilizarse para estimar simultáneamente el rendimiento de generalización del modelo final. Para ello, el rendimiento de generalización debe evaluarse en un conjunto independiente (que no tenga intersección) del conjunto (o conjuntos) utilizado para la optimización de los hiperparámetros, de lo contrario el rendimiento podría dar un valor demasiado optimista (demasiado grande). Esto puede hacerse en un segundo conjunto de pruebas, o mediante un procedimiento de validación cruzada externa llamado validación cruzada anidada, que permite una estimación insesgada del rendimiento de generalización del modelo, teniendo en cuenta el sesgo debido a la optimización de los hiperparámetros.

Véase también

• Aprendizaje automático
• Búsqueda de arquitectura neuronal
• Metaoptimización
• Selección de modelo
• Autoajuste
• XGBoost