Aprendizaje semisupervisado

Ejemplo de datos en aprendizaje semi-supervisado.Panel superior: límite de decisión basado en solo dos ejemplos etiquetados (círculos blancos vs. negros). Panel inferior: límite de decisión basado en dos ejemplos etiquetados más datos no etiquetados (círculos grises).

En ciencias de la computación, el aprendizaje semisupervisado (SSL) es una clase de técnicas de aprendizaje automático que utiliza datos de entrenamiento tanto etiquetados como no etiquetados: normalmente una pequeña cantidad de datos etiquetados junto a una gran cantidad de datos no etiquetados. El aprendizaje semisupervisado se encuentra entre el aprendizaje no supervisado (sin datos de entrenamiento etiquetados) y el aprendizaje supervisado (con todos los datos de entrenamiento etiquetados). Los investigadores del campo del aprendizaje automático han descubierto que los datos no etiquetados, cuando se utilizan junto a una pequeña cantidad de datos etiquetados, pueden mejorar de forma considerable la exactitud del aprendizaje. La adquisición de datos etiquetados para resolver un problema suele requerir un agente humano capacitado para clasificar de forma manual los ejemplos de entrenamiento. El coste asociado al proceso de etiquetado puede hacer que un conjunto de entrenamiento totalmente etiquetado sea inviable, mientras que la adquisición de datos sin etiquetar es relativamente poco costoso. En estos casos, el aprendizaje semisupervisado puede ser muy útil.

Asunciones

Representación gráfica de las asunciones del aprendizaje semisupervisado.

Las técnicas de aprendizaje semisupervisado están basadas en diferentes asunciones que ayudan a guiar el proceso de aprendizaje. Según la literatura se centran en las siguientes cuatro​​:

• Asunción de suavidad: dos instancias que están cerca una de la otra en el espacio de entrada tienen la misma etiqueta.
• Asunción de baja densidad: el límite de decisión debe pasar a través de un espacio de baja densidad.
• Asunción de la variedad: el espacio de entrada de alta dimensión está compuesto por múltiples subespacios de menor dimensionalidad. Las instancias del mismo subespacio deben tener la misma etiqueta.
• Asunción de clúster: las instancias que se encuentran en el mismo clúster deben tener la misma etiqueta.

Taxonomía

van Engelen​ presentó una taxonomía que actualmente es la más utilizada, y la que mejor representa el conjunto de modelos SSL. Esta taxonomía se divide en:

Transductivos

El grupo inicial de métodos SSL comprende los métodos transductivos. Los algoritmos transductivos generalmente no desarrollan ningún modelo en la fase de entrenamiento y el objetivo es etiquetar el conjunto de instancias no etiquetadas que ya están disponibles. Por lo tanto, el enfoque transductivo no se utiliza con instancias nuevas y desconocidas, por ejemplo, en un sistema de diagnóstico en línea que realiza detección y diagnóstico a medida que se recopilan nuevos datos. Este tipo de métodos siempre se basan en grafos. Los métodos suelen estar compuestos por tres fases: creación del grafo, ponderación del grafo e inferencia (propagación de etiquetas).​

Inductivos

Los algoritmos inductivos generalmente desarrollan un modelo durante la fase de entrenamiento que puede ser utilizado posteriormente para etiquetar datos no vistos​​. El objetivo en este caso es utilizar las instancias no etiquetadas ya disponibles durante la etapa de entrenamiento para mejorar el modelo que podría haberse obtenido si solo se hubieran utilizado instancias etiquetadas para el entrenamiento. Estos métodos se puede seguir dividiendo en:

Métodos wrapper

Los métodos wrapper primero entrenan un clasificador (algunos métodos wrapper entrenan más de un clasificador) utilizando solo las instancias etiquetadas para generar las predicciones de las instancias no etiquetadas. Luego, el clasificador se vuelve a entrenar (o los clasificadores se vuelven a entrenar) utilizando tanto las instancias etiquetadas originales como las nuevas instancias etiquetadas (también llamadas pseudo-etiquetadas) para mejorar el modelo, en un proceso que puede realizarse varias veces.

Preprocesamiento no supervisado

Los métodos de preprocesamiento no supervisados utilizan instancias no etiquetadas para diferentes propósitos, como extraer características de los datos no etiquetados, pre-agrupando los datos y para establecer los parámetros iniciales de un modelo de aprendizaje supervisado de manera no supervisada. Cabe destacar que este tipo de métodos realiza estas acciones antes del entrenamiento del modelo final.

Intrínsecamente semisupervisados

Los modelos intrínsecamente semisupervisados son aquellos que incorporan directamente instancias no etiquetadas en la función objetivo o de optimización del método de aprendizaje. En lugar de tratar las instancias no etiquetadas como datos adicionales separados, estos métodos integran estas instancias en el proceso de aprendizaje para mejorar el rendimiento del modelo.

Véase también

• Aprendizaje automático
• Aprendizaje supervisado
• Aprendizaje no supervisado

Referencias

1. Abney, S., Semisupervised Learning for Computational Linguistics. Chapman & Hall/CRC, 2008.
2. Blum, A., Mitchell, T. Combining labeled and unlabeled data with co-training. COLT: Proceedings of the Workshop on Computational Learning Theory, Morgan Kaufmann, 1998, p. 92-100.
3. Chapelle, O., B. Schölkopf and A. Zien: Semi-Supervised Learning. MIT Press, Cambridge, MA (2006). Further information.
4. Huang T-M., Kecman V., Kopriva I. [1], "Kernel Based Algorithms for Mining Huge Data Sets, Supervised, Semisupervised and Unsupervised Learning", Springer-Verlag, Berlin, Heidelberg, 260 pp. 96 illus., Hardcover, ISBN 3-540-31681-7, 2006.
5. O'Neill, T. J. (1978) Normal discrimination with unclassified observations. Journal of the American Statistical Association, 73, 821–826.
6. Theodoridis S., Koutroumbas K. (2009) "Pattern Recognition" , 4th Edition, Academic Press, ISBN 978-1-59749-272-0.
7. Zhu, X. Semi-supervised learning literature survey.
8. Zhu, X., Goldberg, A. Introduction to Semi-Supervised Learning Archivado el 6 de mayo de 2015 en Wayback Machine.. Morgan & Claypool Publishers, 2009.

• Datos: Q1041418