Aprendizaje por refuerzo a partir de retroalimentación humana

En el aprendizaje automático, el aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF) es una técnica para alinear un agente inteligente con las preferencias humanas. Consiste en entrenar un modelo de recompensa para representar las preferencias, que luego puede utilizarse para entrenar otros modelos mediante el aprendizaje por refuerzo.

En el aprendizaje por refuerzo clásico, el objetivo de un agente inteligente es aprender una función que guíe su comportamiento, denominada política. Sin embargo, definir explícitamente una función de recompensa que se aproxime con precisión a las preferencias humanas es todo un reto. Por ello, RLHF trata de entrenar un "modelo de recompensa" directamente a partir de los comentarios humanos". El modelo de recompensa se entrena primero de forma supervisada para predecir si una respuesta a una pregunta dada es buena (recompensa alta) o mala (recompensa baja) basándose en los datos de clasificación recogidos de los anotadores humanos. Este modelo sirve entonces como una función de recompensa para mejorar la política de un agente a través de un algoritmo de optimización como la optimización de política proximal.

RLHF tiene aplicaciones en varios dominios del aprendizaje automático, incluyendo tareas de procesamiento de lenguaje natural como el resumen de textos y agentes conversacionales, tareas de visión por ordenador como los modelos texto-imagen, y el desarrollo de bots para videojuegos. Aunque RLHF es un método eficaz para entrenar modelos que actúen mejor de acuerdo con las preferencias humanas, también se enfrenta a retos debido a la forma en que se recogen los datos de preferencias humanas. Aunque RLHF no requiere cantidades masivas de datos para mejorar el rendimiento, la obtención de datos de preferencias de alta calidad sigue siendo un proceso costoso. Además, si los datos no se recogen cuidadosamente de una muestra representativa, el modelo resultante puede presentar sesgos no deseados.

Antecedentes y motivación

Optimizar un modelo basándose en la opinión humana es deseable cuando una tarea es difícil de especificar pero fácil de juzgar. Por ejemplo, se puede querer entrenar un modelo para que genere texto seguro que sea útil e inofensivo (que carezca de sesgos, toxicidad o contenido dañino). Pedir a los humanos que creen manualmente ejemplos de texto inofensivo y dañino sería difícil y llevaría mucho tiempo. Sin embargo, los humanos son expertos en evaluar y comparar rápidamente la nocividad de distintos textos generados por IA. Por lo tanto, un objetivo más práctico sería permitir que el modelo utilizara este tipo de información humana para mejorar su generación de texto.

A pesar de las claras ventajas de incorporar información humana a los modelos de entrenamiento, los esfuerzos anteriores -incluidos algunos que aprovechan el aprendizaje por refuerzo- se han enfrentado a retos importantes. La mayoría de los intentos eran limitados y difíciles de generalizar, por lo que se rompían en tareas más complejas, o se enfrentaban a dificultades de aprendizaje a partir de funciones de recompensa dispersas (carentes de información específica y relacionadas con grandes cantidades de texto a la vez) o ruidosas (que recompensan resultados similares de forma inconsistente).

RLHF no fue el primer método exitoso de utilizar la retroalimentación humana para el aprendizaje por refuerzo, pero es uno de los más utilizados. La base de RLHF se introdujo como un intento de crear un algoritmo general para el aprendizaje a partir de una cantidad práctica de retroalimentación humana. El algoritmo tal y como se utiliza hoy en día fue introducido por OpenAI en un documento sobre la mejora de la continuación de texto o resumen basado en la retroalimentación humana, y comenzó a ganar popularidad cuando el mismo método fue reutilizado en su documento sobre InstructGPT. También se ha demostrado que RLHF mejora la robustez de los agentes RL y su capacidad de exploración, lo que resulta en un proceso de optimización más hábil para manejar la incertidumbre y explorar eficientemente su entorno en busca de la mayor recompensa.

Recopilación de retroalimentación humana

Visión general del aprendizaje por refuerzo a partir de retroalimentación humana

La retroalimentación humana se suele recoger pidiendo a los humanos que clasifiquen instancias del comportamiento del agente. Estas clasificaciones se pueden utilizar para puntuar los resultados, por ejemplo, utilizando el sistema de clasificación Elo, que es un algoritmo para calcular los niveles relativos de habilidad de los jugadores en un juego basado únicamente en el resultado de cada partida.Mientras que la clasificación de los resultados es la forma de retroalimentación más ampliamente adoptada, investigaciones recientes han explorado otras formas, como la retroalimentación numérica, la retroalimentación en lenguaje natural y la solicitud de ediciones directas de los resultados del modelo.

Una motivación inicial de RLHF fue que requiere cantidades relativamente pequeñas de datos de comparación para ser eficaz.Se ha demostrado que una pequeña cantidad de datos puede conducir a resultados comparables a una cantidad mayor. Además, aumentar la cantidad de datos tiende a ser menos eficaz que aumentar proporcionalmente el tamaño del modelo de recompensa. No obstante, una cantidad mayor y más diversa de datos puede ser crucial para tareas en las que es importante evitar el sesgo de un grupo parcialmente representativo de anotadores.

Cuando se aprende a partir de comentarios humanos mediante comparaciones por pares según el modelo Bradley-Terry-Luce (o el modelo Plackett-Luce para comparaciones por K sobre más de dos comparaciones), se ha demostrado que el estimador de máxima verosimilitud (MLE) para funciones de recompensa lineales converge si los datos de comparación se generan según un modelo lineal bien especificado. Esto implica que, en determinadas condiciones, si se entrena un modelo para decidir qué elecciones preferiría la gente entre pares (o grupos) de elecciones, mejorará necesariamente en la predicción de preferencias futuras. Esta mejora es esperable siempre que las comparaciones de las que aprende se basen en una regla consistente y simple.

Tanto los modelos de recogida de datos offline, en los que el modelo aprende interactuando con un conjunto de datos estático y actualizando su política por lotes, como los modelos de recogida de datos online, en los que el modelo interactúa directamente con el entorno dinámico y actualiza su política inmediatamente, han sido estudiados matemáticamente demostrando límites de complejidad muestral para RLHF bajo diferentes modelos de retroalimentación.

Tanto los modelos de recogida de datos offline, en los que el modelo aprende interactuando con un conjunto de datos estático y actualizando su política por lotes, como los modelos de recogida de datos online, en los que el modelo interactúa directamente con el entorno dinámico y actualiza su política inmediatamente, han sido estudiados matemáticamente demostrando límites de complejidad muestral para RLHF bajo diferentes modelos de retroalimentación.

En el modelo de recogida de datos offline, cuando el objetivo es el entrenamiento de la política, un MLE pesimista que incorpora un límite inferior de confianza como estimación de la recompensa es el más efectivo. Además, cuando es aplicable, se ha demostrado que considerar directamente las comparaciones K-wise es asintóticamente más eficiente que convertirlas en comparaciones pairwise con fines de predicción.

En el escenario en línea, cuando la retroalimentación humana se recoge a través de comparaciones por pares bajo el modelo Bradley-Terry-Luce y el objetivo es minimizar el arrepentimiento del algoritmo (la diferencia en el rendimiento en comparación con un agente óptimo), se ha demostrado que un MLE optimista que incorpora un límite superior de confianza como la estimación de la recompensa se puede utilizar para diseñar algoritmos eficientes de la muestra (lo que significa que requieren relativamente pocos datos de entrenamiento). Un reto clave en RLHF cuando se aprende de comparaciones por pares (o duelos) está asociado a la naturaleza no markoviana de sus políticas óptimas. A diferencia de escenarios más simples donde la estrategia óptima no requiere memoria de acciones pasadas, en RLHF, el mejor curso de acción a menudo depende de eventos y decisiones previas, haciendo que la estrategia dependa inherentemente de la memoria.

Aplicaciones

RLHF se ha aplicado a varios dominios del procesamiento del lenguaje natural (NLP), como agentes conversacionales, resumen de textos y comprensión del lenguaje natural.El aprendizaje por refuerzo ordinario, en el que los agentes aprenden de sus acciones basándose en una "función de recompensa" predefinida, es difícil de aplicar a tareas de PNL porque las recompensas tienden a ser difíciles de definir o medir, especialmente cuando se trata de tareas complejas que implican valores o preferencias humanas. RLHF puede dirigir modelos de PNL, en particular modelos lingüísticos, para proporcionar respuestas que se alineen con las preferencias humanas con respecto a dichas tareas mediante la captura de sus preferencias de antemano en el modelo de recompensa. Esto resulta en un modelo capaz de generar respuestas más relevantes y rechazar consultas inapropiadas o irrelevantes. Algunos ejemplos notables de modelos de lenguaje entrenados con RLHF son ChatGPT de OpenAI (y su predecesor InstructGPT),Sparrow de DeepMind, Gemini de Google, y Claude de Anthropic.

En visión por ordenador, RLHF también se ha utilizado para alinear modelos texto-imagen. Los estudios que han utilizado con éxito RLHF para este objetivo han observado que el uso de la regularización KL en RLHF, cuyo objetivo es evitar que la política aprendida se aleje demasiado del modelo no alineado, ayudó a estabilizar el proceso de entrenamiento reduciendo el sobreajuste al modelo de recompensa. Se observó que los resultados finales de imagen de los modelos entrenados con regularización KL eran de una calidad significativamente mayor que los entrenados sin ella. Otros métodos intentaron incorporar la retroalimentación a través de un entrenamiento más directo -basado en la maximización de la recompensa sin el uso del aprendizaje por refuerzo-, pero admitieron que un enfoque basado en RLHF probablemente funcionaría mejor debido a la generación de muestras en línea utilizada en RLHF durante las actualizaciones, así como a la regularización KL antes mencionada sobre el modelo previo, que mitiga el sobreajuste de la función de recompensa.

RLHF se aplicó inicialmente a otras áreas, como el desarrollo de robots de videojuegos y tareas de robótica simulada. Por ejemplo, OpenAI y DeepMind entrenaron agentes para jugar a juegos de Atari basados en preferencias humanas. En el entrenamiento clásico basado en RL de tales bots, la función de recompensa simplemente se correlaciona con lo bien que el agente se está desempeñando en el juego, generalmente utilizando métricas como la puntuación en el juego. En comparación, en RLHF, a un humano se le presentan periódicamente dos clips del comportamiento del agente en el juego y debe decidir cuál parece mejor. Este enfoque puede enseñar a los agentes a rendir a un nivel competitivo sin tener nunca acceso a su puntuación. De hecho, se demostró que RLHF a veces puede conducir a un rendimiento superior a RL con métricas de puntuación porque las preferencias del humano pueden contener información más útil que las métricas basadas en el rendimiento. Los agentes lograron un gran rendimiento en muchos de los entornos probados, a menudo superando el rendimiento humano.

Training

En RLHF, se entrenan dos modelos diferentes: un modelo de recompensa y una política de aprendizaje por refuerzo (RL). El modelo de recompensa aprende a determinar qué comportamiento es deseable basándose en la retroalimentación humana, mientras que la política se guía por el modelo de recompensa para determinar las acciones del agente. Ambos modelos suelen inicializarse utilizando un modelo autorregresivo de lenguaje preentrenado. A continuación, este modelo se entrena de forma supervisada en un conjunto de datos relativamente pequeño de pares de instrucciones a un asistente y sus correspondientes respuestas, escritas por anotadores humanos.

Modelo de recompensa

El modelo de recompensa suele inicializarse con un modelo preentrenado, ya que así se le dota de una comprensión del lenguaje y el entrenamiento se centra explícitamente en el aprendizaje de las preferencias humanas. Además de utilizarse para inicializar el modelo de recompensa y la política de RL, el modelo se utiliza también para muestrear datos que serán comparados por anotadores.

El modelo de recompensa se entrena entonces sustituyendo la capa final del modelo anterior por una cabeza de regresión inicializada aleatoriamente. Este cambio desplaza el modelo de su tarea original de clasificación sobre su vocabulario a la simple salida de un número correspondiente a la puntuación de cualquier pregunta y respuesta dadas. Este modelo se entrena a partir de los datos de comparación de preferencias humanas recopilados anteriormente por el modelo supervisado. En concreto, se entrena para minimizar la siguiente función de pérdida de entropía cruzada:

$${\mathcal {L}}(\theta )=-{\frac {1}{K \choose 2}}E_{(x,y_{w},y_{l})}[\log(\sigma (r_{\theta }(x,y_{w})-r_{\theta }(x,y_{l})))]=-{\frac {1}{K \choose 2}}E_{(x,y_{w},y_{l})}\left[{\frac {e^{r_{\theta }(x,y_{w})}}{e^{r_{\theta }(x,y_{w})}+e^{r_{\theta }(x,y_{l})}}}\right]$$

donde 𝐾 es el número de respuestas que los etiquetadores clasificaron, 𝑟𝜃(𝑥,𝑦) es la salida del modelo de recompensa para prompt 𝑥 y completion 𝑦, 𝑦𝑤 es la finalización preferida sobre 𝑦𝑙, 𝜎(𝑥) denota la función sigmoidea, y 𝐸[𝑋] denota el valor esperado.Esto puede considerarse como una forma de regresión logística, donde el modelo predice la probabilidad de que una respuesta 𝑦𝑤 sea preferida a 𝑦𝑙.

Esta función de pérdida mide esencialmente la diferencia entre las predicciones del modelo de recompensa y las decisiones tomadas por los humanos. El objetivo es hacer que las conjeturas del modelo se acerquen lo más posible a las preferencias de los humanos minimizando la diferencia medida por esta ecuación. Por ejemplo, en el caso de sólo comparaciones por pares, 𝐾=2, por lo que el factor de 1/(𝐾2)=1. En general, todos (𝐾2) comparaciones de cada pronta se utilizan para la formación como un solo lote.

Después de la formación, las salidas del modelo se normalizan de tal manera que las terminaciones de referencia tienen una puntuación media de 0. Es decir, ( 2 ) comparaciones de cada pronta se utilizan para la formación como un solo lote. Es decir,

∑𝑦𝑟𝜃(𝑥,𝑦)=0 para cada par de consulta y referencia (𝑥,𝑦)

calculando la recompensa media en el conjunto de datos de entrenamiento y estableciéndola como el sesgo en la cabeza de recompensa.

Política

De forma similar al modelo de recompensa, la política de retroalimentación humana también se inicializa a partir de un modelo preentrenado.

La clave es entender la generación de lenguaje como si fuera un juego que se aprende mediante RL. En RL, una política es una función que asigna un estado del juego a una acción del juego. En RLHF, el "juego" es el juego de responder a instrucciones. Un aviso es un estado del juego, y una respuesta es una acción del juego. Se trata de un tipo de juego bastante trivial, ya que cada juego dura exactamente un paso. Sin embargo, es un juego y, por tanto, se le pueden aplicar algoritmos de RL.

El primer paso en su entrenamiento es el ajuste fino supervisado (SFT). Este paso no requiere el modelo de recompensa. En su lugar, el modelo preentrenado se entrena en un conjunto de datos 𝐷𝑆𝐹𝑇 que contiene pares pregunta-respuesta (𝑥,𝑦). A continuación, durante la SFT, el modelo se entrena para generar autorregresivamente la respuesta correspondiente 𝑦 cuando se le da un prompt aleatorio 𝑥. El documento original recomienda SFT para sólo una época, ya que más de eso causa sobreajuste.

El conjunto de datos 𝐷𝑆𝐹𝑇 suele estar escrito por contratistas humanos, que escriben tanto las instrucciones como las respuestas.

El segundo paso utiliza un método de gradiente de política para el modelo de recompensa. Utiliza un conjunto de datos 𝐷𝑅𝐿, que contiene indicaciones, pero no respuestas. Como la mayoría de los métodos de gradiente de política, este algoritmo tiene un bucle externo y dos bucles internos:

• Inicializar la política 𝜋𝜙𝑅𝐿 a 𝜋𝑆𝐹𝑇, la política resultante de SFT.
• Bucle para muchos pasos.
• Inicializar un nuevo conjunto de datos vacío 𝐷𝜋𝜙𝑅𝐿.
• Bucle para muchos pasos
• Muestrear un prompt aleatorio 𝑥 de 𝐷𝑅𝐿.
• Genere una respuesta 𝑦 a partir de la política 𝜋𝜙𝑅𝐿.
• Calcule la señal de recompensa 𝑟𝜃(𝑥,𝑦) a partir del modelo de recompensa 𝑟𝜃.
• Añada la triple (𝑥,𝑦,𝑟𝜃(𝑥,𝑦)) a 𝐷𝜋𝜙𝑅𝐿.
• Actualice 𝜙 mediante un método de gradiente de política para aumentar la función objetivo.

$${\text{objective}}(\phi )=E_{(x,y)\sim D_{\pi _{\phi }^{\text{RL}}}}\left[r_{\theta }(x,y)-\beta \log \left({\frac {\pi _{\phi }^{\text{RL}}(y|x)}{\pi ^{\text{SFT}}(y|x)}}\right)\right]$$

Tenga en cuenta que (𝑥,𝑦)∼𝐷𝜋𝜙RL es equivalente a 𝑥∼𝐷𝑅𝐿,𝑦∼𝜋𝜙RL(⋅|𝑥), lo que significa "muestrear un indicador de 𝐷𝑅𝐿 xml-ph-0".

La función objetivo tiene dos partes. La primera parte es simplemente la recompensa esperada 𝐸[𝑟], y es estándar para cualquier algoritmo de RL. La segunda parte es un "término de penalización" que implica la divergencia KL. La fuerza del término de penalización está determinada por el hiperparámetro 𝛽.

Este término KL funciona penalizando la divergencia KL (una medida de distancia estadística entre distribuciones) entre el modelo que se está ajustando y el modelo inicial supervisado. Eligiendo un 𝛽 adecuado, el entrenamiento puede equilibrar el aprendizaje a partir de los nuevos datos conservando la información útil del modelo inicial, aumentando la generalización al evitar ajustarse demasiado a los nuevos datos. Además de evitar que el nuevo modelo produzca resultados demasiado diferentes a los del modelo inicial, una segunda motivación para incluir el término KL es animar al modelo a producir texto de alta entropía, para evitar que el modelo se reduzca a un pequeño número de respuestas enlatadas.

En términos más sencillos, la función objetivo calcula lo bien que se espera que las respuestas de la política se alineen con la retroalimentación humana. La política genera respuestas a las peticiones, y cada respuesta se evalúa tanto en función de lo bien que se ajusta a las preferencias humanas (medidas por el modelo de recompensa) como de lo parecida que es a las respuestas que el modelo generaría de forma natural. El objetivo es equilibrar la mejora de la alineación con las preferencias humanas y, al mismo tiempo, garantizar que las respuestas del modelo sigan siendo diversas y no se alejen demasiado de lo que ha aprendido durante su entrenamiento inicial. Esto ayuda al modelo no sólo a proporcionar respuestas que la gente encuentre útiles o agradables, sino también a mantener una comprensión amplia y evitar respuestas demasiado estrechas o repetitivas.

Optimización de política proximal

La función política se entrena normalmente mediante el algoritmo de optimización de (PPO). Es decir, el parámetro 𝜙se entrena por gradiente ascendente en la función sustituta recortada.

Clásicamente, el algoritmo PPO emplea la estimación de ventaja generalizada, lo que significa que hay un estimador de valor extra

𝑉𝜉𝑡(𝑥), que se actualiza simultáneamente con la política 𝜋𝜙𝑡𝑅𝐿 durante el entrenamiento PPO: 𝜋𝜙𝑡𝑅𝐿,𝑉𝜉𝑡,𝜋𝜙𝑡+1𝑅𝐿,𝑉𝜉𝑡+1,.... El estimador de valor sólo se utiliza durante el entrenamiento, y no fuera de él.

La OPP utiliza el descenso de gradiente en la siguiente ventaja sustituta recortada:

$$L_{\text{PPO}}(\phi ):=E_{x\sim D_{\text{RL}},y\sim \pi _{\phi _{t}}(y|x)}\left[\min \left({\frac {\pi _{\phi }^{RL}(y|x)}{\pi _{\phi _{t}}^{RL}(y|x)}}A(x,y),\mathrm {clip} \left({\frac {\pi _{\phi }^{RL}(y|x)}{\pi _{\phi _{t}}^{RL}(y|x)}},1-\epsilon ,1+\epsilon \right)A(x,y)\right)\right]$$

donde el término de ventaja 𝐴(𝑥,𝑦) se define como 𝑟𝜃(𝑥,𝑦)-𝑉𝜉𝑡(𝑥). Es decir, la ventaja se calcula como la diferencia entre la recompensa (la rentabilidad esperada) y la estimación del valor (la rentabilidad esperada de la política). Esto se utiliza para entrenar la política mediante el ascenso gradiente sobre ella, normalmente utilizando un optimizador de momento-gradiente estándar, como el optimizador Adam.

El artículo original inicializaba el estimador de valor a partir del modelo de recompensa entrenado. Dado que PPO es un algoritmo actor-crítico, el estimador de valor se actualiza al mismo tiempo que la política, minimizando el error TD al cuadrado, que en este caso es igual al término de ventaja al cuadrado:

$$L_{\text{TD}}(\xi )=\mathbb {E} _{(x,y)\sim D{\pi _{\phi _{t}}^{\text{RL}}}}\left[\left(r_{\theta }(x,y)-\beta \log \left({\frac {\pi _{\phi _{t}}^{\text{RL}}(y|x)}{\pi ^{\text{SFT}}(y|x)}}\right)-V_{\xi }(x)\right)^{2}\right]$$que se minimiza mediante descenso gradiente sobre él. Se pueden utilizar otros métodos además del error TD al cuadrado. Véase la página del algoritmo actor-crítico para más detalles.

Mezcla de gradientes de preentrenamiento

Se suele añadir un tercer término a la función objetivo para evitar que el modelo sufra un olvido catastrófico. Por ejemplo, si el modelo sólo está entrenado en atención al cliente, podría olvidar conocimientos generales de geografía. Para evitarlo, el proceso RLHF incorpora el objetivo original de modelado lingüístico. Es decir, algunos textos aleatorios 𝑥 se muestrean a partir del conjunto de datos de preentrenamiento original 𝐷 preentrenar, y el modelo se entrena para maximizar la log-verosimilitud del texto log (𝜋𝜙𝑅𝐿(𝑥)). La función objetivo final se escribe como:

$$L(\phi )=E_{(x,y)\sim D_{\pi _{\phi }^{\text{RL}}}}\left[r_{\theta }(x,y)-\beta \log \left({\frac {\pi _{\phi }^{\text{RL}}(y|x)}{\pi ^{\text{SFT}}(y|x)}}\right)\right]+\gamma E_{x\sim D_{\text{pretrain}}}[\log(\pi _{\phi }^{\text{RL}}(x))]$$

donde 𝛾 controla la fuerza de este término de preentrenamiento. Esta función objetivo combinada se denomina PPO-ptx, donde "ptx" significa "Mezcla de Gradientes de Preentrenamiento". Se utilizó por primera vez en el artículo InstructGPT.

En total, esta función objetivo define el método para ajustar la política de RL, combinando el objetivo de alinearse con la retroalimentación humana y mantener la comprensión lingüística original del modelo.

Así, escribiendo de forma totalmente explícita, la función objetivo PPO-ptx es:

$$L_{\text{PPO-ptx}}(\phi ):=E_{(x,y)\sim D_{\pi _{\phi _{t}}^{\text{RL}}}}\left[\min \left({\frac {\pi _{\phi }^{RL}(y|x)}{\pi _{\phi _{t}}^{RL}(y|x)}}A(x,y),\mathrm {clip} \left({\frac {\pi _{\phi }^{RL}(y|x)}{\pi _{\phi _{t}}^{RL}(y|x)}},1-\epsilon ,1+\epsilon \right)A(x,y)\right)-\beta \log \left({\frac {\pi _{\phi }^{\text{RL}}(y|x)}{\pi ^{\text{SFT}}(y|x)}}\right)\right]+\gamma E_{x\sim D_{\text{pretrain}}}[\log(\pi _{\phi }^{\text{RL}}(x))]$$que se optimiza mediante el ascenso gradiente.

Limitaciones

RLHF se enfrenta a los retos de recopilar retroalimentación humana, aprender un modelo de recompensa y optimizar la política. En comparación con la recopilación de datos para técnicas como el aprendizaje no supervisado o autosupervisado, la recopilación de datos para RLHF es menos escalable y más cara. Su calidad y coherencia pueden variar en función de la tarea, la interfaz y las preferencias y sesgos de cada ser humano.

La eficacia de RLHF depende de la calidad de la retroalimentación humana. Por ejemplo, el modelo puede estar sesgado y favorecer a ciertos grupos en detrimento de otros si la información no es imparcial, es incoherente o incorrecta. Existe el riesgo de sobreajuste, en el que el modelo memoriza ejemplos específicos de información en lugar de aprender a generalizar. Por ejemplo, la retroalimentación predominantemente de un grupo demográfico específico podría llevar al modelo a aprender peculiaridades o ruido, junto con la alineación prevista. Un alineamiento excesivo con la opinión específica recibida (es decir, con el sesgo que conlleva) puede hacer que el modelo funcione de forma subóptima en nuevos contextos o cuando lo utilicen grupos diferentes. Una única función de recompensa no siempre puede representar las opiniones de diversos grupos de personas. Incluso con una muestra representativa, las opiniones y preferencias contradictorias pueden hacer que el modelo de recompensa favorezca la opinión de la mayoría, lo que podría perjudicar a los grupos infrarrepresentados.

En algunos casos, como es posible en el aprendizaje por refuerzo normal, puede existir el riesgo de que el modelo aprenda a manipular el proceso de retroalimentación o a jugar con el sistema para conseguir mayores recompensas en lugar de mejorar realmente su rendimiento. En el caso del RLHF, un modelo puede aprender a explotar el hecho de que se le recompensa por lo que se evalúa positivamente y no necesariamente por lo que es realmente bueno, lo que puede llevarle a aprender a persuadir y manipular. Por ejemplo, los modelos podrían aprender que la confianza aparente, aunque sea inexacta, obtiene mayores recompensas. Este comportamiento, si no se controla, no sólo se incentiva, sino que puede causar importantes problemas de despliegue debido al potencial del modelo para engañar. Los estudios han demostrado que los humanos no son capaces de identificar errores en los resultados de LLM en tareas complejas; por lo tanto, los modelos que aprenden a generar textos que suenan seguros pero que son incorrectos pueden provocar problemas importantes cuando se despliegan.

Alternativas

Aprendizaje por refuerzo a partir de la retroalimentación de la IA

De forma similar a RLHF, el aprendizaje por refuerzo a partir de la retroalimentación de la IA (RLAIF) se basa en el entrenamiento de un modelo de preferencias, con la diferencia de que la retroalimentación se genera automáticamente. Esto se utiliza especialmente en la IA constitucional de Anthropic, donde la retroalimentación de la IA se basa en la conformidad con los principios de una constitución.

Algoritmos de alineación directa

Los algoritmos de alineación directa (DAA) se han propuesto como una nueva clase de algoritmos, que tratan de optimizar directamente grandes modelos de lenguaje (LLMs) sobre datos de retroalimentación humana de una manera supervisada en lugar de los métodos tradicionales de política-gradiente.

Estos algoritmos pretenden alinear los modelos con la intención humana de forma más transparente eliminando el paso intermedio de entrenar un modelo de recompensa independiente. En lugar de predecir primero las preferencias humanas y luego optimizar en función de esas predicciones, los métodos de alineación directa entrenan los modelos de principio a fin con resultados etiquetados o curados por humanos. Esto reduce los riesgos potenciales de desalineación introducidos por los objetivos indirectos o la piratería de recompensas.

Al optimizar directamente el comportamiento preferido por los humanos, estos enfoques permiten a menudo una mayor alineación con los valores humanos, una mejor interpretabilidad y unos procesos de formación más sencillos en comparación con RLHF.

Optimización directa de preferencias

La optimización directa de preferencias (OPD) es una técnica para aprender las preferencias humanas. Al igual que RLHF, se ha aplicado para alinear grandes modelos lingüísticos preentrenados utilizando datos de preferencias generados por humanos. Sin embargo, a diferencia de RLHF, que primero entrena un modelo intermedio separado para entender cómo son los buenos resultados y luego enseña al modelo principal cómo lograr esos resultados, DPO simplifica el proceso ajustando directamente el modelo principal según las preferencias de las personas. Utiliza un cambio de variables para definir la «pérdida de preferencia» directamente en función de la política y utiliza esta pérdida para ajustar el modelo, ayudándole a comprender y priorizar las preferencias humanas sin necesidad de un paso separado. Esencialmente, este enfoque moldea directamente las decisiones del modelo en función de la respuesta positiva o negativa de las personas.

Recordemos que el proceso de RLHF es el siguiente:

• Empezamos recopilando un conjunto de datos de preferencias humanas 𝐷.
• A continuación, ajustamos un modelo de recompensa 𝑟∗ a los datos, mediante estimación de máxima verosimilitud utilizando el modelo Plackett-Luce

$$r^{*}=\arg \max _{r}\mathbb {E} _{(x,y_{1},\dots ,y_{N})\sim D}\left[\ln \prod _{k=1}^{N}{\frac {e^{r(x,y_{k})}}{\sum _{i=k}^{N}e^{r(x,y_{i})}}}\right]$$

• Finalmente, entrenamos una política óptima 𝜋∗ que maximiza la función objetivo:

$$\pi ^{*}=\arg \max _{\pi ^{\text{RL}}}\mathbb {E} _{(x,y)\sim D_{\pi ^{\text{RL}}}}\left[r^{*}(x,y)-\beta \log \left({\frac {\pi ^{\text{RL}}(y|x)}{\pi ^{\text{SFT}}(y|x)}}\right)\right]$$

Sin embargo, en lugar de realizar el paso intermedio del modelo de recompensa, la OPD optimiza directamente la política final.

En primer lugar, resuelve directamente para la política óptima, lo que puede hacerse mediante multiplicadores de Lagrange, como es habitual en mecánica estadística:

$$\pi ^{*}(y|x)={\frac {\pi ^{\text{SFT}}(y|x)\exp(r^{*}(x,y)/\beta )}{Z(x)}},$$

donde 𝑍(𝑥) es la función de partición. Lamentablemente, esto no es factible, ya que requiere sumar todas las respuestas posibles:

$$Z(x)=\sum _{y}\pi ^{\text{SFT}}(y|x)\exp(r^{*}(x,y)/\beta )=\mathbb {E} _{y\sim \pi ^{\text{SFT}}(\cdot |x)}[\exp(r^{*}(x,y)/\beta )]$$

A continuación, invierta esta relación para expresar la recompensa implícitamente en términos de la política óptima:

$$r^{*}(x,y)=\beta \log {\frac {\pi ^{*}(y|x)}{\pi ^{\text{SFT}}(y|x)}}+\beta \log Z(x).$$Por último, si lo volvemos a introducir en el estimador de máxima verosimilitud, obtenemos: Apéndice A

$$\pi ^{*}=\arg \max _{\pi }\mathbb {E} _{(x,y_{1},\dots ,y_{N})\sim D}\left[\ln \prod _{k=1}^{N}{\frac {e^{\beta \log {\frac {\pi (y_{k}|x)}{\pi ^{\text{SFT}}(y_{k}|x)}}}}{\sum _{i=k}^{N}e^{\beta \log {\frac {\pi (y_{i}|x)}{\pi ^{\text{SFT}}(y_{i}|x)}}}}}\right]$$

Normalmente, la OPD se utiliza para modelar la preferencia humana en comparaciones por pares, de modo que

𝑁=2. En ese caso, tenemos

$$\pi ^{*}=\arg \max _{\pi }\mathbb {E} _{(x,y_{w},y_{l})\sim D}\left[\log \sigma \left(\beta \log {\frac {\pi (y_{w}|x)}{\pi ^{\text{SFT}}(y_{w}|x)}}-\beta \log {\frac {\pi (y_{l}|x)}{\pi ^{\text{SFT}}(y_{l}|x)}}\right)\right]$$

La OPD elimina la necesidad de un modelo de recompensa independiente o de un bucle de aprendizaje por refuerzo, tratando la alineación como un problema de aprendizaje supervisado sobre datos de preferencias. Esto es más sencillo de implementar y entrenar que RLHF y ha demostrado producir resultados comparables y a veces superiores. No obstante, RLHF también ha demostrado superar a DPO en algunos conjuntos de datos, por ejemplo, en puntos de referencia que intentan medir la veracidad. Por lo tanto, la elección del método puede variar en función de las características de los datos de preferencias humanas y de la naturaleza de la tarea.

Optimización de la preferencia de identidad

La optimización de la preferencia de identidad (IPO) es una modificación del objetivo original de la OPD que introduce un término de regularización para reducir la posibilidad de sobreajuste. Sigue siendo robusto al sobreentrenamiento al asumir ruido en los datos de preferencias.

En primer lugar, IPO aplica primero un mapeo no lineal sobre la distribución de probabilidad de las preferencias Ψ(𝑞)=log (𝑞/(1-𝑞)) en lugar de la hipótesis Bradley-Terry para suavizar la probabilidad de las preferencias y suavizar las etiquetas. Aquí, Ψ(𝑞) denota el objetivo de preferencia Ψ separado del objetivo de política. Esto ayuda a evitar el problema de sobreajuste de la suposición de que las preferencias por pares pueden sustituirse por recompensas por puntos, lo que debilita la regularización KL al sesgar fuertemente la distribución de preferencias.

Al igual que la OPD, la OPI también se formula como un objetivo de aprendizaje fuera de línea aprendido sobre un conjunto de datos de preferencias humanas 𝐷. En concreto, la OPI introduce un nuevo objetivo aplicando un mapeo Ψ sobre la distribución de probabilidad de las preferencias. En la práctica, Ψ se toma como el mapeo de identidad, lo que da lugar a IPO. Por lo tanto, la OPI también optimiza directamente la política final a partir del conjunto de datos de preferencias y evita la etapa de modelado de recompensas mediante el siguiente objetivo:

$$\max _{\pi _{\theta }}\mathbb {E} [\Psi (p^{*}(y_{w}\succ y_{l}|x))]-\beta D_{KL}(\pi _{\theta }||\pi _{\text{ref}})$$

donde 𝑝∗(𝑦𝑤≻𝑦𝑙|𝑥) es la distribución de preferencias de las respuestas elegidas 𝑦𝑤 sobre las respuestas rechazadas 𝑦𝑙. Sin embargo, como 𝑝∗ no se observa directamente, muestreamos a partir de una distribución Bernoulli del conjunto de datos de preferencias offline como:𝑝∗(𝑦≻𝑦′|𝑥)=𝐸ℎ[𝐼{ℎ prefiere 𝑦 a 𝑦′ dado 𝑥}]

Para resolver este objetivo, IPO minimiza la función de pérdida cuadrática:

${\begin{aligned}{\text{Minimize }}&\mathbb {E} _{(x,y_{w},y_{l})\sim D}[(h_{\pi }(x,y_{w},y_{l})-I(y_{w},y_{l}))]^{2}\\&=\mathbb {E} _{x,y_{w},y_{l})\sim D}[Ih_{\pi }(x,y_{w},y_{l})-(1-I)h_{\pi }(x,y_{l},y_{w})-{\frac {1}{2}}\beta ^{-1}]^{2}\\&=\mathbb {E} _{x,y_{w},y_{l}\sim D}[h_{\pi }(x,y_{w},y_{l})-{\frac {1}{2}}\beta ^{-1}]^{2}\end{aligned}}$ ′del Bernoulli tal que para cada punto de datos (𝑦𝑤,𝑦𝑙)𝑖∼𝐷. En particular esta simetría se puede representar como

$(y,y',I(y,y'))=(y_{w,i},y_{l,i},1)$($(y,y',I(y,y'))=(y_{l,i},y_{w,i},0)$$\mathbb {E} _{y}[p_{y}]={\frac {1}{2}}$$\mathbb {E} [I(y,y')]=p_{y}$

En resumen, la OPI puede controlar la diferencia entre los coeficientes de verosimilitud logarítmica del modelo de política y la referencia regularizando siempre la solución hacia el modelo de referencia. Permite aprender directamente de las preferencias sin necesidad de modelizar las recompensas y sin basarse en la hipótesis de modelización de Bradley-Terry, que supone que las preferencias por pares pueden sustituirse por recompensas puntuales. Así, evita el sobreajuste al conjunto de datos de preferencias, especialmente cuando éstas son casi deterministas y falla el término KL.

Optimización de Kahneman-Tversky

La optimización de Kahneman-Tversky (KTO) es otro algoritmo de alineación directa basado en la teoría de las perspectivas para modelar la incertidumbre en las decisiones humanas que pueden no maximizar el valor esperado.

En general, KTO trata de optimizar una clase de nuevas funciones de pérdida propuestas como "pérdidas human-aware" (HALO) formuladas bajo la teoría de las perspectivas para modelar los "valores humanos" de una consulta, par de respuestas ( ${\textstyle (x,y)}$ como$v(r_{\theta }(x,y)-E_{Q}[r_{\theta }(x,y)'])$. Una función se define como una pérdida consciente del ser humano para el valor descrito por el objetivo general HALO: $$f(\pi _{\theta },\pi _{\text{ref}})=\mathbb {E} _{x,y\sim D}[a_{x,y}v{\Bigl (}r_{\theta }(x,y)\;-\;\underbrace {E_{y'\sim Q}[\,r_{\theta }(x,y')\,]} _{\text{reference point}}{\Bigr )}]+C_{D}$$donde 𝐷 son los datos de preferencia, 𝐶𝐷 es alguna constante relevante para el conjunto de datos, y 𝑄 es alguna distribución que representa la línea de base o "referencia". A cada ejemplo de entrenamiento se le asigna una etiqueta a$a_{x,y}\in \{+1,-1\}$ que nos indica si el ejemplo es deseable (queremos aumentar su recompensa) y -1 si es indeseable (para reducir su recompensa). A diferencia de las definiciones anteriores de la recompensa, KTO define a $\log \left({\frac {\pi _{\theta }(y|x)}{\pi _{\text{ref}}(y|x)}}\right)$ como la "recompensa implícita" tomada por el log-likelihood ratio entre el modelo de política y el modelo de referencia

$\log \left({\frac {\pi _{\theta }(y|x)}{\pi _{\text{ref}}(y|x)}}\right)$Aquí, la función de valor 𝑣 es una función no lineal (típicamente cóncava) que imita la aversión humana a la pérdida y al riesgo. A diferencia de los anteriores algoritmos de optimización de preferencias, la motivación de KTO reside en maximizar la utilidad de los resultados del modelo desde una perspectiva humana, en lugar de maximizar la probabilidad de una "mejor" etiqueta (respuestas elegidas frente a rechazadas). Por lo tanto, construye una generalización más relajada de las distribuciones de preferencias requiriendo sólo una señal de retroalimentación binaria 𝑎𝑥,𝑦 en lugar de pares de preferencias explícitas. Para cada ejemplo (𝑥,𝑦) en el conjunto de datos 𝐷, KTO optimiza explícitamente el objetivo HALO como:

$\pi _{\theta }^{*}\;=\;\arg \max _{\pi _{\theta }}\;\;\mathbb {E} _{(x,y)\,\sim \,D}{\Bigl [}\gamma _{y}\;-\;v(x,y){\Bigr ]}$donde 𝛾𝑦 es una constante específica de la clase (por ejemplo, 𝛾𝑦=𝜆𝐷 o 𝜆𝑈) que controla la fuerza con la que el modelo debe empujar hacia arriba los buenos resultados frente a empujar hacia abajo los malos. La función de valor 𝑣(𝑥,𝑦) se define a trozos dependiendo de si 𝑦 es deseable (𝜆𝐷) o indeseable (𝜆𝑈):

$$v(x,y)\;=\;{\begin{cases}\lambda _{D}\,\sigma \!{\bigl (}\,\beta \,{\bigl (}r_{\theta }(x,y)\;-\;z_{0}{\bigr )}{\bigr )},&\quad {\text{if }}y\sim y_{\mathrm {desirable} \mid x},\\[6pt]\lambda _{U}\,\sigma \!{\bigl (}\,\beta \,{\bigl (}z_{0}\;-\;r_{\theta }(x,y){\bigr )}{\bigr )},&\quad {\text{if }}y\sim y_{\mathrm {undesirable} \mid x}\end{cases}}$$Y ${\textstyle z_{0}=\mathrm {KL} \!{\Bigl (}\,\pi _{\theta }(y'\mid x)\;{\big \Vert }\;\pi _{\mathrm {ref} }(y'\mid x){\Bigr )}}$es una línea de base dada por la divergencia de Kullback-Leibler. Aquí, 𝛽controla el grado de "aversión al riesgo" de la función de valor (mayor 𝛽 = saturación más rápida en la función logística 𝜎). Intuitivamente, los resultados deseables empujan al modelo a aumentar 𝑟𝜃 de modo que 𝑟𝜃-𝑧0 se hace más positivo. Los indeseables lo empujan en la dirección opuesta, por lo que la recompensa es menor que la de referencia. Dado que muchas cadenas de retroalimentación del mundo real producen datos de "me gusta/no me gusta" más fácilmente que comparaciones por pares, KTO está diseñado para ser barato en datos y para reflejar la "aversión a la pérdida" más directamente mediante el uso de una noción directa de "bueno vs. malo" a nivel de ejemplo.

Bibliografía

• "Learning RLHF (PPO) with codes (Huggingface TRL) | Yiyang Feng". yiyangfeng.me. Recuperado el 2025-01-26.
• "The N Implementation Details of RLHF with PPO". huggingface.co. 2025-01-19. Recuperado el 2025-01-26.
• "Proximal Policy Optimization — Spinning Up documentation". spinningup.openai.com. Recuperado el 2025-01-26.
• Huang, Shengyi; Noukhovitch, Michael; Hosseini, Arian; Rasul, Kashif; Wang, Weixun; Tunstall, Lewis (2024-03-24), The N+ Implementation Details of RLHF with PPO: A Case Study on TL;DR Summarization, arXiv:2403.17031

• Datos: Q115570683