Dilema sesgo-varianza

En estadística y aprendizaje automático, el dilema entre sesgo y varianza describe la relación entre la complejidad de un modelo, la exactitud de sus predicciones y su capacidad para realizar predicciones sobre datos no observados previamente que no se utilizaron para entrenar el modelo. En general, a medida que aumentamos el número de parámetros ajustables en un modelo, éste se vuelve más flexible y puede ajustarse mejor a un conjunto de datos de entrenamiento. Se dice que tiene menos error o sesgo. Sin embargo, para los modelos más flexibles, tenderá a haber una mayor varianza en el ajuste del modelo cada vez que tomemos un conjunto de muestras para crear un nuevo conjunto de datos de entrenamiento. Se dice que hay una mayor varianza en los parámetros estimados del modelo.

El dilema sesgo-varianza o problema sesgo-varianza es el conflicto al intentar minimizar simultáneamente estas dos fuentes de error que impiden a los algoritmos de aprendizaje supervisado generalizar más allá de su conjunto de entrenamiento:​​

• El error de sesgo es un error derivado de suposiciones erróneas en el algoritmo de aprendizaje. Un sesgo elevado puede hacer que un algoritmo no detecte las relaciones relevantes entre las características y las salidas objetivo (infraajuste).
• La varianza es un error de sensibilidad a pequeñas fluctuaciones en el conjunto de entrenamiento. Una varianza elevada puede deberse a que un algoritmo modele el ruido aleatorio de los datos de entrenamiento (sobreajuste).

La descomposición sesgo-varianza es una forma de analizar el error de generalización esperado de un algoritmo de aprendizaje con respecto a un problema concreto como una suma de tres términos, el sesgo, la varianza y una cantidad denominada error irreducible, resultante del ruido en el propio problema.

Motivación

Véase también: Precisión y exactitud

Alto sesgo, baja varianza Alto sesgo, baja varianza  Alto sesgo, alta varianza Alto sesgo, alta varianza   Bajo sesgo, baja varianza Bajo sesgo, baja varianza  Bajo sesgo, alta varianza Bajo sesgo, alta varianza

El dilema sesgo y varianza es un problema central en el aprendizaje supervisado. Lo ideal es elegir un modelo que capte con precisión las regularidades de los datos de entrenamiento y, al mismo tiempo, generalice bien los datos no observados. Por desgracia, suele ser imposible hacer ambas cosas a la vez. Los métodos de aprendizaje de alta varianza pueden representar bien su conjunto de entrenamiento, pero corren el riesgo de sobreajustarse a datos de entrenamiento ruidosos o poco representativos. Por el contrario, los algoritmos con un sesgo elevado suelen producir modelos más simples que pueden no captar regularidades importantes (es decir, no ajustarse lo suficiente) en los datos.

Función y datos ruidosos Función y datos ruidosos  [[Archivo:|center|border|180x180px|alt=|Dispersión=5 ]] Dispersión=5   [[Archivo:|center|border|180x180px|alt=|Dispersión=1 ]] Dispersión=1   Dispersión=0,1 Dispersión=0,1

Una función (rojo) se aproxima utilizando funciones de base radial (azul). En cada gráfico se muestran varios ensayos. Para cada ensayo, se proporcionan unos pocos puntos de datos ruidosos como conjunto de entrenamiento (arriba). Para una dispersión amplia (imagen 2), el sesgo es alto: las funciones de base radial no pueden aproximarse completamente a la función (especialmente al buzamiento central), pero la varianza entre los distintos ensayos es baja. A medida que disminuye la dispersión (imágenes 3 y 4), disminuye el sesgo: las curvas azules se aproximan más a las rojas. Sin embargo, dependiendo del ruido en los diferentes ensayos, la varianza entre ensayos aumenta. En la imagen inferior, los valores aproximados para x=0 varían mucho en función de la ubicación de los puntos de datos.

Es una falacia frecuente​​ suponer que los modelos complejos deben tener una varianza elevada. Los modelos de alta varianza son "complejos" en cierto sentido, pero lo contrario no tiene por qué ser cierto.​ Además, hay que tener cuidado con la forma de definir la complejidad. En concreto, el número de parámetros utilizados para describir el modelo no es una buena medida de la complejidad. Esto se ilustra con un ejemplo adaptado de:​ el modelo $f_{a,b}(x)=a\sin(bx)$ tiene solo dos parámetros ($a,b$) pero puede interpolar cualquier número de puntos oscilando con una frecuencia suficientemente alta, lo que da como resultado un sesgo y una varianza elevados.

Se puede establecer una analogía con la relación entre exactitud y precisión.​ La exactitud es una descripción del sesgo y puede mejorarse intuitivamente seleccionando sólo a partir de información local. Por consiguiente, una muestra parecerá precisa (es decir, tendrá un sesgo bajo) en las condiciones de selección mencionadas, pero puede dar lugar a un ajuste insuficiente. En otras palabras, los datos de prueba pueden no coincidir tanto con los datos de entrenamiento, lo que indicaría imprecisión y, por tanto, una varianza inflada. Un ejemplo gráfico sería un ajuste de línea recta a datos que muestran un comportamiento cuadrático en general. La precisión es una descripción de la varianza y, por lo general, sólo puede mejorarse seleccionando información de un espacio comparativamente mayor. La posibilidad de seleccionar muchos puntos de datos en un amplio espacio muestral es la condición ideal para cualquier análisis. Sin embargo, las restricciones intrínsecas (ya sean físicas, teóricas, computacionales, etc.) siempre desempeñarán un papel limitador. El caso límite en el que sólo se selecciona un número finito de puntos de datos en un amplio espacio muestral puede mejorar la precisión y reducir la varianza en general, pero también puede dar lugar a una dependencia excesiva de los datos de entrenamiento (sobreajuste)​. Esto significa que los datos de prueba tampoco coincidirían tanto con los datos de entrenamiento, pero en este caso la razón es la inexactitud o el alto sesgo. Tomando prestado del ejemplo anterior, la representación gráfica aparecería como un ajuste polinómico de alto orden a los mismos datos que muestran un comportamiento cuadrático. Obsérvese que el error en cada caso se mide de la misma manera, pero la razón atribuida al error es diferente dependiendo del equilibrio entre sesgo y varianza. Para mitigar la cantidad de información que se utiliza de las observaciones vecinas, se puede suavizar un modelo mediante una regularización explícita, como la contracción.

Descomposición sesgo-varianza del error cuadrático medio

Supongamos que tenemos un conjunto de entrenamiento formado por un conjunto de puntos $x_{1},\dots ,x_{n}$ y valores reales $y_{i}$ asociado a cada punto $x_{i}$. Suponemos que los datos son generados por una función $f(x)$ tales como $y=f(x)+\varepsilon$, donde el ruido, $\varepsilon$ tiene media y varianza cero $\sigma ^{2}$.

Sesgo y varianza en función de la complejidad del modelo

Queremos encontrar una función ${\hat {f}}(x;D)$ que se aproxime a la función verdadera $f(x)$ lo mejor posible, mediante algún algoritmo de aprendizaje basado en un conjunto de datos de entrenamiento (muestra) $D=\{(x_{1},y_{1})\dots ,(x_{n},y_{n})\}$. Precisamos "lo mejor posible" midiendo el error cuadrático medio entre $y$ y ${\hat {f}}(x;D)$: queremos que $(y-{\hat {f}}(x;D))^{2}$ sea mínimo, ambos para $x_{1},\dots ,x_{n}$ y para puntos fuera de nuestra muestra. Por supuesto, no podemos esperar hacerlo a la perfección, ya que $y_{i}$ contiene ruido $\varepsilon$ esto significa que debemos estar preparados para aceptar un error irreductible en cualquier función que se nos ocurra.​

Encontrar una ${\hat {f}}$ que generalice a puntos fuera del conjunto de entrenamiento puede hacerse con cualquiera de los innumerables algoritmos utilizados para el aprendizaje supervisado. Resulta que cualquier función ${\hat {f}}$ que seleccionemos, podemos descomponer su error esperado en una muestra no vista $x$ (es decir, condicional a x) de la siguiente manera:​​

$\operatorname {E} _{D,\varepsilon }{\Big [}{\big (}y-{\hat {f}}(x;D){\big )}^{2}{\Big ]}={\Big (}\operatorname {Bias} _{D}{\big [}{\hat {f}}(x;D){\big ]}{\Big )}^{2}+\operatorname {Var} _{D}{\big [}{\hat {f}}(x;D){\big ]}+\sigma ^{2}$

Donde $\operatorname {Bias} _{D}{\big [}{\hat {f}}(x;D){\big ]}=\operatorname {E} _{D}{\big [}{\hat {f}}(x;D)-f(x){\big ]}=\operatorname {E} _{D}{\big [}{\hat {f}}(x;D){\big ]}-\operatorname {E} _{y|x}{\big [}y(x){\big ]},$

$\operatorname {Var} _{D}{\big [}{\hat {f}}(x;D){\big ]}=\operatorname {E} _{D}[{\big (}\operatorname {E} _{D}[{\hat {f}}(x;D)]-{\hat {f}}(x;D){\big )}^{2}].$

y

$\sigma ^{2}=\operatorname {E} _{y}[(y-\underbrace {f(x)} _{E_{y|x}[y]})^{2}]$

La expectativa varía en función de las distintas opciones del conjunto de entrenamiento $D=\{(x_{1},y_{1})\dots ,(x_{n},y_{n})\}$, todos muestreados a partir de la misma distribución conjunta $P(x,y)$ lo que puede hacerse, por ejemplo, mediante bootstrapping. Los tres términos representan:

• el cuadrado del sesgo del método de aprendizaje, que puede considerarse como el error causado por los supuestos simplificadores incorporados al método. Por ejemplo, al aproximar una función no lineal $f(x)$ utilizando un método de aprendizaje para modelos lineales, habrá error en las estimaciones ${\hat {f}}(x)$ debido a este supuesto;
• la varianza del método de aprendizaje o, intuitivamente, en qué medida el método de aprendizaje ${\hat {f}}(x)$ se moverá alrededor de su media;
• el error irreducible $\sigma ^{2}$

Como los tres términos son no negativos, el error irreducible constituye un límite inferior del error esperado en muestras no vistas.​

Cuanto más complejo sea el modelo ${\hat {f}}(x)$ es más puntos de datos captará y menor será el sesgo. Sin embargo, la complejidad hará que el modelo se "mueva" más para captar los puntos de datos y, por tanto, su varianza será mayor.

Derivación

La derivación de la descomposición sesgo-varianza para el error cuadrático procede como sigue.​​ Para mayor comodidad, abreviaremos $f=f(x)$, ${\hat {f}}={\hat {f}}(x;D)$ y soltamos $D$ en nuestros operadores de expectativas.

Procedamos a escribir el error cuadrático medio de nuestro modelo:

${\text{MSE}}\triangleq \operatorname {E} {\big [}(y-{\hat {f}})^{2}{\big ]}=\operatorname {E} {\big [}y^{2}-2y{\hat {f}}+{\hat {f}}^{2}{\big ]}=\operatorname {E} {\big [}y^{2}{\big ]}-2\operatorname {E} {\big [}y{\hat {f}}{\big ]}+\operatorname {E} {\big [}{\hat {f}}^{2}{\big ]}$

En primer lugar, dado que modelamos $y=f+\varepsilon$, demostramos que:

${\begin{aligned}\operatorname {E} {\big [}y^{2}{\big ]}&=\operatorname {E} {\big [}(f+\varepsilon )^{2}{\big ]}\\&=\operatorname {E} [f^{2}]+2\operatorname {E} [f\varepsilon ]+\operatorname {E} [\varepsilon ^{2}]&&{\text{by linearity of }}\operatorname {E} \\&=f^{2}+2f\operatorname {E} [\varepsilon ]+\operatorname {E} [\varepsilon ^{2}]&&{\text{since }}f{\text{ does not depend on the data}}\\&=f^{2}+2f\cdot 0+\sigma ^{2}&&{\text{since }}\varepsilon {\text{ has zero mean and variance }}\sigma ^{2}\end{aligned}}$

En segundo lugar,

${\begin{aligned}\operatorname {E} {\big [}y{\hat {f}}{\big ]}&=\operatorname {E} {\big [}(f+\varepsilon ){\hat {f}}{\big ]}\\&=\operatorname {E} [f{\hat {f}}]+\operatorname {E} [\varepsilon {\hat {f}}]&&{\text{by linearity of }}\operatorname {E} \\&=\operatorname {E} [f{\hat {f}}]+\operatorname {E} [\varepsilon ]\operatorname {E} [{\hat {f}}]&&{\text{since }}{\hat {f}}{\text{ and }}\varepsilon {\text{ are independent}}\\&=f\operatorname {E} [{\hat {f}}]&&{\text{since }}\operatorname {E} [\varepsilon ]=0\end{aligned}}$

Finalmente,

${\begin{aligned}\operatorname {E} {\big [}{\hat {f}}^{2}{\big ]}&=\operatorname {Var} ({\hat {f}})+\operatorname {E} [{\hat {f}}]^{2}&&{\text{since }}\operatorname {Var} [X]\triangleq \operatorname {E} {\Big [}(X-\operatorname {E} [X])^{2}{\Big ]}=\operatorname {E} [X^{2}]-\operatorname {E} [X]^{2}{\text{ for any random variable }}X\end{aligned}}$

Finalmente, insertamos estas 3 fórmulas en nuestra derivación anterior de ${\text{MSE}}$ y así demostrar que:

${\begin{aligned}{\text{MSE}}&=f^{2}+\sigma ^{2}-2f\operatorname {E} [{\hat {f}}]+\operatorname {Var} [{\hat {f}}]+\operatorname {E} [{\hat {f}}]^{2}\\&=(f-\operatorname {E} [{\hat {f}}])^{2}+\sigma ^{2}+\operatorname {Var} {\big [}{\hat {f}}{\big ]}\\[5pt]&=\operatorname {Bias} [{\hat {f}}]^{2}+\sigma ^{2}+\operatorname {Var} {\big [}{\hat {f}}{\big ]}\end{aligned}}$

Por último, la función de pérdida MSE (o log-verosimilitud negativa) se obtiene tomando el valor de la expectativa sobre $x\sim P$:

${\text{MSE}}=\operatorname {E} _{x}{\bigg \{}\operatorname {Bias} _{D}[{\hat {f}}(x;D)]^{2}+\operatorname {Var} _{D}{\big [}{\hat {f}}(x;D){\big ]}{\bigg \}}+\sigma ^{2}.$

Enfoques

La reducción de la dimensionalidad y la selección de características pueden reducir la varianza al simplificar los modelos. Del mismo modo, un conjunto de entrenamiento mayor tiende a reducir la varianza. La adición de características (predictores) tiende a reducir el sesgo, a expensas de introducir una varianza adicional. Los algoritmos de aprendizaje suelen tener algunos parámetros ajustables que controlan el sesgo y la varianza; por ejemplo:

• Los modelos lineales y lineales generalizados pueden regularizarse para disminuir su varianza a costa de aumentar su sesgo.​
• En las redes neuronales artificiales, la varianza aumenta y el sesgo disminuye a medida que aumenta el número de unidades ocultas,​ aunque esta suposición clásica ha sido objeto de debate recientemente.​ Al igual que en los MLG, se suele aplicar regularización.
• En los modelos de k vecinos más próximos, un valor alto de k conduce a un sesgo alto y una varianza baja (véase más abajo).
• En el aprendizaje basado en instancias, la regularización puede lograrse variando la mezcla de prototipos y ejemplares.​
• En los árboles de decisión, la profundidad del árbol determina la varianza. Los árboles de decisión suelen podarse para controlar la varianza.​

Una forma de resolver esta disyuntiva es utilizar modelos mixtos y el aprendizaje por conjuntos.​​ Por ejemplo, el boosting combina muchos modelos "débiles" (con un sesgo alto) en un conjunto que tiene un sesgo menor que los modelos individuales, mientras que el bagging combina aprendices "fuertes" de forma que se reduce su varianza.

Los métodos de validación de modelos, como la validación cruzada (estadística), pueden utilizarse para afinar los modelos con el fin de optimizar el equilibrio.

k-vecinos más próximos

En el caso de la regresión k-vecinos más próximos, cuando la expectativa se toma sobre el posible etiquetado de un conjunto de entrenamiento fijo, existe una expresión de forma cerrada que relaciona la descomposición sesgo-varianza con el parámetro k:​

$\operatorname {E} \left[(y-{\hat {f}}(x))^{2}\mid X=x\right]=\left(f(x)-{\frac {1}{k}}\sum _{i=1}^{k}f(N_{i}(x))\right)^{2}+{\frac {\sigma ^{2}}{k}}+\sigma ^{2}$

Donde $N_{1}(x),\dots ,N_{k}(x)$ son los k vecinos más próximos de x en el conjunto de entrenamiento. El sesgo (primer término) es una función monótona creciente de k, mientras que la varianza (segundo término) disminuye a medida que aumenta k. De hecho, en "supuestos razonables", el sesgo del estimador del primer vecino más próximo (1-NN) desaparece por completo a medida que el tamaño del conjunto de entrenamiento se aproxima a infinito.

Aplicaciones

En regresión

La descomposición sesgo-varianza constituye la base conceptual de los métodos de regularización de la regresión, como Lasso y la regresión Ridge. Los métodos de regularización introducen un sesgo en la solución de regresión que puede reducir considerablemente la varianza con respecto a la solución de mínimos cuadrados ordinarios (MCO). Aunque la solución OLS proporciona estimaciones de regresión no sesgadas, las soluciones de menor varianza producidas por las técnicas de regularización proporcionan un rendimiento MSE superior.

En clasificación

La descomposición sesgo-varianza se formuló originalmente para la regresión por mínimos cuadrados. Para el caso de la clasificación bajo la pérdida 0-1 (tasa de clasificación errónea), es posible encontrar una descomposición similar.​​ Alternativamente, si el problema de clasificación se puede formular como clasificación probabilística, entonces el error cuadrático esperado de las probabilidades predichas con respecto a las probabilidades verdaderas se puede descomponer como antes.​

Se ha argumentado que a medida que aumentan los datos de entrenamiento, la varianza de los modelos aprendidos tenderá a disminuir y, por lo tanto, que a medida que aumenta la cantidad de datos de entrenamiento, el error se minimiza mediante métodos que aprenden modelos con menor sesgo y que, por el contrario, para cantidades de datos de entrenamiento más pequeñas es cada vez más importante minimizar la varianza.​

En el aprendizaje por refuerzo

Aunque la descomposición sesgo-varianza no se aplica directamente al aprendizaje por refuerzo, un equilibrio similar puede caracterizar también la generalización. Cuando un agente tiene información limitada sobre su entorno, la suboptimalidad de un algoritmo de RL puede descomponerse en la suma de dos términos: un término relacionado con un sesgo asintótico y un término debido al sobreajuste. El sesgo asintótico está directamente relacionado con el algoritmo de aprendizaje (independientemente de la cantidad de datos), mientras que el término de sobreajuste procede del hecho de que la cantidad de datos es limitada.​

En el aprendizaje humano

Aunque se ha debatido ampliamente en el contexto del aprendizaje automático, el dilema sesgo-varianza se ha examinado en el contexto de la cognición humana, sobre todo por Gerd Gigerenzer y sus colaboradores en el contexto de la heurística aprendida. Estos autores afirman (véanse las referencias más adelante) que el cerebro humano resuelve el dilema en el caso de los conjuntos de entrenamiento escasos y poco caracterizados que proporciona la experiencia adoptando heurísticas de alto sesgo/baja varianza. Esto refleja el hecho de que un enfoque de sesgo cero tiene poca capacidad de generalización a nuevas situaciones, y también presupone irrazonablemente un conocimiento preciso del verdadero estado del mundo. La heurística resultante es relativamente sencilla, pero produce mejores inferencias en una mayor variedad de situaciones.​

El dilema sesgo-varianza implica que capacidades como el reconocimiento genérico de objetos no pueden aprenderse desde cero, sino que requieren un cierto grado de "cableado duro" que posteriormente se afina con la experiencia.​ Esto se debe a que los enfoques de inferencia sin modelos requieren conjuntos de entrenamiento poco prácticos para evitar una alta varianza.

Véase también

• Precisión y exactitud
• Sesgo estadístico
• Teorema de Gauss-Markov
• Optimización de hiperparámetros
• Estimador insesgado de varianza mínima
• Validación de la regresión
• Aprendizaje supervisado
• Desigualdad de Cramér-Rao
• Intervalo de predicción

Bibliografía

• Harry L. Van Trees; Kristine L. Bell, "Exploring Estimator BiasVariance Tradeoffs Using the Uniform CR Bound," in Bayesian Bounds for Parameter Estimation and Nonlinear Filtering/Tracking, IEEE, 2007, pp. 451–466, doi: 10.1109/9780470544198.ch40.

Enlaces externos

• MLU-Explain: The Bias Variance Tradeoff — An interactive visualization of the bias-variance tradeoff in LOESS Regression and K-Nearest Neighbors.

• Datos: Q17003119