Mínimas desviaciones absolutas

Las Mínimas desviaciones absolutas (LAD), también conocido como mínimos errores absolutos (LAE), es un problema matemático de optimización técnica similar a la popular técnica de mínimos cuadrados que intenta encontrar una función que se aproxima mucho a un conjunto de datos. En el caso simple de un conjunto de (x, y) de datos, la función de aproximación es una simple "línea de tendencia" en dos dimensiones de coordenadas cartesianas. El método minimiza la suma de errores absolutos (SAE) (la suma de los valores absolutos de los "residuos" verticales entre puntos generados por la función y los puntos correspondientes en los datos). Las desviaciones menos absolutos estiman también surge como la máxima verosimilitud estimación si los errores tienen una distribución de Laplace.

Formulación del problema

Supongamos que el conjunto de datos consta de los puntos (x_i, y_i) con i = 1, 2, ..., n. Queremos encontrar una función f tal que $f(x_{i})\approx y_{i}.$

Para alcanzar este objetivo, se supone que la función f es de una forma particular que contiene algunos parámetros que deben determinarse. Por ejemplo, la forma más simple sería lineal: f(x) = bx + c, donde b y c son parámetros cuyos valores no se conocen, pero que nos gustaría estimar.

Menos palabras, supongamos que f (x) es cuadrática , lo que significa que f (x) = ax 2 + bx + c, donde a, b y c no se conocen aún. (Más en general, podría ser no sólo uno EXPOSICIÓN x, sino una pluralidad de explanators, todos los que aparecen como argumentos de la función f.)

Ahora buscamos valores estimados de los parámetros desconocidos que minimizan la suma de los valores absolutos de los residuos:

$S=\sum _{i=1}^{n}|y_{i}-f(x_{i})|.$

Contrastando Mínimos Cuadrados con menos desviaciones absolutas

La siguiente es una tabla de contraste algunas propiedades del método de desviaciones absolutas menos con los del método de los mínimos cuadrados (para problemas no singulares).

Least Squares Regression	Least Absolute Deviations Regression
Not very robust	Robust
Stable solution	Unstable solution
Always one solution	Possibly multiple solutions

El método de los desvíos menos absolutos encuentra aplicaciones en muchas áreas, debido a su solidez en comparación con el método de mínimos cuadrados. Por lo menos desviaciones absolutas es robusto en los que es resistente a los valores atípicos en los datos. Esto puede ser útil en los estudios donde los valores extremos pueden ser ignoradas de manera segura y efectiva. Si es importante prestar atención a todas y todos los valores atípicos, el método de los mínimos cuadrados es una mejor opción.

La propiedad inestabilidad del método de los desvíos menos absolutos significa que, por un pequeño ajuste horizontal de un dato , la línea de regresión puede saltar una gran cantidad. El método tiene soluciones continuas para algunas configuraciones de datos; Sin embargo, moviendo un punto de referencia una pequeña cantidad, se podría "saltar pasado" una configuración que tiene múltiples soluciones que abarcan una región. Después de pasar por esta región de soluciones, la línea de desviaciones menos absoluta tiene una pendiente que puede diferir mucho de la de la línea anterior. En contraste, las soluciones de mínimos cuadrados es estable en que, para cualquier pequeño ajuste de un punto de datos, la línea de regresión siempre se moverá sólo ligeramente; es decir, los parámetros de regresión son funciones continuas de los datos.

Por último, para un determinado conjunto de datos, el método de las desviaciones absolutas menos puede producir múltiples soluciones, mientras que el método de los mínimos cuadrados siempre produce sólo una solución (la línea de regresión es único).

Otras propiedades

Existen otras propiedades únicas de la línea de desviaciones menos absoluta. En el caso de un conjunto de (x, y) de datos, la línea de desviaciones menos absoluta siempre pasará a través de al menos dos de los puntos de datos, a menos que existan múltiples soluciones. Si existen varias soluciones, entonces la región de soluciones válidas desviaciones menos absolutos será delimitado por al menos dos líneas, cada una de las cuales pasa a través de al menos dos puntos de datos. Más en general, si hay k regresores (incluyendo la constante), a continuación, al menos una superficie de regresión óptimo se pasan a través de K de los puntos de datos. ​

Este "bloqueo" de la línea a los puntos de datos puede ayudar a entender la propiedad "inestabilidad": si la línea siempre se engancha a por lo menos dos puntos, la línea va a saltar entre los diferentes conjuntos de puntos como se alteran los puntos de datos. El "enganche" también ayuda a entender la propiedad "robustez": si existe un valor atípico y un mínimo absoluto línea desviaciones deben aferrarse a dos puntos de datos, el valor atípico muy probablemente no será uno de esos dos puntos, porque eso no va a minimizar la suma de las desviaciones absolutas en la mayoría de los casos.

Un caso conocido en el que existen múltiples soluciones es un conjunto de puntos simétrica respecto a una línea horizontal, como se muestra en la Figura A a continuación.

Para entender por qué hay varias soluciones en el caso que se muestra en la Figura A, considere la línea rosa en la región verde. Su suma de errores absolutos es algún valor S. Si uno fuera a inclinar la línea ligeramente hacia arriba, mientras se mantiene dentro de la región verde, la suma de errores seguiría siendo S. No cambiaría porque la distancia de cada punto a la línea crece en un lado de la línea, mientras que la distancia de cada punto en el lado opuesto de la línea disminuye por exactamente la misma cantidad. Así, la suma de errores absolutos sigue siendo el mismo. Además, dado que se puede inclinar la línea en incrementos infinitamente pequeños, esto también muestra que si hay más de una solución, hay un número infinito de soluciones.

Las variaciones, extensiones, especializaciones

El problema menor desviación absoluta puede ser extendido para incluir múltiples explanators, limitaciones y regularización , por ejemplo, un modelo lineal con restricciones lineales: ​

minimizar $S(\mathbf {\beta } ,b)=\sum _{i}|\mathbf {x} '_{i}\mathbf {\beta } +b-y_{i}|$

sujeto a, e.g., $\mathbf {x} '_{1}\mathbf {\beta } +b-y_{1}\leq k$

donde $\mathbf {\beta }$ es un vector columna de coeficientes a ser estimados, b es un intercepto a ser estimado, x_i es un vector columna de la i-ésima observaciones sobre los diversos explanators, y i es la i-ésima observación en la variable dependiente, y k es una constante conocida.

Regularización con LASSO también se puede combinar con LAD.​

Métodos de resolución

Aunque la idea de una regresión de mínimos desviaciones absoluta es tan sencillo como el de regresión de mínimos cuadrados, la línea de desviaciones menos absoluta no es tan fácil de calcular de manera eficiente. A diferencia de regresión de mínimos cuadrados, regresión desviaciones menos absoluta no tiene un método de solución analítica. Por lo tanto, se requiere un enfoque iterativo. La siguiente es una enumeración de algunas desviaciones menos absolutos métodos de solución.

Métodos basados ​​en Simplex (tales como el algoritmo de Barrodale-Roberts ​) Debido a que el problema es un programa lineal, cualquiera de las muchas técnicas de programación lineal (incluyendo el método simplex, así como otros) se pueden aplicar. Mínimos cuadrados iterativamente re-ponderada ​ Método de descenso directo de Wesolowsky ​ Enfoque de máxima verosimilitud de Li-Arce ​ Revise todas las combinaciones de líneas de punto a punto para la suma mínima de errores

Métodos basados ​​en Simplex son la forma "preferido" para resolver el problema de desviaciones menos absoluta. [8] Un método simplex es un método para resolver un problema de programación lineal. El algoritmo más popular es el Barrodale-Roberts modificado Simplex algoritmo. Los algoritmos para IRLS, Método de Wesolowsky, y método de Li se pueden encontrar en el Apéndice A de,​, entre otros métodos. Comprobación de todas las combinaciones de líneas que atraviesan cualquiera de los dos (x, y) puntos de datos es otro método para encontrar la línea de desviaciones menos absoluta. Puesto que se sabe que al menos una línea desviaciones menos absoluta atraviesa al menos dos puntos de datos, este método encontrará una línea mediante la comparación de la SAE de cada línea, y la elección de la línea con el más pequeño SAE. Además, si múltiples líneas tienen la misma, más pequeño SAE, a continuación, las líneas de delinear la región de múltiples soluciones. Aunque simple, este último método es ineficiente para grandes conjuntos de datos.