Mínimos cuadrados no lineales

De Wikipedia, la enciclopedia libre
Saltar a: navegación, búsqueda

Los Mínimos cuadrados no lineales es la forma de análisis de mínimos cuadrados que se usa para encajar un conjunto de m observaciones con un modelo que es no lineal en n parámetros desconocidos (m > n). Se utiliza en algunas formas de regresión no lineal. La base del método es para aproximar el modelo por uno lineal y para refinar los parámetros por iteraciones sucesivas. Hay muchas similitudes con mínimos cuadrados lineales , pero también algunas diferencias importantes.

Teoría[editar]

Considere un conjunto de m observaciones, (x_1, y_1), (x_2, y_2),\dots,(x_m, y_m), y una curva (función del modelo) y=f(x, \boldsymbol \beta), que además de la variable x también depende de n parámetros, \boldsymbol \beta = (\beta_1, \beta_2, \dots, \beta_n), con m\ge n. Se desea encontrar el vector \boldsymbol \beta de parámetros tales que la curva se ajuste mejor a los datos dados en el sentido de mínimos cuadrados, es decir, la suma de cuadrados

S=\sum_{i=1}^{m}r_i^2

esta es minimizada cuando los errores ri están dados por

r_i= y_i - f(x_i, \boldsymbol \beta)

para i=1, 2,\dots, m.

El mínimo valor de S se produce cuando el gradiente es cero. Dado que el modelo contiene 'n parámetros hay n ecuaciones de gradiente:

\frac{\partial S}{\partial \beta_j}=2\sum_i r_i\frac{\partial r_i}{\partial \beta_j}=0 \quad (j=1,\ldots,n).

En un sistema no lineal, los derivados \frac{\partial r_i}{\partial \beta_j} son funciones tanto de la variable independiente y los parámetros, por lo que estas ecuaciones gradiente no tienen una solución cerrada. En lugar de ello, los valores iniciales deben ser elegidos para los parámetros. Entonces, los parámetros se refinan iterativamente, es decir, los valores se obtienen por aproximación sucesiva,

\beta_j \approx \beta_j^{k+1} =\beta^k_j+\Delta \beta_j. \,

Aquí, k es un número de iteración y el vector de incrementos, \Delta \boldsymbol \beta\, que se conoce como el vector de desplazamiento. En cada iteración del modelo se linealiza por aproximación a un primer orden en serie de Taylor de expansión sobre  \boldsymbol \beta^k\!

f(x_i,\boldsymbol \beta)\approx f(x_i,\boldsymbol \beta^k) +\sum_j \frac{\partial f(x_i,\boldsymbol \beta^k)}{\partial \beta_j} \left(\beta_j -\beta^{k}_j \right) \approx f(x_i,\boldsymbol \beta^k) +\sum_j J_{ij} \,\Delta\beta_j.

El jacobiano , J, es una función de las constantes, la variable independiente y los parámetros, por lo que cambia de una iteración a la siguiente. Por lo tanto, en términos del modelo linealizado, \ Frac {\ r_i parcial} {\ partial \ beta_j} =-J_ {ij} y los residuos se dan por

r_i=\Delta y_i- \sum_{s=1}^{n} J_{is}\ \Delta\beta_s; \ \Delta y_i=y_i- f(x_i,\boldsymbol \beta^k).

Sustituyendo estas expresiones en las ecuaciones de gradiente, se convierten

-2\sum_{i=1}^{m}J_{ij} \left( \Delta y_i-\sum_{s=1}^{n} J_{is}\ \Delta \beta_s \right)=0

que, en el reordenamiento, convertido en n ecuaciones lineales simultáneas, las ecuaciones normales

\sum_{i=1}^{m}\sum_{s=1}^{n} J_{ij}J_{is}\ \Delta \beta_s=\sum_{i=1}^{m} J_{ij}\ \Delta y_i \qquad (j=1,\dots,n).\,

Las ecuaciones normales se escriben en notación matricial como

\mathbf{\left(J^TJ\right)\Delta \boldsymbol \beta=J^T\ \Delta y}.

Cuando las observaciones no son igualmente fiable, una suma ponderada de los cuadrados puede ser minimizado,

S=\sum_{i=1}^m W_{ii}r_i^2.

Referencias[editar]

  • C. T. Kelley, Iterative Methods for Optimization, SIAM Frontiers in Applied Mathematics, no 18, 1999, ISBN 0-89871-433-8. Online copy
  • T. Strutz: Data Fitting and Uncertainty (A practical introduction to weighted least squares and beyond). Vieweg+Teubner, ISBN 978-3-8348-1022-9.