Regresión logística

De Wikipedia, la enciclopedia libre
Saltar a: navegación, búsqueda

En estadística, la regresión logística es un tipo de análisis de regresión utilizado para predecir el resultado de una variable categórica (una variable que puede adoptar un número limitado de categorías) en función de las variables independientes o predictoras. Es útil para modelar la probabilidad de un evento ocurriendo como función de otros factores. El análisis de regresión logística se enmarca en el conjunto de Modelos Lineales Generalizados (GLM por sus siglas en inglés) que usa como función de enlace la función logit. Las probabilidades que describen el posible resultado de un único ensayo se modelan, como una función de variables explicativas, utilizando una función logística.

La regresión logística es usada extensamente en las ciencias médicas y sociales. Otros nombres para regresión logística usados en varias áreas de aplicación incluyen modelo logístico, modelo logit, y clasificador de máxima entropía.

Introducción[editar]

La regresión logística analiza datos distribuidos binomialmente de la forma

Y_i \ \sim  B(p_i,n_i),\text{ para }i = 1, \dots , m,

donde los números de ensayos Bernoulli ni son conocidos y las probabilidades de éxito pi son desconocidas. Un ejemplo de esta distribución es el porcentaje de semillas (pi) que germinan después de que ni son plantadas.

El modelo es entonces obtenido a base de lo que cada ensayo (valor de i) y el conjunto de variables explicativas/independientes puedan informar acerca de la probabilidad final. Estas variables explicativas pueden pensarse como un vector Xi k-dimensional y el modelo toma entonces la forma

p_i = \operatorname{E}\left(\left.\frac{Y_i}{n_{i}}\right|X_i \right). \,\!

Los logits de las probabilidades binomiales desconocidas (i.e., los logaritmos de la razón de momios) son modeladas como una función lineal de los Xi.

\operatorname{logit}(p_i)=\ln\left(\frac{p_i}{1-p_i}\right) = \beta_0 + \beta_1 x_{1,i} + \cdots + \beta_k x_{k,i}.

Note que un elemento particular de Xi puede ser ajustado a 1 para todo i obteniéndose una constante independiente en el modelo. Los parámetros desconocidos βj son usualmente estimados a través de máxima verosimilitud.

La interpretación de los estimados del parámetro βj es como los efectos aditivos en el logaritmo de la razón de momios para una unidad de cambio en la jésima variable explicativa. En el caso de una variable explicativa dicotómica, por ejemplo género, e^\beta es la estimación del odds ratio de tener el resultado para, por decir algo, hombres comparados con mujeres.

El modelo tiene una formulación equivalente dada por

p_i = \frac{1}{1+e^{-(\beta_0 + \beta_1 x_{1,i} + \cdots + \beta_k x_{k,i})}}

Esta forma funcional es comúnmente identificada como un "perceptrón" de una capa simple or red neuronal artificial de una sola capa. Una red neuronal de una sola capa calcula una salida continua en lugar de una función definida a trozos. La derivada de pi con respecto a X = x1...xk es calculada de la forma general:

y = \frac{1}{1+e^{-f(X)}}

donde f(X) es una función analítica en X. Con esta escogencia, la red de capa simple es idéntica al modelo de regresión logística. Esta función tiene una derivada continua, la cual permite ser usada en propagación hacia atrás. Esta función también es preferida pues su derivada es fácilmente calculable:

y' = y(1-y)\frac{\mathrm{d}f}{\mathrm{d}X}\,\!

Implementación práctica[editar]

Función logística con \beta_0 + \beta_1 x + e en el eje horizontal y \pi(x) en el eje vertical.

La regresión logística unidimensional puede usarse para tratar de correlacionar la probabilidad de una variable cualitativa binaria (asumiremos que puede tomar los valores reales "0" y "1") con una variable escalar x. La idea es que la regresión logística aproxime la probabilidad de obtener "0" (no ocurre cierto suceso) o "1" (ocurre el suceso) con el valor de la variable explicativa x. En esas condiciones, la probabilidad aproximada del suceso se aproximará mediante una función logística del tipo:[1]

\pi(x) = \frac{e^{(\beta_0 + \beta_1 x)}} {e^{(\beta_0 + \beta_1 x)} + 1} = \frac {1} {e^{-(\beta_0 + \beta_1 x)} + 1},

que puede reducirse al cálculo de una regresión lineal para la función logit de la probabilidad:

g(x) = \ln \frac {\pi(x)} {1 - \pi(x)} = \beta_0 + \beta_1 x ,

o una regresión exponencial:

\frac{\pi(x)} {1 - \pi(x)} = e^{(\beta_0 + \beta_1 x)}.

El grafo de la función logística se muestra en la figura que encabeza esta sección, la variable independiente es la combinación lineal \beta_0 + \beta_1 x y la variable dependiente es la probabilidad estimada \pi(x). Si se realiza la regresión lineal, la forma de la probabilidad estimada puede ser fácilmente recuperada a partir de los coeficientes calculados:[1]

Para hacer la regresión deben tomarse los valores X_i de las observaciones ordenados de mayor a menor y formar la siguiente tabla:

Valores
ordenados
Valor de
categoría
Probabilidad
estimada
Logit
X1 ε1 π(X1) g(X1)
X2 ε2 π(X2) g(X2)
... ... ... ...
Xn εn π(Xn) g(Xn)

Donde εi es "0" o "1" según el caso y además:

0 \le \pi(X_i) = \cfrac{\sum_{k=1}^i \varepsilon_k}{i} \le 1, \qquad
g(X_i) = \ln \left( \frac{\pi(X_i)}{1-\pi(X_i)} \right) = \beta_0 + \beta_1 X_i

El el cálculo de g pueden aparecer problemas al principio del intervalo si π(Xj) = 0 para algunos valores de j.

Ejemplo[editar]

Sea p(x) la probabilidad de éxito cuando el valor de la variable predictora es x. Entonces sea

p(x) = \frac{1}{1+e^{-(B_0+B_1x)}} = \frac{e^{B_0 + B_1x}}{1+e^{B_0+B_1x}}.

Después de algún álgebra se prueba que

\frac{p(x)}{1-p(x)} = e^{B_0+B_1x},

donde \frac{p(x)}{1-p(x)} son los odds en favor de éxito.

Si tomamos un valor de ejemplo, digamos p(50) = 2/3, entonces

\frac{p(50)}{1-p(50)} = \frac{\frac{2}{3}}{1-\frac{2}{3}} = 2.

Cuando x = 50, un éxito es dos veces tan probable como una falla. Es decir, se puede decir simplemente que los odds son 2 a 1.

Extensiones[editar]

Algunas extensiones del modelo existen para tratar variables dependientes multicategóricas y/o ordinales, tales como la regresión politómica. La clasificación en varias clases por regresión logística es conocida como regresión logística multinomial. Una extensión del modelo logístico para ajustar conjuntos de variables independientes es el campo aleatorio condicional.

Véase también[editar]

Referencias[editar]

  1. a b Hosmer, David W.; Lemeshow, Stanley (2000). Applied Logistic Regression (2nd edición). Wiley. ISBN 0-471-35632-8. 

Bibliografía[editar]

  • Agresti, Alan. (2002). Categorical Data Analysis. New York: Wiley-Interscience. ISBN 0-471-36093-7. 
  • Amemiya, T. (1985). Advanced Econometrics. Harvard University Press. ISBN 0-674-00560-0. 
  • Balakrishnan, N. (1991). Handbook of the Logistic Distribution. Marcel Dekker, Inc. ISBN 978-0824785871. 
  • Green, William H. (2003). Econometric Analysis, fifth edition. Prentice Hall. ISBN 0-13-066189-9. 
  • Hosmer, David W.; Stanley Lemeshow (2000). Applied Logistic Regression, 2nd ed. New York; Chichester, Wiley. ISBN 0-471-35632-8. 

Enlaces externos[editar]