Modelo autorregresivo

En estadística y procesamiento de señales, un modelo autorregresivo (AR) es una representación de un proceso aleatorio, en el que la variable de interés depende de sus observaciones pasadas. Específicamente, la variable de interés o de salida, depende linealmente de sus valores anteriores. Por esto decimos que existe dependencia lineal entre las distintas observaciones de la variable.

Una forma de entender un modelo autorregresivo es un proceso que luego de enfrentado a una perturbación tarda tiempo en regresar a su equilibrio de largo plazo. Suponga que nuestra variable de interés es la producción de trigo (en miles de toneladas) en una región. En cada año, la producción de trigo dependerá de las condiciones del suelo, la tecnología agrícola disponible y las condiciones climáticas. Nótese que entre un año y el siguiente, las condiciones del suelo y la tecnología agrícola pueden no cambiar (o hacerlo de forma muy lenta) como para dramáticamente afectar la producción de trigo. Las condiciones climáticas, sin embargo, pueden cambiar dramáticamente de un año a otro. Podríamos argumentar que, en la mayoría de los años (en promedio) las condiciones climáticas son buenas. Pero hay años en los que una sequía se produce. Decimos que esa sequía es una perturbación: aleja nuestra variable (la producción de trigo) de su equilibrio de largo plazo (equilibrio en el que las condiciones climáticas son buenas en promedio). Como la tecnología agrícola y las condiciones del suelo cambian lentamente entre un año y otro, la producción de trigo en cualquier año determinado estará parcialmente influida por la producción en el año anterior. La otra influencia en la producción de trigo estará dada por las perturbaciones, el clima.

El modelo autorregresivo se trata de un caso especial del más general modelo ARMA de series de tiempo.

Definición

La notación AR(p) presenta un modelo autorregresivo de orden p. El modelo AR(p) se define como:

$X_{t}=c+\sum _{i=1}^{p}\varphi _{i}X_{t-i}+\varepsilon _{t}\,$

donde $\varphi _{1},\ldots ,\varphi _{p}$ son los parámetros del modelo, $c$ es una constante, y $\varepsilon _{t}$ es Ruido blanco. Esto se puede escribir de manera equivalente usando el operador de retroceso B como

$X_{t}=c+\sum _{i=1}^{p}\varphi _{i}B^{i}X_{t}+\varepsilon _{t}$

de manera que, moviendo el término sumatorio hacia el lado izquierdo y el uso de la notación polinómica, tenemos

$\phi (B)X_{t}=c+\varepsilon _{t}\,.$

Un modelo autorregresivo por lo tanto se puede ver como la salida de un todo- polo de impulso respuesta infinito filtro cuya entrada es ruido blanco.

Algunas limitaciones son necesarios en los valores de los parámetros de este modelo con el fin de que el modelo se mantiene estacionario en sentido amplio . Por ejemplo, los procesos AR(1) con el modelo |φ₁| ≥ 1 no son estacionarias. Generalizando, para que un modelo AR(p) sea estacionario en sentido amplio, las raíces del polinomio \$\textstyle z^{p}-\sum _{i=1}^{p}\varphi _{i}z^{p-i}$ debe estar dentro del círculo unitario, es decir, cada raíz $z_{i}$ debe satisfacer $|z_{i}|<1$.

Efecto intertemporal de los choques

En un proceso AR, un choque de una sola vez afecta a los valores de la variable evolución infinitamente lejos en el futuro. Por ejemplo, considere el AR(1) $X_{t}=c+\varphi _{1}X_{t-1}+\varepsilon _{t}$. Un valor distinto de cero para $\varepsilon _{t}$en el momento t = 1, afecta $X_{1}$ por la cantidad $\varepsilon _{1}$. Dado que la ecuación para AR es recursiva, $X_{2}$ se encuentra en términos de $X_{1}$, haciendo que el fenómeno citado con anterioridad afecta a $X_{2}$ por la cantidad $\varphi _{1}\varepsilon _{1}$. A continuación, por la ecuación, $X_{3}$ esta en términos de $X_{2}$, lo que afecta por ende a $X_{3}$ por la cantidad $\varphi _{1}^{2}\varepsilon _{1}$. Continuando este proceso, se muestra que el efecto de $\varepsilon _{1}$ nunca termina. Si el proceso es estacionario, entonces el efecto disminuye hacia cero en el límite.

Debido a que cada choque afecta a los valores de X infinitamente lejos en el futuro desde el momento en que se producen, cualquier valor dado X_t es afectado por perturbaciones que ocurren infinitamente lejos en el pasado. Esto también se puede ver mediante la reescritura de la autorregresión

$\phi (B)X_{t}=\varepsilon _{t}\,$

Donde el término constante ha sido suprimida por el supuesto de que la variable se ha medido como desviaciones de su media

$X_{t}={\frac {1}{\phi (B)}}\varepsilon _{t}\,.$

Cuando la división polinómica en el lado derecho se lleva a cabo, el polinomio en el operador aplica a $\varepsilon _{t}$ , o sea, un número infinito de valores rezagados de un infinito de orden que $\varepsilon _{t}$ aparecerá en el lado derecho de la ecuación.

Ecuación polinómica característica

La función de autocorrelación de un proceso AR(p) se puede expresar como

$\rho (\tau )=\sum _{k=1}^{p}a_{k}y_{k}^{-|\tau |},$

donde $y_{k}$ son las raíces del polinomio

$\phi (B)=1-\sum _{k=1}^{p}\varphi _{k}B^{k}$

donde B es el operador de backshift , donde $\phi (.)$ es la función que define la autorregresión, y donde $\varphi _{k}$ son los coeficientes de la autorregresión.

La función de autocorrelación de un proceso AR(p) es una suma de exponenciales en descomposición.

Cada raíz real contribuye un componente de la función de autocorrelación que decae exponencialmente. Del mismo modo, cada par de raíces complejas conjugadas contribuye una oscilación amortiguada exponencialmente.

Los gráficos de los procesos AR(p)

El proceso AR simple es AR(0), que no tiene dependencia entre los términos. Sólo el término de error / innovación / ruido contribuye a la salida del proceso, por lo que en la figura, AR (0) corresponde al ruido blanco.

Por un proceso AR(1) con un resultado positivo $\varphi$, sólo el término anterior en el proceso y el término de ruido contribuyen a la salida. Si $\varphi$ está cerca de 0, entonces el proceso todavía se ve como ruido blanco, pero como $\varphi$ se aproxima a 1, la salida se pone una mayor contribución de la anterior legislatura en relación con el ruido. Esto resulta en una "suavizado" o integración de la salida, similar a un filtro de paso bajo.

Para un proceso AR(2), los dos términos anteriores y el término de ruido contribuyen a la salida. Si tanto $\varphi _{1}$ y $\varphi _{2}$ son positivos, la salida se asemejan a un filtro de paso bajo, con la parte de alta frecuencia del ruido disminuido. Si $\varphi _{1}$ es positivo, mientras que $\varphi _{2}$ es negativo, entonces el proceso favorece a los cambios en la señal entre los términos del proceso. La salida oscila.

Ejemplo: Un proceso AR(1)

Un proceso AR(1) viene dada por:

$X_{t}=c+\varphi X_{t-1}+\varepsilon _{t}\,$

donde $\varepsilon _{t}$ es un proceso de ruido blanco con media cero y varianza constante $\sigma _{\varepsilon }^{2}$. (Nota: El subíndice de $\varphi _{1}$ fue eliminado.) El proceso es en todo sentido estacionaria si $|\varphi |<1$ ya que se obtiene como la salida de un filtro estable cuya entrada es ruido blanco. (Si $\varphi =1$ entonces $X_{t}$ tiene varianza infinita, y por lo tanto no es estacionaria en sentido amplio.) Por lo tanto, suponiendo $|\varphi |<1$, la media $\operatorname {E} (X_{t})$ es idéntico para todos los valores de t. Si la media se denota por $\mu$, se desprende de

$\operatorname {E} (X_{t})=\operatorname {E} (c)+\varphi \operatorname {E} (X_{t-1})+\operatorname {E} (\varepsilon _{t})$

que

$\mu =c+\varphi \mu +0,$

y por tanto

$\mu ={\frac {c}{1-\varphi }}$

En particular, si $c=0$, Entonces la media es 0.

La varianza es

${\textrm {var}}(X_{t})=\operatorname {E} (X_{t}^{2})-\mu ^{2}={\frac {\sigma _{\varepsilon }^{2}}{1-\varphi ^{2}}},$

donde $\sigma _{\varepsilon }$ es la desviación estándar de $\varepsilon _{t}$. Esto se puede demostrar por señalar que

${\textrm {var}}(X_{t})=\varphi ^{2}{\textrm {var}}(X_{t-1})+\sigma _{\varepsilon }^{2},$

y luego por darse cuenta de que la cantidad anterior es un punto fijo estable de esta relación.

La autocovarianza está dada por

$B_{n}=\operatorname {E} (X_{t+n}X_{t})-\mu ^{2}={\frac {\sigma _{\varepsilon }^{2}}{1-\varphi ^{2}}}\,\,\varphi ^{|n|}.$

Se puede ver que la función de autocovarianza decae con un tiempo de caída (o constante de tiempo ) de $\tau =-1/\ln(\varphi )$ (notar que $B_{n}=K\phi ^{|n|}$, donde K es independiente de n. Luego cuenta que $\phi ^{|n|}=e^{|n|\ln \phi }$ y combinar esto con la ley de decaimiento exponencial $e^{-n/\tau }$).

La densidad espectral de la función es la transformada de Fourier de la función de autocovarianza. En términos discretos este será el tiempo discreto transformada de Fourier:

$\Phi (\omega )={\frac {1}{\sqrt {2\pi }}}\,\sum _{n=-\infty }^{\infty }B_{n}e^{-i\omega n}={\frac {1}{\sqrt {2\pi }}}\,\left({\frac {\sigma _{\varepsilon }^{2}}{1+\varphi ^{2}-2\varphi \cos(\omega )}}\right).$

Esta expresión es periódica debido a la naturaleza discreta de la $\ x_{j}$ , Lo que se manifiesta como la expresión del coseno en el denominador. Si asumimos que el tiempo de muestreo $\Delta t=1$es mucho menor que el tiempo de decaimiento $\tau$, entonces podemos utilizar una aproximación continua:

$B(t)\approx {\frac {\sigma _{\varepsilon }^{2}}{1-\varphi ^{2}}}\,\,\varphi ^{|t|}$

que se obtiene un perfil de Lorentz para la densidad espectral:

$\Phi (\omega )={\frac {1}{\sqrt {2\pi }}}\,{\frac {\sigma _{\varepsilon }^{2}}{1-\varphi ^{2}}}\,{\frac {\gamma }{\pi (\gamma ^{2}+\omega ^{2})}}$

donde $\gamma =1/\tau$ es la frecuencia angular asociada a la constante de tiempo $\tau$.

Una expresión alternativa para $\ X_{t}$pueden ser derivados por primera sustitución $c+\varphi X_{t-2}+\varepsilon _{t-1}$ para $\ X_{t-1}$ en la ecuación de definición. Continuar con este proceso N veces los rendimientos

$X_{t}=c\sum _{k=0}^{N-1}\varphi ^{k}+\varphi ^{N}X_{t-N}+\sum _{k=0}^{N-1}\varphi ^{k}\varepsilon _{t-k}.$

Para N tendiendo a infinito, $\Phi ^{N}$ se acercará a cero y

$X_{t}={\frac {c}{1-\varphi }}+\sum _{k=0}^{\infty }\varphi ^{k}\varepsilon _{t-k}.$

Se ve que $X_{t}$ es ruido blanco convolución con la $\Phi ^{k}$ núcleo más la media constante. Si el ruido blanco $\varepsilon _{t}$ es un proceso Gaussiano luego $\ X_{t}$ es también un proceso Gaussiano. En otros casos, el teorema del límite central indica que $\ X_{t}$ se distribuirán aproximadamente normal cuando $\varphi$ es cercano a uno.

Cálculo de los parámetros AR

Hay muchas formas de calcular los coeficientes, como el de mínimos cuadrados ordinarios procedimiento, método de momentos (a través de ecuaciones de Yule Walker), o cadena de Markov Monte Carlo métodos.

El modelo AR (P) es dada por la ecuación

$X_{t}=\sum _{i=1}^{p}\varphi _{i}X_{t-i}+\varepsilon _{t}.\,$

Se basa en los parámetros de $\varphi _{i}$ donde i = 1, ..., p. Existe una correspondencia directa entre estos parámetros y la función de covarianza del proceso, y esta correspondencia puede ser invertida para determinar los parámetros de la función de autocorrelación (que es obtenido a partir de las covarianzas). Esto se hace utilizando las ecuaciones de Yule-Walker.

Ecuaciones de Yule-Walker

Las ecuaciones de Yule-Walker son el siguiente conjunto de ecuaciones.​

$\gamma _{m}=\sum _{k=1}^{p}\varphi _{k}\gamma _{m-k}+\sigma _{\varepsilon }^{2}\delta _{m,0},$

donde m = 0, ..., p, produciendo p + 1 ecuaciones. Aquí $\gamma _{m}$ es la función de autocovarianza de X_t, $\sigma _{\varepsilon }$ es la desviación estándar del proceso de ruido de entrada, y $\delta _{m,0}$ es la función delta de Kronecker.

Debido a que la última parte de una ecuación individuo es distinto de cero sólo si m = 0, el conjunto de ecuaciones se puede resolver mediante la representación de las ecuaciones para m> 0 en forma de matriz, consiguiendo de este modo la ecuación

${\begin{bmatrix}\gamma _{1}\\\gamma _{2}\\\gamma _{3}\\\vdots \\\gamma _{p}\\\end{bmatrix}}={\begin{bmatrix}\gamma _{0}&\gamma _{-1}&\gamma _{-2}&\dots \\\gamma _{1}&\gamma _{0}&\gamma _{-1}&\dots \\\gamma _{2}&\gamma _{1}&\gamma _{0}&\dots \\\vdots &\vdots &\vdots &\ddots \\\gamma _{p-1}&\gamma _{p-2}&\gamma _{p-3}&\dots \\\end{bmatrix}}{\begin{bmatrix}\varphi _{1}\\\varphi _{2}\\\varphi _{3}\\\vdots \\\varphi _{p}\\\end{bmatrix}}$

que puede ser resuelto para todos $\{\varphi _{m};m=1,2,\cdots ,p\}.$ La ecuación restante para m = 0 es

$\gamma _{0}=\sum _{k=1}^{p}\varphi _{k}\gamma _{-k}+\sigma _{\varepsilon }^{2},$

que, una vez $\{\varphi _{m};m=1,2,\cdots ,p\}$ son conocidos, pueden ser resueltos por $\sigma _{\varepsilon }^{2}.$

Una formulación alternativa es en términos de la función de autocorrelación . Los parámetros AR se determinan por la primera p 1 elementos \ Rho (\ tau) de la función de autocorrelación. La función de autocorrelación completo puede luego ser derivada de forma recursiva mediante el cálculo de:​

$\rho (\tau )=\sum _{k=1}^{p}\varphi _{k}\rho (k-\tau )$

Ejemplos de algunos AR baja para los procesos (p)

• p=1
  • $\gamma _{1}=\varphi _{1}\gamma _{0}$
  • Hence $\rho _{1}=\gamma _{1}/\gamma _{0}=\varphi _{1}$
• p=2
  • The Yule-Walker equations for an AR(2) process are

    $\gamma _{1}=\varphi _{1}\gamma _{0}+\varphi _{2}\gamma _{-1}$

    $\gamma _{2}=\varphi _{1}\gamma _{1}+\varphi _{2}\gamma _{0}$

    • Remember that $\gamma _{-k}=\gamma _{k}$
    • Using the first equation yields $\rho _{1}=\gamma _{1}/\gamma _{0}={\frac {\varphi _{1}}{1-\varphi _{2}}}$
    • Using the recursion formula yields $\rho _{2}=\gamma _{2}/\gamma _{0}={\frac {\varphi _{1}^{2}-\varphi _{2}^{2}+\varphi _{2}}{1-\varphi _{2}}}$

Estimación de parámetros AR

Las ecuaciones anteriores (las ecuaciones de Yule-Walker) proporcionan varias rutas a la estimación de los parámetros de un AR (p) del modelo, mediante la sustitución de las covarianzas teóricas con valores estimados [. cita requerida ] Algunas de estas variantes se puede describir de la siguiente manera:

• Estimación de autocovarianzas o autocorrelaciones. Aquí cada uno de estos términos se estima por separado, utilizando estimaciones convencionales. Hay diferentes maneras de hacerlo y la elección entre estos afectos a las propiedades del esquema de estimación. Por ejemplo, las estimaciones negativas de la varianza se pueden producir por algunas opciones.

• Formulación como una regresión de mínimos cuadrados problema en el que se construyó un problema de predicción de mínimos cuadrados ordinarios, basando la predicción de los valores de X t en los p valores anteriores de la misma serie. Esto puede ser pensado como un plan con visión de predicción. Las ecuaciones normales para este problema se puede ver que corresponden a una aproximación de la forma de la matriz de las ecuaciones de Yule-Walker en el que cada aparición de un autocovarianza de la misma retardo se sustituye por una estimación ligeramente diferente.

• Formulación como una forma extendida de un problema de mínimos cuadrados ordinarios predicción. Aquí dos conjuntos de ecuaciones de predicción se combinan en un solo régimen de estimación y un único conjunto de ecuaciones normales. Un grupo es el conjunto de ecuaciones de predicción hacia adelante y el otro es un conjunto correspondiente de ecuaciones de predicción hacia atrás, en relación con la representación de retroceso del modelo AR:

$X_{t}=c+\sum _{i=1}^{p}\varphi _{i}X_{t-i}+\varepsilon _{t}^{*}\,.$

Aquí predicho de valores de X_t se basaría en los p valores futuros de la misma serie. Esta forma de estimación de los parámetros AR se debe a Burg,​ y llame al método Burg:​ Burg y autores posteriores llamadas estas estimaciones particulares "estima de máxima entropía",​ pero el razonamiento detrás de esto se aplica a la utilización de cualquier conjunto de parámetros AR estimados. En comparación con el sistema de estimación utilizando sólo las ecuaciones de predicción hacia delante, se producen diferentes estimaciones de los autocovarianzas, y las estimaciones tienen diferentes propiedades de estabilidad. Estimaciones Burg están particularmente asociados con la estimación espectral máxima entropía.​

Otros posibles enfoques para la estimación incluyen estimación de máxima verosimilitud . Dos variantes distintas de máxima verosimilitud están disponibles: en uno (aproximadamente equivalente a la predicción hacia delante esquema de mínimos cuadrados) la función de probabilidad considerada es la que corresponde a la distribución condicional de los valores posteriores de la serie dado los valores de p iniciales en la serie; en el segundo, la función de probabilidad considerada es la que corresponde a la distribución incondicional conjunta de todos los valores de la serie observada. Diferencias sustanciales en los resultados de estos enfoques pueden ocurrir si la serie observada es corto, o si el proceso está cerca de no estacionariedad.

Espectro

La densidad espectral de potencia de un proceso AR(p) con la varianza del ruido$Var(Z_{t})=\sigma _{Z}^{2}$ is​

$S(f)={\frac {\sigma _{Z}^{2}}{|1-\sum _{k=1}^{p}\varphi _{k}e^{-2\pi ikf}|^{2}}}.$

AR (0)

Para el ruido blanco (AR (0))

$S(f)=\sigma _{Z}^{2}.$

AR (1)

Para AR(1)

$S(f)={\frac {\sigma _{Z}^{2}}{|1-\varphi _{1}e^{-2\pi if}|^{2}}}={\frac {\sigma _{Z}^{2}}{1+\varphi _{1}^{2}-2\varphi _{1}cos{2\pi f}}}$

Si $\varphi _{1}>0$ hay un solo pico espectral a f = 0, a menudo referido como ruido rojo . Como \ Varphi_1 se convierte más cerca de 1, hay poder más fuerte en las frecuencias bajas, el tiempo es decir, más grande se queda. Se trata entonces de un filtro de paso bajo, cuando se aplica a la luz de espectro completo, todo a excepción de la luz roja se filtra. Si $\varphi _{1}<0$ hay un mínimo en f = 0, a menudo referido como ruido azul . Esta forma similar actúa como un filtro de paso alto, todo a excepción de la luz azul se filtra.

AR (2)

AR (2) Los procesos se pueden dividir en tres grupos en función de las características de sus raíces:

$z_{1},z_{2}={\frac {1}{2}}\left(\varphi _{1}\pm {\sqrt {\varphi _{1}^{2}+4\varphi _{2}}}\right)$

¿Cuándo $\varphi _{1}^{2}+4\varphi _{2}<0$, el proceso tiene un par de raíces complejos conjugados, la creación de un pico de frecuencia media en:

$f^{*}={\frac {1}{2\pi }}\cos ^{-1}\left({\frac {\varphi _{1}(\varphi _{2}-1)}{4\varphi _{2}}}\right)$

De lo contrario, el proceso tiene raíces reales, y:

¿Cuándo $\varphi _{1}>0$ que actúa como un filtro de paso bajo en el ruido blanco con un pico espectral a f = 0 ¿Cuándo $\varphi _{1}<0$ que actúa como un filtro de paso alto en el ruido blanco con un pico espectral a $f=1/2$.

El proceso es estacionario cuando las raíces están fuera del círculo unitario. El proceso es estable cuando las raíces están dentro del círculo unitario, o de manera equivalente, cuando los coeficientes son en el triángulo $-1\leq \varphi _{2}\leq 1-|\varphi _{1}|$.

La función PSD completa se puede expresar en forma real como:

$S(f)={\frac {\sigma _{Z}^{2}}{1+\varphi _{1}^{2}+\varphi _{2}^{2}-2\varphi _{1}(1-\varphi _{2})\cos(2\pi f)-2\varphi _{2}\cos(4\pi f)}}$

Bibliografía Adicional

• Mills, Terence C. (1990) Time Series Techniques for Economists. Cambridge University Press
• Percival, Donald B. and Andrew T. Walden. (1993) Spectral Analysis for Physical Applications. Cambridge University Press
• Pandit, Sudhakar M. and Wu, Shien-Ming. (1983) Time Series and System Analysis with Applications. John Wiley & Sons
• Yule, G. Udny (1927) "On a Method of Investigating Periodicities in Disturbed Series, with Special Reference to Wolfer's Sunspot Numbers", Philosophical Transactions of the Royal Society of London, Ser. A, Vol. 226, 267–298.]
• Walker, Gilbert (1931) "On Periodicity in Series of Related Terms", Proceedings of the Royal Society of London, Ser. A, Vol. 131, 518–532.

• Datos: Q2202883