AR(p) 모형

이 포스트는 ARIMA 모형을 다루기 위한 내용으로 AR(p)에 대해 알아보고자 하여 작성하였습니다.

 

ARIMA의 경우 먼저 p,d,q에 대해 파라미터를 지정해야 합니다.

 

여기서 p가 의미하는 것이 AR(p)라고 할 수 있습니다.

 

p를 구하기 위해서는 ACF plot을 그려서 확인해야 합니다.

 

이에 대한 내용은 하단 링크를 참고하시면 됩니다.

2022.01.20 - [공부/통계학] - ACF (auto-correlative function, 자기상관함수) python

ACF (auto-correlative function, 자기상관함수) python

 

그럼 AR 모형에 대해 알아보도록 합시다.

 

AR은 Auto-Regessive로 자기회귀를 의미합니다. 즉, 자기상관성이 존재한다는 의미입니다.

 

보통 특정 변수에 자기상관성이 존재(AR(p)모형이라고 가정)하게 된다면, t시점과 t-p 시점에 대해 상관성이 존재하게 됩니다.

 

이는 보통 시계열 데이터에 많이 발생하는 현상으로 회귀분석의 결과에 신뢰성을 저해하는 요인이 됩니다. 고전적 회귀모형의 가정 중 오차항의 독립성 (E[εi εj] =0, i ≠j)에 어긋나기 때문입니다.

 

자기상관성의 발생요인을 도메인적으로 살펴보면 다음과 같습니다.

1. 사람들의 지속적인 습관 (상대소득가설이 대표적 "소비자의 지속적인 소비형태는 소득이 줄더라도 소비가 급격하게 감소하지 않는 현상으로 이어짐")
2. 외부적 충격 or 정책의 변화로 인해 효과가 지속되는 경우 (2008 금융위기, IMF 외환위기 등 급격한 충격 발생이 오랫동안 경제 지표에 영향을 주는 경우)
3. 거미집 현상 (농산물의 공급 변화로 일정한 시차를 유지하며 시장 가격에 영향을 주는 경우)
4. target 변수를 설명변수로 활용하는 자기회귀 모형 (AR)에서 시차가 포함되는 경우 (현제의 소비가 이전의 소비에 의존하는 상대소득가설의 예)
5. 시계열 데이터 집계시, 관측치의 평균값을 이용하는 경우 (월간 데이터를 일별 데이터를 평균하여 사용하는 경우)
6. 모형의 설정 오류 (feature 선정에서 target에 유의한 영향을 미치는 변수를 제외한 경우, 오차항에 반영되어 오차항의 자기상관성을 유발하는 것으로 보여질 수 있음)

 

 

자기상관이 가지는 문제는 다음과 같습니다.

1. BLUE 가정에 대해 unbiased는 유지하지만, efficiency에는 어긋나게 됩니다.
2. OLS 추정량의 분산이 하향편의(분산의 과소추정)를 가지게 되어 회귀계수의 신뢰구간을 위축하고 회귀계수의 t 값이 지나치게 커지므로 귀무가설을 부당하게 기각하는 오류가 발생할 가능성이 높아집니다.
3. 오차항의 분산값이 실제보다 작아져 결정계수 값이 높아지는 문제가 발생합니다. 

 

가장 많이 사용되는 AR모형은 1차 자기회귀모형(first order autoregressive model)입니다.

 

식은 다음과 같습니다.

AR(1) 모형 수식

여기서 µ는 t 시점에 발생한 shock에 해당합니다.

 

추가로 AR의 µ에 대한 가정은 다음과 같습니다.

먼저, 변수(시점 t)의 기댓값은 0을 만족하며, 등분산 가정이 성립합니다. 또한 마지막에 rho(p같이 생긴 것)이 0이 아닌 이상 항상 자기상관관계를 가집니다.

 

그런데, 만약 t시점과 직전인 t-1 시점에 상관성이 존재하게 된다면, 결국 start 지점인 t=0인 값도 현재의 t시점에 영향을 미칠 수 있을 것입니다.

 

먼저 식을 변형해 봅시다.

이처럼 rho의 절댓값이 1 이하이므로 과거의 사건이 현재 시점에 미치는 영향을 점차 감소하지만, AR(1)모형에서도 결국 t시점과 0시점의 관계는 존재함을 알 수 있습니다. 

 

그리고 더 나아가서 여기서 등분산이 성립하게 되면, var(e_t)를 구할 수 있게 됩니다.

 

그리고 이를 활용해서 분산을 구하면 rho는 상수이므로 빠져나오고, µ의 등분산성으로 인해 다음과 같이 도출됩니다.

 

 

여기서 rho가 1이된다면, var(e_t)는 발산하는 형태로 되기 때문에 오류가 발생하며, 0이라면 자기상관성이 없다고 할 수 있습니다.

 

이를 검정하는 방법으로는 BG 검정과 DW 검정이 존재합니다.

 

BG 검정의 경우, 귀무가설이 lag(시차) k에 대한 rho 중 적어도 하나가 0이 아니다라는 결합유의성 검정을 실시하기 때문에 검정력이 약하며 smaple 수가 작아지면 lag 증가에 따른 data 손실로 인해 실행하기 어렵다는 단점이 존재합니다.

 

BG 검정의 귀무가설

 

DW 검정의 경우, 표본수가 작아도 lag=1일 때 적용하는 것이기에 BG 검정에 비해 장점이; 존재합니다. 하지만, 직관성이 떨어지며 feature의 개수와 obs의 개수에 따라 변화합니다.

 

하지만, 보통 d =4일경우 음의 자기상관성, d=2일때 자기상관성이 없다고 판단하며 d=0일때 양의 자기상관성이 존재한다고 판단합니다. 이는 Statsmodels.api의 OLS summary에서도 값이 나옵니다.

 

                            OLS Regression Results                            
==============================================================================
Dep. Variable:                   MEDV   R-squared:                       0.484
Model:                            OLS   Adj. R-squared:                  0.483
Method:                 Least Squares   F-statistic:                     471.8
Date:                Fri, 01 Apr 2022   Prob (F-statistic):           2.49e-74
Time:                        00:44:54   Log-Likelihood:                -1673.1
No. Observations:                 506   AIC:                             3350.
Df Residuals:                     504   BIC:                             3359.
Df Model:                           1                                         
Covariance Type:            nonrobust                                         
==============================================================================
                 coef    std err          t      P>|t|      [0.025      0.975]
------------------------------------------------------------------------------
const        -34.6706      2.650    -13.084      0.000     -39.877     -29.465
RM             9.1021      0.419     21.722      0.000       8.279       9.925
==============================================================================
Omnibus:                      102.585   Durbin-Watson:                   0.684
Prob(Omnibus):                  0.000   Jarque-Bera (JB):              612.449
Skew:                           0.726   Prob(JB):                    1.02e-133
Kurtosis:                       8.190   Cond. No.                         58.4
==============================================================================

Notes:
[1] Standard Errors assume that the covariance matrix of the errors is correctly specified.

여기 결과를 보시면, Durbin-Watson 의 값으로 0.684가 나온 것을 확인할 수 있습니다.

 

 

이런 자기상관성을 해결하기 위해서는 Robust-estimate (강건한 추정치)를 사용하기도 하며 상관계수 rho를 구하여 물리적으로 제거하는 방식도 있으며 차분을 통해 stationary하는 방법도 존재합니다.