АВТОКОРРЕЛЯЦИЯ y 1 x Третье условие теоремы Гаусса-Маркова – независимость случайных возмущений друг от друга. На диаграмме видно, что это условие нарушено. За положительными отклонениями следуют положительные. То же для отрицательных. Это пример положительной автокорреляции. 1 АВТОКОРЕЛЛЯЦИЯ y 1 x Пример отрицательной автокорреляции. За положительными чаще всего слуедуют отрицательные значения и наоборот. 2 3 АВТОКОРЕЛЛЯЦИЯ yt xt ut Авторегрессия 1-го порядка: AR(1) ut ut 1 t Наиболее распространена автокорреляция 1-го порядка обычно обозначаемая AR(1). Здесь ut определяется значениями той же самой величины с добавлением нового элемента случайности εt ( инновации) 3 4 АВТОКОРЕЛЛЯЦИЯ yt xt ut Авторегрессия 1-го порядка : AR(1) ut ut 1 t Авторегрессия 5-го порядка : AR(5) ut 1ut 1 2 ut 2 3 ut 3 4 ut 4 5 ut 5 t Авторкорреляция скользящих средних 3-го порядка: MA(5) ut 0 t 1 t 1 2 t 2 3 t 3 Примеры более сложных авторегрессионных корреляций. 4 6 АВТОКОРЕЛЛЯЦИЯ 3 2 1 0 1 -1 -2 -3 ut ut 1 t Рассмотрим на качественном уровне примеры автокорреляции типа AR(1). Имитационное моделирование автокорреляции: t – распределена по стандартному нормальному закону с 0 средним и дисперсией 1, меняется. 5 9 АВТОКОРЕЛЛЯЦИЯ 3 2 1 0 1 -1 -2 -3 ut 0.0ut 1 t = 0, т.е автокорреляция отсутствует. Процесс - нормальная случайная величина. 6 11 АВТОКОРЕЛЛЯЦИЯ 3 2 1 0 1 -1 -2 -3 ut 0.1ut 1 t 7 12 АВТОКОРЕЛЛЯЦИЯ 3 2 1 0 1 -1 -2 -3 ut 0.2ut 1 t 8 13 АВТОКОРЕЛЛЯЦИЯ 3 2 1 0 1 -1 -2 -3 ut 0.3ut 1 t При = 0.3, начинает проявляться небольшая положительная автокорреляция. 9 14 АВТОКОРЕЛЛЯЦИЯ 3 2 1 0 1 -1 -2 -3 ut 0.4ut 1 t 10 15 АВТОКОРЕЛЛЯЦИЯ 3 2 1 0 1 -1 -2 -3 ut 0.5ut 1 t 11 16 АВТОКОРЕЛЛЯЦИЯ 3 2 1 0 1 -1 -2 -3 ut 0.6ut 1 t С = 0.6, очевидно, что u подвержена положительной автокорреляции. Положительные значения чаще следуют за положительными, а отрицательные за 12 отрицательными. 17 АВТОКОРЕЛЛЯЦИЯ 3 2 1 0 1 -1 -2 -3 ut 0.7ut 1 t 13 18 АВТОКОРЕЛЛЯЦИЯ 3 2 1 0 1 -1 -2 -3 ut 0.8ut 1 t 14 19 АВТОКОРЕЛЛЯЦИЯ 3 2 1 0 1 -1 -2 -3 ut 0.9ut 1 t С = 0.9 последовательность значений с одним знаком становится длинной, а тенденция возврата к 0 слабой. 15 20 АВТОКОРЕЛЛЯЦИЯ 3 2 1 0 1 -1 -2 -3 ut 0.95ut 1 t При больших процесс становится нестационарным, приближаясь к случайному блужданию. 16 21 АВТОКОРЕЛЛЯЦИЯ 3 2 1 0 1 -1 -2 -3 ut 0.0ut 1 t Рассмотрим примеры отрицательной автокорреляции для тех же значений t. 17 22 АВТОКОРЕЛЛЯЦИЯ 3 2 1 0 1 -1 -2 -3 ut 0.3ut 1 t 18 23 АВТОКОРЕЛЛЯЦИЯ 3 2 1 0 1 -1 -2 -3 ut 0.6ut 1 t С = 0.6 можно видеть что положительные значения имеют тенденцию следовать за отрицательными и наоборот. Отрицательная автокорреляция становится очевидной. 19 24 АВТОКОРЕЛЛЯЦИЯ 3 2 1 0 1 -1 -2 -3 ut 0.9ut 1 t 20 25 АВТОКОРЕЛЛЯЦИЯ ============================================================= Dependent Variable: LGFOOD Method: Least Squares Sample: 1959 1994 Included observations: 36 ============================================================= Variable Coefficient Std. Error t-Statistic Prob. ============================================================= C 2.658875 0.278220 9.556745 0.0000 LGDPI 0.605607 0.010432 58.05072 0.0000 LGPRFOOD -0.302282 0.068086 -4.439712 0.0001 ============================================================= R-squared 0.992619 Mean dependent var 6.112169 Adjusted R-squared 0.992172 S.D. dependent var 0.193428 S.E. of regression 0.017114 Akaike info criter -5.218197 Sum squared resid 0.009665 Schwarz criterion -5.086238 Log likelihood 96.92755 F-statistic 2219.014 Durbin-Watson stat 0.613491 Prob(F-statistic) 0.000000 ============================================================= Рассмотрим остатки логарифмической зависимости расходов на продовольствие в зависимости от дохода и относительной цены в пакете EViews. 21 26 АВТОКОРЕЛЛЯЦИЯ 0.04 0.03 0.02 0.01 0.00 1959 1964 1969 1974 1979 1984 1989 1994 -0.01 -0.02 -0.03 -0.04 На графике видно, что случайные возмущения подвержены положительной автокорреляции. Сравнивая с примерами имитационного моделирования можно предполагать, что коэффициент корреляции не ниже 0.6. 22 27 ТЕСТ ДАРБИНА-УОТСОНА ДЛЯ AR(1) АВТОКОРРЕЛЯЦИИ T d (e t 2 t et 1 ) 2 T 2 e t t 1 ut ut 1 t Стандартный тест на автокорреляцию типа AR(1) основан на d статистике ДарбинаУотсона. Сравнивается среднеквадратичная разность соседних значений с 23 дисперсией остатков. 1 ТЕСТ ДАРБИНА-УОТСОНА ДЛЯ AR(1) АВТОКОРРЕЛЯЦИИ T d (e t e t 1 ) t 2 T 2 e t 2 ut ut 1 t t 1 Для больших выборок Нет автокорреляции Положительная автокорреляция Отрицательная автокорреляция d 2 2 d 2 d 0 d 4 При отсутствии автокорреляции близко к 0, а d близко к 2. Для положительной автокорреляции близко к 1, а d близко к 0. Соответственно для отрицательной автокорреляции близко к -1, а d близко к 4. 24 ТЕСТ ДАРБИНА-УОТСОНА ДЛЯ AR(1) АВТОКОРРЕЛЯЦИИ Положительная автокорреляция 0 Нет автокорреляции 2 Отрицательная автокорреляция 4 Рисунок иллюстрирует поведение d графически. Поскольку d имеет вероятностное распределение то необходимо оценить доверительный интервал значимости оценки. 25 6 ТЕСТ ДАРБИНА-УОТСОНА ДЛЯ AR(1) АВТОКОРРЕЛЯЦИИ положительная автокорреляция 0 нет автокорреляции dL dcrit dU 2 Нет автокорреляции Положительная автокорреляция Отрицательная автокорреляция отрицательная автокорреляция dcrit 4 d 2 d 0 d 4 Нулевая гипотеза H0: = 0 (нет автокорреляции). Если d лежит в доверительном интервале 2 ± dcr то гипотеза не отвергается с заданной вероятностью. К сожалению dcr зависит от конкретных данных выборки, но Дарбин и Уотсон дали значения для оценки интервалов, в которых лежат критические значения, dU и dL, не зависящие от данных. 26 Интервалы расположены симметрично относительно 2. 10 ТЕСТ ДАРБИНА-УОТСОНА ДЛЯ AR(1) АВТОКОРРЕЛЯЦИИ положительная автокорреляция 0 нет автокорреляции dL dcrit dU 2 Нет автокорреляции Положительная автокорреляция Отрицательная автокорреляция отрицательная автокорреляция dcrit 4 d 2 d 0 d 4 Если d меньше dL, то то нулевая гипотеза отвергается, автокорреляция положительная. 27 10 ТЕСТ ДАРБИНА-УОТСОНА ДЛЯ AR(1) АВТОКОРРЕЛЯЦИИ положительная автокорреляция 0 нет автокорреляции dL dcrit dU 2 Нет автокорреляции Положительная автокорреляция Отрицательная автокорреляция отрицательная автокорреляция dcrit 4 d 2 d 0 d 4 Если d больше dU, то нулевая гипотеза не отвергается, но необходимо проверить модель на отрицательную автокорреляцию. Если d лежит в интервале [dL , dU], то тест не дает определенной оценки. 28 10 ТЕСТ ДАРБИНА-УОТСОНА ДЛЯ AR(1) АВТОКОРРЕЛЯЦИИ положительная автокорреляция нет автокорреляции отрицательная автокорреляция d=0,63 0 dL dcrit dU 1.35 1.59 2 2.41 dcrit 2.65 4 Нет автокорреляции d 2 Положительная автокорреляция d 0 Отрицательная автокорреляция d 4 На рисунке приведены значения dL и dU для для модели с 2-мя объясняющими переменными построенной по 35 наблюдениям при 5% пороге значимости. При d=0,63, как в данном примере, 0,63 < 1,35, то нулевая гипотеза отвергается с 95% вероятностью, автокорреляция остатков положительна. 29 10 ТЕСТ ДАРБИНА-УОТСОНА ДЛЯ AR(1) АВТОКОРРЕЛЯЦИИ положительная автокорреляция нет автокорреляции отрицательная автокорреляция d=0,63 0 dL dcrit dU 1.35 1.59 2 2.41 dcrit 2.65 4 Нет автокорреляции d 2 Положительная автокорреляция d 0 Отрицательная автокорреляция d 4 При d=1,42, большим 1,35 и меньшим 1,59, тест не дает определенной оценки. 30 10 ТЕСТ ДАРБИНА-УОТСОНА ДЛЯ AR(1) АВТОКОРРЕЛЯЦИИ положительная автокорреляция нет автокорреляции отрицательная автокорреляция d=0,63 0 dL dcrit dU 1.35 1.59 2 2.41 dcrit 2.65 4 Нет автокорреляции d 2 Положительная автокорреляция d 0 Отрицательная автокорреляция d 4 Если 1.59 < d < 2.41, нулевая гипотеза не отвергается и можно утверждать, что автокорреляция остатков отсутствует. 31 10 ТЕСТ ДАРБИНА-УОТСОНА ДЛЯ AR(1) АВТОКОРРЕЛЯЦИИ положительная автокорреляция нет автокорреляции отрицательная автокорреляция d=0,63 0 dL dcrit dU 1.35 1.59 2 2.41 dcrit 2.65 4 Нет автокорреляции d 2 Положительная автокорреляция d 0 Отрицательная автокорреляция d 4 Если 2.41 < d < 2.65, тест не дает однозначной оценки. 32 10 ТЕСТ ДАРБИНА-УОТСОНА ДЛЯ AR(1) АВТОКОРРЕЛЯЦИИ положительная автокорреляция нет автокорреляции отрицательная автокорреляция d=0,63 0 dL dcrit dU 1.35 1.59 2 2.41 dcrit 2.65 4 Нет автокорреляции d 2 Положительная автокорреляция d 0 Отрицательная автокорреляция d 4 Если 2.65 < d < 4, нулевая гипотеза отвергается и можно утверждать, что имеется отрицательная автокорреляция остатков. 33 10 ТЕСТ ДАРБИНА-УОТСОНА ДЛЯ AR(1) АВТОКОРРЕЛЯЦИИ положительная автокорреляция нет автокорреляции отрицательная автокорреляция d=0,63 0 dL dcrit dU 1.15 1.38 2 2.62 dcrit 2.85 4 Нет автокорреляции d 2 Положительная автокорреляция d 0 Отрицательная автокорреляция d 4 Интервалы оценки гипотез при 1% пороге значимости. 34 10 ТЕСТ ДАРБИНА-УОТСОНА ДЛЯ AR(1) АВТОКОРРЕЛЯЦИИ 0.04 0.03 0.02 0.01 0.00 1959 1964 1969 1974 1979 1984 1989 1994 -0.01 -0.02 -0.03 -0.04 Диаграмма зависимости для логарифмической регрессии трат на продовольствие показывает сильную положительную автокорреляцию. 35 22 ТЕСТ ДАРБИНА-УОТСОНА ДЛЯ AR(1) АВТОКОРРЕЛЯЦИИ ============================================================= Dependent Variable: LGFOOD Method: Least Squares Sample: 1959 1994 Included observations: 36 ============================================================= Variable Coefficient Std. Error t-Statistic Prob. ============================================================= C 2.658875 0.278220 9.556745 0.0000 LGDPI 0.605607 0.010432 58.05072 0.0000 LGPRFOOD -0.302282 0.068086 -4.439712 0.0001 ============================================================= R-squared 0.992619 Mean dependent var 6.112169 Adjusted R-squared 0.992172 S.D. dependent var 0.193428 S.E. of regression 0.017114 Akaike info criter -5.218197 Sum squared resid 0.009665 Schwarz criterion -5.086238 Log likelihood 96.92755 F-statistic 2219.014 Durbin-Watson stat 0.613491 Prob(F-statistic) 0.000000 ============================================================= Значение d статистики очень низкое, ниже dL для 1% теста значимости (1.15), поэтому можно отвергнуть нулевую гипотезу об отстутствии автокорреляции. 36 23 УСТРАНЕНИЕ AR(1) АВТОКОРРЕЛЯЦИИ yt xt ut ut ut 1 t yt 1 xt 1 ut 1 yt yt 1 (1 ) xt xt 1 ut ut 1 yt (1 ) yt 1 xt xt 1 t yˆ t 100 0.5 yt 1 0.8 xt 0.6 xt 1 Автокорреляция AR(1) может быть устранена в лаговых моделях. Для этого нужно множить уравнение для yt-1 на ρ и вычесть из yt. Случайный член t, (инновация) не является автокоррелированным. Проблема автокорреляции устранена. Есть только одна проблема: нелинейность лаговой модели относительно xt-2. В силу этого обычный МНК не применим из за конфликта параметров (0,5*0,8 ≠ 0,6). Проблема может быть решена численными методами подбора параметров. 37 4 УСТРАНЕНИЕ AR(1) АВТОКОРРЕЛЯЦИИ yt xt ut ut ut 1 t yt 1 xt 1 ut 1 yt yt 1 (1 ) xt xt 1 ut ut 1 yt (1 ) yt 1 xt xt 1 t yt 1 x1t 2 x2 t ut yt 1 1 x1t 1 2 x2 t 1 ut 1 yt yt 1 (1 ) 1 x1t 1 x1t 1 2 x2 t 2 x2 t 1 ut ut 1 yt (1 ) yt 1 1 x1t 1 x1t 1 2 x2 t 2 x2 t 1 t Аналогично устраняется влияние автокорреляции в множественной регрессионной модели. Вновь получаем нелинейную лаговую модель свободную от автокорреляции. 38 11 УСТРАНЕНИЕ AR(1) АВТОКОРРЕЛЯЦИИ yt (1 ) yt 1 1 x1,t 1 x1,t 1 2 x2,t 2 x2,t 1 t ============================================================= Dependent Variable: LGHOUS Method: Least Squares Sample(adjusted): 1960 1994 LGHOUS=C(1)*(1-C(2))+C(2)*LGHOUS(-1)+C(3)*LGDPI-C(2)*C(3) *LGDPI(-1)+C(4)*LGPRHOUS-C(2)*C(4)*LGPRHOUS(-1) ============================================================= Coefficient Std. Error t-Statistic Prob. ============================================================= C(1) 6.131576 0.727244 8.431247 0.0000 C(2) 0.972488 0.004167 233.3565 0.0000 C(3) 0.275879 0.078318 3.522532 0.0013 C(4) -0.303387 0.085802 -3.535896 0.0013 ============================================================= R-squared 0.999695 Mean dependent var 6.017555 Adjusted R-squared 0.999665 S.D. dependent var 0.362063 S.E. of regression 0.006622 Akaike info criter -7.089483 Sum squared resid 0.001360 Schwarz criterion -6.911729 Log likelihood 128.0660 F-statistic 33865.14 Durbin-Watson stat 1.423030 Prob(F-statistic) 0.000000 ============================================================= Пример расчета нелинейной лаговой регрессионной модели зависимости спроса на жилье в зависимости от дохода и цен на жилье для AR(1) процесса автокорреляции, 39 используя пакет EViews. 14 ИТЕРАТИВНАЯ ПРОЦЕДУРА КОКРАНА - ОРКАТТА yt xt ut ut ut 1 t yt 1 xt 1 ut 1 yt yt 1 (1 ) xt xt 1 ut ut 1 ~y x ~ t t t (*) ~y y y t t t 1 ~ x x x t t t 1 (1 ) Метод решения состоит в оценке и последовательном уточнении коэффициента корреляции. Модель может быть преобразована к (*) нелинейной свободной от автокорреляции модели. Если автокорреляция AR(1)типа, то CORR(et ,et-1) ≈ CORR(ut,ut-1). Используя это ρ, можно вычислить коэффициенты α и β для модели (*) и вновь провести 40 оценку ρ. 4 ИТЕРАТИВНАЯ ПРОЦЕДУРА КОКРАНА - ОРКАТТА yt xt ut ut ut 1 t yt yt 1 (1 ) xt xt 1 ut ut 1 ~y x ~ t t t ~y y y t t t 1 ~ x x x t t t 1 (1 ) 1. Построить регрессию yt от xt используя МНК 2. Вычислить et = yt - a - bxt и найти с помощью регрессии et от et-1 оценку . 3. Вычислить ~yt и ~xt и найти регрессию y~t от x~t по которой определить оценки для a и b. Повторить с шага 2 до выполнения сходимости. Сходимость алгоритма достигается когда оценка коэффициента корреляции будет изменяться на величину меньшую заданной точности. 41