Лекция 3.5 Теорема Гаусса - Маркова 1 Теорема Гаусса - Маркова 1) Если модель Yi = β1 + β2Xi + ui , i = 1,…,n правильно специфицирована, 2) Xi детерминированы и не все равны между собой, 3) E(ui) = 0, 4) D(ui) = σu2, 5) cov(ui, uj) = 0 при i ≠ j (т.е. ошибки не коррелируют) то оценки МНК b1 и b2 являются BLUE (best linear unbiased estimator). 2 Теорема Гаусса - Маркова Estimator – оценка, Unbiased – несмещенная, Linear – по Y, Best – это оценки с наименьшей дисперсией 3 Доказательство несмещенности оценки b2 Для модели парной регрессии: Y = b1 + b2X + u Оценка коэффициента наклона может быть представлена Cov( X , Y ) Cov( X , b 1 b 2 X u) b2 Var( X ) Var( X ) Cov( X , b 1 ) Cov( X , b 2 X ) Cov( X , u) Var( X ) 0 b 2Cov( X , X ) Cov( X , u) Var( X ) Cov( X , u) b2 Var( X ) 4 Доказательство несмещенности оценки b2 Cov( X , u) b2 b 2 Var( X ) Cov( X , u) Cov( X , u) E (b2 ) E b 2 E(b2 ) E Var( X ) Var( X ) 1 b2 E Cov( X , u) Var( X ) Несмещенность оценки b2 означает равенство ее b2 математического ожидания истинному значению параметра, т.е β2 . 5 Доказательство несмещенности оценки b2 b2 b 2 Cov( X , u) Var( X ) Cov( X , u) Cov( X , u) E (b2 ) E b 2 E(b2 ) E Var( X ) Var( X ) 1 b2 E Cov( X , u) Var( X ) b2 Это свойство легко проверить непосредственно. Равенство последнего слагаемого нулю будет доказано далее. 6 Доказательство несмещенности оценки b2 n 1 ^ E Cov( X , u ) E ( X i X )(ui u ) n 1 i1 1 n E ( X i X )(ui u ) n 1 i1 1 n 1 n ( X i X ) E (ui u ) (Xi X ) 0 0 n 1 i1 n 1 i1 7 Доказательство несмещенности оценки b2 b2 b 2 Cov( X , u) Var( X ) Cov( X , u) Cov( X , u) E (b2 ) E b 2 E(b2 ) E Var( X ) Var( X ) 1 b2 E Cov( X , u) Var( X ) b2 Таким образом, оценка b2 коэффициента b2 является несмещенной. 8 Доказательство несмещенности оценки b1 Y = b 1 + b 2X + u b1 Y b2 X b1 b 2 X u b2 X Приведена оценка МНК коэффициента β1. 9 Доказательство несмещенности оценки b1 Y = b 1 + b 2X + u b1 Y b2 X b1 b 2 X u b2 X Запишем последнюю формулу в более удобном для исследования виде. 10 Доказательство несмещенности оценки b1 Y = b 1 + b 2X + u b1 Y b2 X b1 b 2 X u b2 X E (b1 ) E ( b 1 b 2 X u b2 X ) E ( b 1 ) E ( b 2 X ) E ( u ) E ( b2 X ) b 1 b 2 X 0 XE (b2 ) b 1 b 2 X Xb 2 b 1 Непосредственной проверкой убеждаемся в несмещенности оценки b1, т.е. равенству математического ожидания этой оценки истинному значению параметра b1. 11 Дисперсии оценок коэффициентов Y = b 1 + b 2X + u 2 b1 2 u X 2 i 2 i n x 2 b2 2 u x 2 i Без доказательства 12 Дисперсии оценок коэффициентов Y = b 1 + b 2X + u 2 b1 2 u s 2 u X 2 i 2 i n x 2 b2 u2 x 2 i RSS n2 Поскольку дисперсия возмущений u2 неизвестна, используют ее несмещенную оценку su2. 13 Оценки стандартных отклонений оценок коэффициентов Y = b 1 + b 2X + u 2 b1 2 u 2 u s X n x 2 i 2 i 2 b2 u2 2 x i RSS n2 s.e.(b1 ) s 2 u X 2 i 2 i n x s.e.(b2 ) s 2 u x 2 i Оценки стандартных отклонений b1 и b2 вычисляются по приведенным внизу формулам. 14 Оценки стандартных отклонений оценок коэффициентов reg EARNINGS S Source | SS df MS Number of obs = 570 ---------+-----------------------------F( 1, 568) = 65.64 Model | 3977.38016 1 3977.38016 Prob > F = 0.0000 Residual | 34419.6569 568 60.5979875 R-squared = 0.1036 ---------+-----------------------------Adj R-squared = 0.1020 Total | 38397.0371 569 67.4816117 Root MSE = 7.7845 -----------------------------------------------------------------------------EARNINGS | Coef. Std. Err. t P>|t| [95% Conf. Interval] ---------+-------------------------------------------------------------------S | 1.073055 .1324501 8.102 0.000 .8129028 1.333206 _cons | -1.391004 1.820305 -0.764 0.445 -4.966354 2.184347 ------------------------------------------------------------------------------ Оценки стандартных отклонений (standard errors) автоматически выдаются при оценивании регрессии статистическими пакетами. 15