Lecture 9.2

Лекция 9.2
Логит - модель
Логит - модель
Y, p
A
1
1 – b1 – b2Xi
b1 +b2Xi
b1
b1 + b2Xi
B
0
Xi
X
Главным недостатком модели линейной вероятности являлась
возможность для оцененных значений зависимой переменной
принимать значение вне интервала (0, 1).
1
Логит - модель
1.00
F (Z )
1
p  F(Z ) 
1  e Z
0.75
0.50
Z  b1  b 2 X
0.25
0.00
-8
-6
-4
-2
0
2
4
6
Z
Обычным способом решения этой проблемы является предположение
о том, что вероятность является S – образной функцией от переменной
Z, F(Z) принимает значения на интервале (0, 1), где Z является линейной
функцией от объясняющих переменных.
2
Одна из возможных интерпретаций модели
P(Yi = 1) = F(β1 + β2Xi) (*)
Предположим, что существует количественная переменная Yi*,
cвязанная с переменной X обычным регрессионным
уравнением: Yi* = β1 + β2X + εi, i = 1,…,n,
где возмущения εi независимы и одинаково распределены,
E(εi) = 0, D(εi) = σ2
и F – функция распределения нормированных возмущений.
Функция плотности нормированных возмущений симметрична.
3
Yi* - латентная (ненаблюдаемая переменная)
Yi = 1, если Yi* ≥ 0, i = 1,…,n,
Yi = 0, если Yi* < 0, i = 1,…,n,
4
Тогда P(Yi = 1) = P(Yi* ≥ 0) = P(β1 + β2X + εi ≥ 0) =
P(εi ≥ - β1 - β2X) = P(εi ≤ β1 + β2X) = F((β1 + β2X)/σ),
что с точностью до нормировки совпадает с (*).
5
Логит - модель
1.00
F (Z )
1
p  F(Z ) 
1  e Z
0.75
0.50
Z  b1  b 2 X
0.25
0.00
-8
-6
-4
-2
0
2
4
6
Z
Если функция F является логистической (формула для этой
функции приведена выше), то соответствующая модель
называется логит - моделью.
6
Логит - модель
1
p  F(Z ) 
1  e Z
dp (1  e  Z )  0  1  ( e  Z )

dZ
(1  e  Z ) 2
e Z

(1  e  Z ) 2
Производная функции F(Z) называется функцией плотности.
Выше вычислена функция плотности для логистической
функции.
7
Логит - модель
F (Z )
dp
e Z
f (Z ) 

dZ (1  e  Z )2
1
p  F(Z ) 
1  e Z
0.2
0.1
0
-8
-6
-4
-2
0
2
4
6
Z
На рисунке изображен график функции плотности f(Z) для
логистической функции.
8
Логит - модель
1.00
F (Z )
1
p  F(Z ) 
1  e Z
0.75
0.50
Z  b1  b 2 X
0.25
0.00
-8
-6
-4
-2
0
2
4
6
Z
Функция F нелинейно зависит от параметров. Для нахождения
оценок коэффициентов модели β1, β2 используется метод
максимального правдоподобия. Решается некоторая система
нелинейных уравнений.
9
Логит - модель
1.00
F (Z )
1
p  F(Z ) 
1  e Z
0.75
0.50
Z  b1  b 2 ASVABC
0.25
0.00
-8
-6
-4
-2
0
2
4
6
Z
Пример использования логит – модели для оценки вероятности
окончания средней школы. В качестве объясняющей выбрана
переменная ASVABC.
10
Логит - модель
. logit GRAD ASVABC
Iteration
Iteration
Iteration
Iteration
Iteration
Iteration
0:
1:
2:
3:
4:
5:
Log
Log
Log
Log
Log
Log
Likelihood
Likelihood
Likelihood
Likelihood
Likelihood
Likelihood
Logit Estimates
Log Likelihood = -117.35135
=-162.29468
=-132.97646
=-117.99291
=-117.36084
=-117.35136
=-117.35135
Number of obs
chi2(1)
Prob > chi2
Pseudo R2
=
570
= 89.89
= 0.0000
= 0.2769
-----------------------------------------------------------------------------grad |
Coef.
Std. Err.
z
P>|z|
[95% Conf. Interval]
---------+-------------------------------------------------------------------asvabc |
.1666022
.0211265
7.886
0.000
.1251951
.2080094
_cons | -5.003779
.8649213
-5.785
0.000
-6.698993
-3.308564
------------------------------------------------------------------------------
Пример оценивания логит – модели с помощью пакета STATA.
11
Логит - модель
. logit GRAD ASVABC
Iteration
Iteration
Iteration
Iteration
Iteration
0:
1:
2:
3:
4:
log
log
log
log
log
likelihood
likelihood
likelihood
likelihood
likelihood
Logit estimates
Log likelihood = -96.886017
=
=
=
=
=
-118.67769
-104.45292
-97.135677
-96.887294
-96.886017
Number of obs
LR chi2(1)
Prob > chi2
Pseudo R2
=
=
=
=
540
43.58
0.0000
0.1836
-----------------------------------------------------------------------------GRAD |
Coef.
Std. Err.
z
P>|z|
[95% Conf. Interval]
-------------+---------------------------------------------------------------ASVABC |
.1313626
.022428
5.86
0.000
.0874045
.1753206
_cons | -3.240218
.9444844
-3.43
0.001
-5.091373
-1.389063
------------------------------------------------------------------------------
Zˆ  3.240  0.131 ASVABC
Результаты оценивания.
12
Логит - модель
1.00
Cumulative effect
0.75
1  e 3.2400.131ASVABCi
0.03
0.50
0.02
0.25
0.01
0.00
0
10
20
30
40
50
60
70
80
90
Marginal effect
pi 
1
0
100
ASVABC
Zˆ  3.240  0.131 ASVABC
Оцененная модель.
13
Логит - модель
. logit GRAD ASVABC
Iteration
Iteration
Iteration
Iteration
Iteration
0:
1:
2:
3:
4:
log
log
log
log
log
likelihood
likelihood
likelihood
likelihood
likelihood
Logit estimates
Log likelihood = -96.886017
=
=
=
=
=
-118.67769
-104.45292
-97.135677
-96.887294
-96.886017
Number of obs
LR chi2(1)
Prob > chi2
Pseudo R2
=
=
=
=
540
43.58
0.0000
0.1836
-----------------------------------------------------------------------------GRAD |
Coef.
Std. Err.
z
P>|z|
[95% Conf. Interval]
-------------+---------------------------------------------------------------ASVABC |
.1313626
.022428
5.86
0.000
.0874045
.1753206
_cons | -3.240218
.9444844
-3.43
0.001
-5.091373
-1.389063
------------------------------------------------------------------------------
Zˆ  3.240  0.131 ASVABC
Коэффициент перед переменной ASVABC является значимым.
14
Логит - модель
1.00
Cumulative effect
0.75
1  e 3.2400.131ASVABCi
0.03
0.50
0.02
0.25
0.01
0.00
0
10
20
30
40
50
60
70
80
90
Marginal effect
pi 
1
0
100
ASVABC
Zˆ  3.240  0.131 ASVABC
Смысл оценок коэффициентов не такой, как для линейной
модели.
15
Логит - модель
1
p  F(Z ) 
1  e Z
Z  b 1  b 2 X 2  ...b k X k
В случае нелинейных моделей говорят о предельном эффекте
объясняющего фактора.
16
Логит - модель
1
p  F(Z ) 
1  e Z
Z  b 1  b 2 X 2  ...b k X k
p dp Z
e Z

 f ( Z )b i 
bi
Z 2
X i dZ X i
(1  e )
Предельный эффект объясняющего фактора Хi (если Х –
непрерывная переменная) – это частная производная по этой
переменной. Вычисляется эта производная по правилу
вычисления производной сложной функции.
17
Логит - модель
1
p  F(Z ) 
1  e Z
Z  b 1  b 2 X 2  ...b k X k
dp
e Z
f (Z ) 

dZ (1  e  Z )2
p dp Z
e Z

 f ( Z )b i 
bi
Z 2
X i dZ X i
(1  e )
Формула для расчета предельного эффекта.
18
Логит - модель
1
p  F(Z ) 
1  e Z
Z  b 1  b 2 X 2  ...b k X k
dp
e Z
f (Z ) 

dZ (1  e  Z )2
p dp Z
e Z

 f ( Z )b i 
bi
Z 2
X i dZ X i
(1  e )
Предельный эффект i – го объясняющего фактора не является
константой, а зависит от других переменных.
19
Логит - модель
p( X 1 , X 2 ,..., X j  1,..., X k ) 
p( X 1 , X 2 ,..., X j  0,..., X k )
Предельный эффект объясняющего фактора Хj (если Хj – dummy
переменная).
17
Логит - модель
. sum GRAD ASVABC
Variable |
Obs
Mean
Std. Dev.
Min
Max
-------------+-------------------------------------------------------GRAD |
540
.9425926
.2328351
0
1
ASVABC |
540
51.36271
9.567646
25.45931
66.07963
Logit estimates
Log likelihood = -96.886017
Number of obs
LR chi2(1)
Prob > chi2
Pseudo R2
=
=
=
=
540
43.58
0.0000
0.1836
-----------------------------------------------------------------------------GRAD |
Coef.
Std. Err.
z
P>|z|
[95% Conf. Interval]
-------------+---------------------------------------------------------------ASVABC |
.1313626
.022428
5.86
0.000
.0874045
.1753206
_cons | -3.240218
.9444844
-3.43
0.001
-5.091373
-1.389063
------------------------------------------------------------------------------
В рассмотренном примере средний результат ASVABC равен
51.36.
20
Логит - модель
. sum GRAD ASVABC
Variable |
Obs
Mean
Std. Dev.
Min
Max
-------------+-------------------------------------------------------GRAD |
540
.9425926
.2328351
0
1
ASVABC |
540
51.36271
9.567646
25.45931
66.07963
Z  b 1  b 2 X  3.240  0.131  51.36  3.507
Logit estimates
Log likelihood = -96.886017
Number of obs
LR chi2(1)
Prob > chi2
Pseudo R2
=
=
=
=
540
43.58
0.0000
0.1836
-----------------------------------------------------------------------------GRAD |
Coef.
Std. Err.
z
P>|z|
[95% Conf. Interval]
-------------+---------------------------------------------------------------ASVABC |
.1313626
.022428
5.86
0.000
.0874045
.1753206
_cons | -3.240218
.9444844
-3.43
0.001
-5.091373
-1.389063
------------------------------------------------------------------------------
В этой точке Z равно 3.507.
21
Логит - модель
. sum GRAD ASVABC
Variable |
Obs
Mean
Std. Dev.
Min
Max
-------------+-------------------------------------------------------GRAD |
540
.9425926
.2328351
0
1
ASVABC |
540
51.36271
9.567646
25.45931
66.07963
Z  b 1  b 2 X  3.240  0.131  51.36  3.507
e  Z  e 3.507  0.030
dp
eZ
0.030
f (Z ) 


 0.028
Z 2
2
dZ (1  e )
(1  0.030)
e–Z равно 0.030. Следовательно, f(Z) равно 0.028.
22
Логит - модель
. sum GRAD ASVABC
Variable |
Obs
Mean
Std. Dev.
Min
Max
-------------+-------------------------------------------------------GRAD |
540
.9425926
.2328351
0
1
ASVABC |
540
51.36271
9.567646
25.45931
66.07963
Z  b 1  b 2 X  3.240  0.131  51.36  3.507
e  Z  e 3.507  0.030
dp
eZ
0.030
f (Z ) 


 0.028
Z 2
2
dZ (1  e )
(1  0.030)
p dp Z

 f ( Z )b i  0.028  0.131  0.004
X i dZ X i
Предельный эффект для имеющего средний результат тестирования
равен 0.004. Это означает, что при увеличении результата тестирования
ASVABC на 1 балл вероятность закончить школу возрастает на 0.4
процента.
23
Логит - модель
0.75
0.03
0.50
0.02
0.25
0.01
0.00
0
10
20
30
40
51.36
50
60
70
80
90
Marginal effect
Cumulative effect
1.00
0
100
ASVABC
Предельный эффект при среднем результате очень мал. Это
связано с тем, что вероятность закончить школу при средних
результатах и так очень велика.
24
Логит - модель
. sum GRAD ASVABC
Variable |
Obs
Mean
Std. Dev.
Min
Max
-------------+-------------------------------------------------------GRAD |
540
.9425926
.2328351
0
1
ASVABC |
540
51.36271
9.567646
25.45931
66.07963
Z  b 1  b 2 X  3.240  0.131  30  0.701
e  Z  e 0.701  0.496
dp
eZ
0.496
f (Z ) 


 0.222
Z 2
2
dZ (1  e )
(1  0.496)
p dp Z

 f ( Z )b i  0.222  0.131  0.029
X i dZ X i
Предельный эффект для имеющего результат тестирования
ASVABC 30 равен 2.9 %.
25
Логит - модель
0.75
0.03
0.50
0.02
0.25
0.01
0.00
0
10
20
30
40
50
60
70
80
90
Marginal effect
Cumulative effect
1.00
0
100
ASVABC
У индивида с результатами теста 30 баллов вероятность
закончить школу равна 67 процентов.
26
Логит - модель
. logit GRAD ASVABC SM SF MALE
Iteration
Iteration
Iteration
Iteration
Iteration
Iteration
0:
1:
2:
3:
4:
5:
log
log
log
log
log
log
likelihood
likelihood
likelihood
likelihood
likelihood
likelihood
=
=
=
=
=
=
-118.67769
-104.73493
-97.080528
-96.806623
-96.804845
-96.804844
Logit estimates
Log likelihood = -96.804844
Number of obs
LR chi2(4)
Prob > chi2
Pseudo R2
=
=
=
=
540
43.75
0.0000
0.1843
-----------------------------------------------------------------------------GRAD |
Coef.
Std. Err.
z
P>|z|
[95% Conf. Interval]
-------------+---------------------------------------------------------------ASVABC |
.1329127
.0245718
5.41
0.000
.0847528
.1810726
SM |
-.023178
.0868122
-0.27
0.789
-.1933267
.1469708
SF |
.0122663
.0718876
0.17
0.865
-.1286307
.1531634
MALE |
.1279654
.3989345
0.32
0.748
-.6539318
.9098627
_cons | -3.252373
1.065524
-3.05
0.002
-5.340761
-1.163985
------------------------------------------------------------------------------
Рассмотрим более сложный пример.
27
Логит - модель
. sum GRAD ASVABC SM SF MALE
Variable |
Obs
Mean
Std. Dev.
Min
Max
-------------+-------------------------------------------------------GRAD |
540
.9425926
.2328351
0
1
ASVABC |
540
51.36271
9.567646
25.45931
66.07963
SM |
540
11.57963
2.816456
0
20
SF |
540
11.83704
3.53715
0
20
MALE |
540
.5
.5004636
0
1
Оценим предельные объясняющие эффекты для каждой
переменной (для средних значений).
28
Логит - модель
Logit: Marginal Effects
mean
b
product
f(Z)
f(Z)b
ASVABC
51.36
0.133
6.826
0.028
0.004
SM
11.58
–0.023
–0.269
0.028
–0.001
SF
11.84
0.012
0.146
0.028
0.000
MALE
0.50
0.128
0.064
0.028
0.004
Constant
1.00
–3.252
–3.252
Total
Z  b 1  b 2 X 2  ...b k X k
 3.514
3.514
29
Логит - модель
Logit: Marginal Effects
mean
b
product
f(Z)
f(Z)b
ASVABC
51.36
0.133
6.826
0.028
0.004
SM
11.58
–0.023
–0.269
0.028
Z
 3.–0.001
514
SF
11.84
0.012
0.146
MALE
0.50
0.128
0.064
Constant
1.00
–3.252
–3.252
Total
e
e
 0.030
Z
e 0.000
f (Z ) 
 0.028
Z 2
)
0.028 (1  e0.004
0.028
3.514
30
Логит - модель
Logit: Marginal Effects
mean
b
product
f(Z)
f(Z)b
ASVABC
51.36
0.133
6.826
0.028
0.004
SM
11.58
–0.023
–0.269
0.028
–0.001
SF
11.84
0.012
0.146
0.028
0.000
MALE
0.50
0.128
0.064
0.028
0.004
Constant
1.00
–3.252
–3.252
Total
3.514
p dp Z

 f ( Z )b i
X i dZ X i
31
Логит - модель
В пакете STATA предельные эффекты объясняющих
переменных можно получить с помощью команды mfx
32