ÝÊÎÍÎÌÅÒÐÈÊÀ ÄËß ÏÐÎÄÎËÆÀÞÙÈÕ Êóðñ ëåêöèé Ñòàíèñëàâ Àíàòîëüåâ Ðîññèéñêàÿ Ýêîíîìè÷åñêàÿ Øêîëà ÊË/2002/004 Ìîñêâà 20022003 c Àíàòîëüåâ Ñòàíèñëàâ Àíàòîëüåâè÷, 2002 ã. c Ðîññèéñêàÿ Ýêîíîìè÷åñêàÿ Øêîëà, 2002 ã. Ñîäåðæàíèå I 1 Îïèñàíèå êóðñà . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2 Ðåêîìåíäóåìàÿ ëèòåðàòóðà . . . . . . . . . . . . . . . . . . . . . . . . . . 5 Ïðèáëèæåííûé ïîäõîä ê èíôåðåíöèè 6 1 Ñðàâíåíèå òî÷íîãî è ïðèáëèæåííîãî ïîäõîäîâ . . . . . . . . . . . . . . 6 2 Êîíöåïöèè àñèìïòîòè÷åñêîé òåîðèè . . . . . . . . . . . . . . . . . . . . . 7 3 Î ïîñëåäîâàòåëüíîñòÿõ ñëó÷àéíûõ âåëè÷èí . . . . . . . . . . . . . . . . 8 4 Î ïîñëåäîâàòåëüíîñòÿõ ôóíêöèé ñëó÷àéíûõ âåëè÷èí . . . . . . . . . . . 9 5 Ïðåäåëüíûå òåîðåìû äëÿ íåçàâèñèìûõ íàáëþäåíèé . . . . . . . . . . . . 11 6 Àñèìïòîòè÷åñêèå ñòàòèñòè÷åñêèå âûâîäû 12 7 Àñèìïòîòèêà äëÿ ñòàöèîíàðíûõ âðåìåííûõ ðÿäîâ . . . . . . . . . . . . 13 8 Ââåäåíèå â àñèìïòîòèêó äëÿ íåñòàöèîíàðíûõ ïðîöåññîâ . . . . . . . . . 18 . . . . . . . . . . . . . . . . . II Áóòñòðàïîâñêèé ïîäõîä 19 1 Ïðèáëèæåíèå èñòèííîãî ðàñïðåäåëåíèÿ áóòñòðàïîâñêèì . . . . . . . . . 19 2 Ïðèáëèæåíèå ñ ïîìîùüþ ñèìóëÿöèé . . . . . . . . . . . . . . . . . . . . 20 3 Êàêèå ñòàòèñòèêè áóòñòðàïèòü ? . . . . . . . . . . . . . . . . . . . . . . . 21 4 Êîððåêòèðîâêà ñìåùåíèÿ . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 5 Òåñòèðîâàíèå ãèïîòåç ïðè ïîìîùè áóòñòðàïà . . . . . . . . . . . . . . . 23 6 Àñèìïòîòè÷åñêîå ðàôèíèðîâàíèå . . . . . . . . . . . . . . . . . . . . . . 24 7 Ïîñòðîåíèå ïñåâäîâûáîðîê ïðè áóòñòðàïå êðîññ-ñåêöèé . . . . . . . . . 26 8 Ïîñòðîåíèå ïñåâäîâûáîðîê ïðè áóòñòðàïå âðåìåííûõ ðÿäîâ . . . . . . . 27 III Îñíîâíûå ýêîíîìåòðè÷åñêèå ïîíÿòèÿ 28 1 Óñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå . . . . . . . . . . . . . . . . . . . . . 28 2 Ïðåäñêàçûâàíèå 29 3 Ñâîéñòâà äâóìåðíîãî íîðìàëüíîãî ðàñïðåäåëåíèÿ 4 Ñâîéñòâà ìíîãîìåðíîãî íîðìàëüíîãî ðàñïðåäåëåíèÿ . . . . . . . . . . . 32 5 Ïðèíöèï àíàëîãèé . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 6 Îñíîâíûå ïîíÿòèÿ, ñâÿçàííûå ñ ðåãðåññèåé 33 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . IV Ëèíåéíàÿ ðåãðåññèÿ ñðåäíåãî 31 35 1 Ìåòîä íàèìåíüøèõ êâàäðàòîâ . . . . . . . . . . . . . . . . . . . . . . . . 2 Àñèìïòîòè÷åñêèå ñâîéñòâà ÌÍÊ-îöåíêè 3 Ñâîéñòâà ÌÍÊ-îöåíêè â êîíå÷íûõ âûáîðêàõ 4 Îáîáùåííûé ìåòîä íàèìåíüøèõ êâàäðàòîâ 3 . . . . . . . . . . . . . . . . . . 35 35 . . . . . . . . . . . . . . . 37 . . . . . . . . . . . . . . . . 38 5 Àñèìïòîòè÷åñêèå ñâîéñòâà ÎÌÍÊ-îöåíîê . . . . . . . . . . . . . . . . . 39 6 Äîñòóïíàÿ ÎÌÍÊ-îöåíêà . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 7 Ðåãðåññèÿ ñ íåñëó÷àéíîé âûáîðêîé . . . . . . . . . . . . . . . . . . . . . 43 8 ÌÍÊ è ÎÌÍÊ â ðåãðåññèÿõ íà âðåìåííûõ ðÿäàõ . . . . . . . . . . . . . 43 V Ëèíåéíûå ìîäåëè ñ èíñòðóìåíòàëüíûìè ïåðåìåííûìè 46 1 Ýíäîãåííûå ïåðåìåííûå . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 2 Òî÷íàÿ èäåíòèôèêàöèÿ . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 3 Ñâåðõèäåíòèôèêàöèÿ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 4 Íåïîëíàÿ èäåíòèôèêàöèÿ . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 5 Áóòñòðàïèðîâàíèå èíñòðóìåíòàëüíûõ îöåíîê 50 6 Èíñòðóìåíòàëüíûå ïåðåìåííûå âî âðåìåííûõ ðÿäàõ . . . . . . . . . . . . . . . . . . . . . . . . . . VI Îöåíèâàíèå íåëèíåéíîé ðåãðåññèè ñðåäíåãî 51 51 1 Íåëèíåéíîñòü ïî îòíîøåíèþ ê ðåãðåññîðàì . . . . . . . . . . . . . . . . 51 2 Íåëèíåéíûå ðåãðåññèîííûå ìîäåëè . . . . . . . . . . . . . . . . . . . . . 53 3 Îöåíèâàíèå íåëèíåéíûì ìåòîäîì íàèìåíüøèõ êâàäðàòîâ 4 Àñèìïòîòè÷åñêèå ñâîéñòâà ÍÌÍÊ-îöåíêè 5 Àñèìïòîòè÷åñêàÿ ýôôåêòèâíîñòü è ÂÍÌÍÊ-îöåíêà . . . . . . . . . . . 58 6 Ïðèëîæåíèå : ìîäåëü áèíàðíîãî âûáîðà . . . . . . . . . . . . . . . . . . . 59 7 Èíôåðåíöèÿ ïðè íåèäåíòèôèöèðîâàííîñòè íåêîòîðûõ ïàðàìåòðîâ ïðè . . . . . . . . 53 . . . . . . . . . . . . . . . . . 55 íóëåâîé ãèïîòåçå . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 60 Ââåäåíèå 1 Îïèñàíèå êóðñà Êóðñ ñëóæèò ââåäåíèåì â ïðèíöèïû ñîâðåìåííîãî èñêóññòâà ýêîíîìåòðè÷åñêîãî îöåíèâàíèÿ è ïîñòðîåíèÿ ñòàòèñòè÷åñêèõ âûâîäîâ (èíôåðåíöèè) êàê äëÿ êðîññ-äàííûõ, òàê è äëÿ âðåìåííûõ ðÿäîâ. Íåóäîâëåòâîðåííîñòü òî÷íûì ïîäõîäîì çàñòàâëÿåò íàñ ðàññìîòðåòü äâå àëüòåðíàòèâû : àñèìïòîòè÷åñêèé è áóòñòðàïîâñêèé ïîäõîäû. Ïîñëå èçó÷åíèÿ âàæíûõ ýêîíîìåòðè÷åñêèõ òîíêîñòåé îáîèõ ïîäõîäîâ êóðñ êîíöåíòðèðóåòñÿ íà ïîñòðîåíèè îöåíîê â ëèíåéíûõ ìîäåëÿõ è èçó÷åíèè èõ ñâîéñòâ. Òåì íå ìåíåå, çàêëþ÷èòåëüíàÿ ÷àñòü êóðñà ïîñâÿùåíà ïðîñòûì íåëèíåéíûì ìîäåëÿì è ìåòîäàì. Àêöåíò äåëàåòñÿ íà êîíöåïòóàëüíóþ ñîñòàâëÿþùóþ, íåæåëè íà ìàòåìàòè÷åñêóþ ñëîæíîñòü, õîòÿ ïîñëåäíÿÿ èíîãäà íåèçáåæíà. Äîìàøíèå çàäàíèÿ ïî êóðñó ñîäåðæàò êàê òåîðåòè÷åñêèå çàäà÷è, òàê è ïðàêòè÷åñêèå çàäàíèÿ, ïîäðàçóìåâàþùèå èñïîëüçîâàíèå ïàêåòà GAUSS. Çàäàíèÿ ñëóæàò âàæíûì èíãðåäèåíòîì îáó÷àþùåãî ïðîöåññà, â êîòîðîì ÷àñòî áóäóò âñòðå÷àòüñÿ òåîðåòè÷åñêèå è ýìïèðè÷åñêèå ïðèìåðû. Âûðàæàþ áëàãîäàðíîñòü Ñåì¼íó Ïîëáåííèêîâó çà ïîäãîòîâêó ÷åðíîâîé âåðñèè êîíñïåêòîâ, Ëþäìèëå Ñîëíöåâîé çà òåõíè÷åñêóþ ïîìîùü, è ñòóäåíòàì Ðîññèéñêîé Ýêîíîìè÷åñêîé Øêîëû çà çàìå÷àíèÿ è íàéäåííûå íåäî÷¼òû. Ìàòåðèàë ïîäãîòîâëåí â ðàìêàõ ïðîåêòà Ñîâåðøåíñòâîâàíèå ïðåïîäàâàíèÿ ñîöèàëüíî-ýêîíîìè÷åñêîãî îáðàçîâàíèÿ â ÂÓÇàõ, ôèíàíñèðóåìîãî Âñåìèðíûì Áàíêîì è ðåàëèçóåìîãî Íàöèîíàëüíûì Ôîíäîì Ïîäãîòîâêè Êàäðîâ (ÍÔÏÊ). 2 Ðåêîìåíäóåìàÿ ëèòåðàòóðà 1. Anatolyev, Stanislav lutions , Intermediate and Advanced Econometrics : Problems and So- Lecture Notes series, New Economic School, 2002 2. Hayashi, Fumio Econometrics , 3. Goldberger, Arthur 4. Greene, William Princeton University Press, 2000 A Course in Econometrics , Econometric Analysis , 5. Potcher, Benedikt and Prucha, Ingmar Harvard University Press, 1991 Prentice Hall, 4th edition, 2000 Basic elements of asymptotic theory , in : A Companion to Theoretical Econometrics , edited by Baltagi, B., Blackwell Publishers, 2001 6. Horowitz, Joel The bootstrap , in : Handbook of Econometrics , vol. 5, Elsevier Science, North-Holland, 2001 5 I Ïðèáëèæåííûé ïîäõîä ê èíôåðåíöèè 1 Ñðàâíåíèå òî÷íîãî è ïðèáëèæåííîãî ïîäõîäîâ Ïðè ýìïèðè÷åñêîì àíàëèçå äàííûõ âîçíèêàåò ñèòóàöèÿ, êîãäà ýêîíîìåòðèñò, èìåÿ òî÷å÷íóþ îöåíêó íåêîòîðîãî ïàðàìåòðà, õî÷åò èçó÷èòü åå ñòàòèñòè÷åñêèå ñâîéñòâà. Äëÿ ýòîãî åìó íåîáõîäèìî çíàòü ðàñïðåäåëåíèå ïîëó÷åííîé îöåíêè. Çíàòü ðàñïðåäåëåíèå âñåãäà íåîáõîäèìî äëÿ ïîñòðîåíèÿ äîâåðèòåëüíûõ èíòåðâàëîâ è òåñòèðîâàíèÿ ñòàòèñòè÷åñêèõ ãèïîòåç. Ñóùåñòâóþò äâà ïîäõîäà ê âîïðîñó î ðàñïðåäåëåíèè îöåíèâàåìîãî ïàðàìåòðà : Òî÷íûé ïîäõîä òî÷íûé è ïðèáëèæåííûé . îñíîâàí íà ïðåäïîëîæåíèè îá èçâåñòíîñòè âèäà ðàñïðåäåëåíèÿ äàííûõ. Îñòà¼òñÿ ëèøü òðàíñôîðìèðîâàòü åãî â ðàñïðåäåëåíèå ïîñòðîåííîé ñòàòèñòèêè. Ïðèìåð. Ïóñòü óñëîâíîå íà ìàëüíûì ñî ñðåäíèì Xβ X ðàñïðåäåëåíèå âåêòîðà è äèñïåðñèåé 2 σ In , Y áóäåò ìíîãîìåðíûì íîð- ò.å. Y |X ∼ N (Xβ, σ 2 In ). Òîãäà ÌÍÊ-îöåíêà òîæå èìååò íîðìàëüíîå óñëîâíîå ðàñïðåäåëåíèå : βbOLS = (X 0 X)−1 X 0 Y |X ∼ N (β, σ 2 (X 0 X)−1 ). Íåäîñòàòêè òî÷íîãî ïîäõîäà äîñòàòî÷íî î÷åâèäíû. Âî-ïåðâûõ , ÷òîáû èñïîëüçî- âàòü òî÷íûé ïîäõîä, íåîáõîäèìî ñäåëàòü ïðåäïîëîæåíèå î âèäå ðàñïðåäåëåíèÿ äàííûõ. Âî-âòîðûõ , òî÷íûé ïîäõîä îáû÷íî îãðàíè÷èâàåòñÿ èñïîëüçîâàíèåì íîðìàëüíî- ãî ðàñïðåäåëåíèÿ, ëèíåéíûõ ìîäåëåé è ïðîñòûõ ñòàòèñòèê, èáî â ïðîòèâíîì ñëó÷àå àíàëèòè÷åñêèé âûâîä ðàñïðåäåëåíèÿ èíòåðåñóþùåé íàñ ñòàòèñòèêè îáû÷íî ñòàíîâèòñÿ î÷åíü òðóäîåìêîé èëè âîîáùå íåïîñèëüíîé çàäà÷åé. Ïðèáëèæåííûé ïîäõîä îñíîâàí íà àïïðîêñèìàöèè èñòèííîãî ðàñïðåäåëåíèÿ èññëåäóåìîé ñòàòèñòèêè.  íàñòîÿùåå âðåìÿ ñóùåñòâóþò äâà ìåòîäà â ïðèáëèæåííîì ïîäõîäå : Èäåÿ àñèìïòîòè÷åñêèé è áóòñòðàïîâñêèé . àñèìïòîòè÷åñêîãî ìåòîäà â òîì, ÷òîáû äëÿ ïîñòðîåíèÿ ïðèáëèæåííîãî ðàñ- ïðåäåëåíèÿ ñòàòèñòèêè èñïîëüçîâàòü ïðåäåëüíîå (ïðè ñòðåìëåíèè ðàçìåðà âûáîðêè ê áåñêîíå÷íîñòè) ðàñïðåäåëåíèå âûáîðî÷íûõ ñðåäíèõ. Íåñîìíåííûì äîñòîèíñòâîì òàêîãî ïîäõîäà ÿâëÿåòñÿ òîò ôàêò, ÷òî èñïîëüçóåìûå ïðåäåëüíûå ðàñïðåäåëåíèÿ îáû÷íî ÿâëÿþòñÿ ñòàíäàðòíûìè è çàòàáóëèðîâàííûìè. Ñ äðóãîé ñòîðîíû, àñèìïòîòè÷åñêàÿ àïïðîêñèìàöèÿ ðàñïðåäåëåíèÿ îöåíêè ìîæåò áûòü ïëîõîé, è, áîëåå òîãî, àïðèîðè ìû íå ìîæåì çíàòü, íàñêîëüêî îíà õîðîøà èëè ïëîõà. Äëÿ îòâåòà íà ýòîò âîïðîñ 6 ïðèõîäèòñÿ èñïîëüçîâàòü äîïîëíèòåëüíûå ñèìóëÿöèîííûå èññëåäîâàíèÿ. Êðîìå òîãî, àñèìïòîòè÷åñêèé ìåòîä â ñëîæíûõ ñèòóàöèÿõ ìîæåò ïîòðåáîâàòü çíà÷èòåëüíûõ àíàëèòè÷åñêèõ âûêëàäîê. Áóòñòðàïîâñêèé ìåòîä â êà÷åñòâå íåèçâåñòíîãî èñòèííîãî ðàñïðåäåëåíèÿ äàííûõ èñïîëüçóåò ýìïèðè÷åñêîå ðàñïðåäåëåíèå äàííûõ, ò.å. êàê äàííûå ëåãëè â âûáîðêå.  äàëüíåéøåì ìû ïîäðîáíåå îáñóäèì áóòñòðàïîâñêèé ìåòîä.  íàñòîÿùåå âðåìÿ ýêîíîìåòðèñòû ïðåäïî÷èòàþò èñïîëüçîâàòü ïðèáëèæåííûé ïîäõîä, ïîñêîëüêó òî÷íûé òðåáóåò ðÿäà î÷åíü ñèëüíûõ ïðåäïîëîæåíèé î ìîäåëè è âèäå ðàñïðåäåëåíèÿ äàííûõ. Âðÿä ëè ðàçóìíî ñ÷èòàòü, ÷òî âèä ýòîãî ðàñïðåäåëåíèÿ èçâåñòåí èññëåäîâàòåëþ. 2 Êîíöåïöèè àñèìïòîòè÷åñêîé òåîðèè ×àñòî èñïîëüçóåìûìè ïîíÿòèÿìè àñèìïòîòè÷åñêîé òåîðèè ÿâëÿþòñÿ íîñòü, àñèìïòîòè÷åñêàÿ íîðìàëüíîñòü àñèìïòîòè÷åñêàÿ ýôôåêòèâíîñòü . bn , ïîëó÷åííîé èç âûáîðñâîéñòâà îöåíêè β è Ïóñòü íàñ èíòåðåñóþò àñèìïòîòè÷åñêèå êè ðàçìåðà n. ñîñòîÿòåëü- Ïîñêîëüêó ìû ïðåäïîëàãàåì ñëó÷àéíóþ ïðèðîäó èñõîäíûõ äàííûõ, ïîñòðîåííàÿ îöåíêà áóäåò ñëó÷àéíîé âåëè÷èíîé. Òàêèì îáðàçîì, ìû èìååì ïîñëåäî- n âàòåëüíîñòü ñëó÷àéíûõ âåëè÷èí äëÿ êàæäîãî p • ñîñòîÿòåëüíîé , åñëè βbn → β , ãäå β ñâîÿ βbn . Îöåíêà βbn ÿâëÿåòñÿ èñòèííîå çíà÷åíèå îöåíèâàåìîãî ïàðàìåò- ðà, • àñèìïòîòè÷åñêè íîðìàëüíîé , åñëè 1 ). Ñîîòâåòñòâåííî, 2 n àñèìïòîòè÷åñêèì ñìåùåíèåì , Σ (îáû÷íî δ = d nδ (βbn − β) → N (µ, Σ) δ íàçûâàåòñÿ äëÿ êàêîãî-òî δ>0 ñêîðîñòüþ ñõîäèìîñòè , µ àñèìïòîòè÷åñêîé äèñïåðñèîííîé ìàòðè- öåé, • áóäó÷è àñèìïòîòè÷åñêè íîðìàëüíîé è àñèìïòîòè÷åñêè íåñìåù¼ííîé íàðÿäó ñ äðóãîé îöåíêîé βen , àñèìïòîòè÷åñêè áîëåå ýôôåêòèâíîé , ÷åì d βen , åñëè ïðè nδ (βbn − β) → N (0, Σ), d e nδ (βen − β) → N (0, Σ), ìàòðèöà e −Σ Σ ÿâëÿåòñÿ íåîòðèöàòåëüíî îïðåäåëåííîé. Ñîñòîÿòåëüíîñòü îöåíêè íåîáõîäèìàÿ íîðìà, ãîâîðÿùàÿ, ÷òî ÷åì áîëüøå äàííûõ, òåì áëèæå íàøà îöåíêà ê èñòèííîìó ïàðàìåòðó. Ìîæíî, êîíå÷íî, ïðåäñòàâèòü ñåáå íåñîñòîÿòåëüíóþ îöåíêó, îáëàäàþùóþ æåëàåìûìè ñâîéñòâàìè â ìàëåíüêèõ âûáîðêàõ, íî òàêàÿ ñèòóàöèÿ îòíîñèòñÿ ê ðàçðÿäó ðåäêèõ èñêëþ÷åíèé. 7 Àñèìïòîòè÷åñêàÿ íîðìàëüíîñòü âàæíà ïî òîé ïðè÷èíå, ÷òî ïðîâåðêà ñòàòèñòè÷åñêèõ ãèïîòåç è ïîñòðîåíèå äîâåðèòåëüíûõ èíòåðâàëîâ òðåáóþò çíàíèÿ ðàñïðåäåëåíèÿ îöåíêè, à òàê êàê òî÷íîãî ðàñïðåäåëåíèÿ ìû íå çíàåì, ïîëüçóåìñÿ àñèìïòîòè÷åñêèì, íîðìàëüíûì, ðàñïðåäåëåíèåì. Çäåñü ôèãóðèðóåò èìåííî íîðìàëüíîå ðàñïðåäåëåíèå, ïîñêîëüêó ïðåäåëüíûå òåîðåìû, ÿâëÿþùèåñÿ ñåðäöåì àñèìïòîòèòåñêîé òåîðèè, ãîâîðÿò èìåííî î íîðìàëüíîñòè ýìïèðè÷åñêèõ ñðåäíèõ â áåñêîíå÷íûõ âûáîðêàõ. Ýôôåêòèâíîñòü îöåíêè æåëàòåëüíà, ïîñêîëüêó ÷åì áîëåå ýôôåêòèâíà îöåíêà, òåì òî÷íåå îíà ïðåäñêàçûâàåò èñòèííûé ïàðàìåòð. Ðàñøèðÿÿ îïðåäåëåíèå, ìîæíî ñêàçàòü, ÷òî äèñïåðñèÿ ýôôåêòèâíîé îöåíêè ìèìíèìàëüíà ñðåäè äèñïåðñèé îöåíîê èç íåêîòîðîãî êëàññà. 3 Î ïîñëåäîâàòåëüíîñòÿõ ñëó÷àéíûõ âåëè÷èí Ïðè ïðåäïîëîæåíèè î ñëó÷àéíîé ïðèðîäå èñõîäíûõ äàííûõ ïîñòðîåííûå îöåíêè ÿâëÿþòñÿ, êàê ïðàâèëî, ñëó÷àéíûìè âåëè÷èíàìè. Äëÿ äàëüíåéøåãî èññëåäîâàíèÿ ñòàòèñòè÷åñêèõ ñâîéñòâ îöåíîê äàäèì íåñêîëüêî îïðåäåëåíèé è ðåçóëüòàòîâ, îòíîñÿùèõñÿ ê òèïàì ñõîäèìîñòè ïîñëåäîâàòåëüíîñòåé ñëó÷àéíûõ âåëè÷èí. Îïðåäåëåíèå 1 (ñõîäèìîñòü ïî÷òè íàâåðíîå). Ìàòðè÷íàÿ ïîñëåäîâàòåëüíîñòü Zn ñëó÷àéíûõ âåëè÷èí ñõîäèòñÿ ê ñëó÷àéíîé ìàòðèöå as ðîÿòíîñòüþ åäèíèöà ), ò.å. Zn → Z , åñëè P n lim Zn = Z n→∞ o Z ïî÷òè íàâåðíîå (èëè ñ âå- = 1, Z. ò.å. ïî÷òè êàæäàÿ òðàåêòîðèÿ ñõîäèòñÿ ê Îïðåäåëåíèå 2 (ñõîäèìîñòü ïî âåðîÿòíîñòè). Ìàòðè÷íàÿ ïîñëåäîâàòåëüíîñòü p Zn ñëó÷àéíûõ âåëè÷èí ñõîäèòñÿ ê ñëó÷àéíîé ìàòðèöå Z ïî âåðîÿòíîñòè , ò.å. Zn → Z èëè p lim Zn = Z , åñëè ∀ε > 0 lim P {kZn − Zk > ε} = 0, n→∞ ò.å. âåðîÿòíîñòü áîëüøèõ îòêëîíåíèé îò Z ñòðåìèòñÿ ê 0. Îïðåäåëåíèå 3 (ñõîäèìîñòü â ñðåäíåêâàäðàòè÷åñêèõ îòêëîíåíèÿõ). Ìàòðè÷íàÿ ïîñëåäîâàòåëüíîñòü â ñðåäíåêâàäðàòè÷åñêèõ Zn ñëó÷àéíûõ âåëè÷èí ñõîäèòñÿ ê ñëó÷àéíîé ìàòðèöå ms îòêëîíåíèÿõ , ò.å. Zn → Z , åñëè lim E kZn − Zk2 = 0, n→∞ ò.å. ñðåäíåêâàäðàòè÷åñêàÿ îøèáêà ñòðåìèòñÿ ê 0. 8 Z Îïðåäåëåíèå 4 (ñõîäèìîñòü ïî ðàñïðåäåëåíèþ). Ìàòðè÷íàÿ ïîñëåäîâàòåëüíîñòü d Zn → Zn Z ñëó÷àéíûõ âåëè÷èí ñõîäèòñÿ ê ñëó÷àéíîé ìàòðèöå d èëè Zn → DZ , ãäå DZ ðàñïðåäåëåíèå Z , åñëè Z ïî ðàñïðåäåëåíèþ , ò.å. lim P {Zn ≤ z} = P {Z ≤ z} n→∞ äëÿ âñåõ òî÷åê íåïðåðûâíîñòè z ðàñïðåäåëåíèÿ DZ . Ìîæíî ïîêàçàòü, ÷òî ñõîäèìîñòü ïî âåðîÿòíîñòè ñëåäóåò èç ñõîäèìîñòè ïî÷òè íàâåðíîå èëè ñõîäèìîñòè â ñðåäíåêâàäðàòè÷åñêèõ îòêëîíåíèÿõ. Ñõîäèìîñòü ïî ðàñïðåäåëåíèþ, â ñâîþ î÷åðåäü, âûòåêàåò èç ñõîäèìîñòè ïî âåðîÿòíîñòè. as p ms Ðåçóëüòàò 1. {Zn → Z Ðåçóëüòàò 2. Zn → Z ⇒ Zn → Z . p èëè Zn → Z} ⇒ Zn → Z . d Ðåçóëüòàò 3. Åñëè Z êîíñòàíòà, òî p d Zn → Z ⇔ Zn → Z Ïðèìåð. Ðàññìîòðèì ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ âåëè÷èí Z Z Z Z Z , , , ,..., ,..., 1 2 3 4 n {Zn } : ãäå Z èìååò ñòàíäàðòíîå íîðìàëüíîå ðàñïðåäåëåíèå. Òîãäà E(Zn ) = 0 è V ar(Zn ) = Òàêèì îáðàçîì 4 ms Zn → 0, à, ñëåäîâàòåëüíî, è p 1 . n2 Zn → 0. Î ïîñëåäîâàòåëüíîñòÿõ ôóíêöèé ñëó÷àéíûõ âåëè÷èí Ñóùåñòâóåò íåñêîëüêî ïîëåçíûõ òåîðåì, êîòîðûå íàì ïîíàäîáÿòñÿ âïîñëåäñòâèè. Çäåñü îíè ïðèâåäåíû áåç äîêàçàòåëüñòâà. Òåîðåìà (ÌàííàÂàëüäà). Ïóñòü ôóíêöèÿ g : Rk1 ×k2 → Rl1 ×l2 íåïðåðûâíà, à Zn ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ âåëè÷èí. Òîãäà as • åñëè Zn → Z , • åñëè Zn → Z , • åñëè Zn → Z • åñëè Zn → Z , p ms d Çàìå÷àíèå : Åñëè as òî g(Zn ) → g(Z), òî g(Zn ) → g(Z), è p g òî Z ëèíåéíà, òî ms g(Zn ) → g(Z), d g(Zn ) → g(Z). êîíñòàíòà, òî äëÿ âûïîëíåíèÿ òåîðåìû äîñòàòî÷íà òîëüêî ëî- êàëüíàÿ íåïðåðûâíîñòü ôóíêöèè g â òî÷êå Z. Òåîðåìà (Ñëóöêîãî). Åñëè ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ âåëè÷èí âåðîÿòíîñòè ê íåêîòîðîé êîíñòàíòå U, Un ñõîäèòñÿ ïî à ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ âåëè÷èí p d ñõîäèòñÿ ïî ðàñïðåäåëåíèþ ê ñëó÷àéíîé âåëè÷èíå V , ò.å. Un → U è Vn → V , òî 9 Vn d • Un + Vn → U + V, d • Un Vn → U V, d • Un−1 Vn → U −1 V , åñëè P r{det(Un ) = 0} = 0. Åù¼ ðàç îáðàòèì âíèìàíèå íà òîò ôàêò, ÷òî â òåîðåìå Ñëóöêîãî îäíà ïîñëåäîâàòåëüíîñòü äîëæíà ñõîäèòüñÿ ïî âåðîÿòíîñòè ê êîíñòàíòå . Åñëè ýòî íå òàê, òî òåîðåìà, âîîáùå ãîâîðÿ, íå âåðíà. Ñëåäóþùèé ïðèìåð äåìîíñòðèðóåò ýòî. Ïðèìåð. Ïóñòü ñëó÷àéíàÿ âåëè÷èíà ëåíèå, ò.å. Îäíàêî, èìååò ñòàíäàðòíîå íîðìàëüíîå ðàñïðåäå- Z ∼ N (0, 1). Ðàññìîòðèì äâå ïîñëåäîâàòåëüíîñòè ñëó÷àéíûõ âåëè÷èí : p d è {Xn } = {Z, −Z, Z, −Z, . . . }. ßñíî, ÷òî {Zn } → Z è {Xn } → {Zn } = {Z, Z, Z, Z, . . .} Z. Z {Zn + Xn } = {2Z, 0, 2Z, 0, 2Z, . . . }. Òàêèì îáðàçîì, ïîñëåäîâàòåëüíîñòü ñóììû ñëó÷àéíûõ âåëè÷èí íå ñõîäèòñÿ âîîáùå íèêóäà, ò.å. òåîðåìà Ñëóöêîãî íåïðèìåíèìà. Òåîðåìà (Äåëüòà Ìåòîä). Ïóñòü ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ âåêòîðîâ ìåðíîñòè k×1 óäîâëåòâîðÿåò óñëîâèþ êîíñòàíòà, à ôóíêöèÿ k g: R → R √ ãäå G= l √ d n(Zn − Z) → N (0, Σ), ãäå Z ðàç- Z = p lim Zn íåïðåðûâíî äèôôåðåíöèðóåìà â òî÷êå Z. Òîãäà d n(g(Zn ) − g(Z)) → N (0, GΣG0 ), ∂g(z) | . ∂z 0 z=Z Ïðèìåðû 1 è 2 äåìîíñòðèðóþò ïðèìåíåíèå òåîðåìû ÌàííàÂàëüäà è Äåëüòà Ìåòîäà íà ïðàêòèêå. Ïðèìåð 1. Ïóñòü p x→µ ðåíöèðóåìóþ ôóíêöèþ è √ d n(x − µ) → N (0, Σ). g(x) = x0 x. Ðàññìîòðèì íåïðåðûâíî äèôôå- Ïî òåîðåìå ÌàííàÂàëüäà √ d Σ−1/2 n(x − µ) → N (0, Ik ), ãäå (Σ−1/2 )0 Σ−1/2 = Σ−1 . Òàêèì îáðàçîì, ïîëó÷àåì ñëåäóþùèé ðåçóëüòàò : √ d n(x − µ)0 Σ−1 (x − µ) → χ2 (k). Èñïîëüçóÿ Äåëüòà Ìåòîä è ó÷èòûâàÿ, ÷òî √ Ïðèìåð 2. Ïóñòü √ G= ∂(x0 x) | ∂x0 µ = 2x0 |µ = 2µ0 , d n(x0 x − µ0 µ) → N (0, 4µ0 Σµ). x1 µ1 d n − → N (0, I2 ). x2 µ2 10 ïîëó÷èì : Ðàññìîòðèì íåïðåðûâíî äèôôåðåíöèðóåìóþ ôóíêöèþ g x1 x2 Âàëüäà, = x1 . Ïî òåîðåìå Ìàííà x2 x1 − µ1 d N (0, 1) → , x 2 − µ2 N (0, 1) ò.å. èíòåðåñóþùàÿ íàñ âåëè÷èíà èìååò ðàñïðåäåëåíèå Êîøè. Ïðèìåíÿÿ æå Äåëüòà Ìåòîä, èìååì : x1 x2 G= ∂(x1 , x2 ) ∂ òàê ÷òî √ 5 = (µµ12 ) 1 µ1 ,− µ2 µ2 2 µ1 x 1 µ1 d 1 + µ2 n − → N 0, x 2 µ2 µ22 , . Ïðåäåëüíûå òåîðåìû äëÿ íåçàâèñèìûõ íàáëþäåíèé Îñíîâíûìè èíñòðóìåíòàìè ïîñòðîåíèÿ ñòàòèñòè÷åñêèõ âûâîäîâ â àñèìïòîòè÷åñêîì ïîäõîäå ÿâëÿþòñÿ ìû Çàêîíû Áîëüøèõ ×èñåë (ÇÁ×) è Öåíòðàëüíûå Ïðåäåëüíûå Òåîðå- (ÖÏÒ). ÇÁ× ïðåäñòàâëÿåò ñîáîé ðåçóëüòàò î ñõîäèìîñòè âûáîðî÷íîãî ñðåäíåãî ê ïîïóëÿöèîííîìó ñðåäíåìó, ÖÏÒ äàåò ïðåäñòàâëåíèå î ïðåäåëüíîì ðàñïðåäåëåíèè îïðåäåëåííûì îáðàçîì íîðìèðîâàííîãî öåíòðèðîâàííîãî âûáîðî÷íîãî ñðåäíåãî. Ñóùåñòâóåò äîâîëüíî áîëüøîå êîëè÷åñòâî ôîðìóëèðîâîê ÇÁ× è ÖÏÒ. Íàñ áóäóò èíòåðåñîâàòü ïðåäåëüíûå òåîðåìû äëÿ äâóõ îñíîâíûõ ñëó÷àåâ : ñëó÷àé áëþäåíèé è ñëó÷àé ñòàöèîíàðíûõ ýðãîäè÷íûõ âðåìåííûõ ðÿäîâ . íåçàâèñèìûõ íàÄàëåå ïðèâîäÿòñÿ ÇÁ× è ÖÏÒ äëÿ íåçàâèñèìûõ èëè ñåðèéíî íåñêîððåëèðîâàííûõ ñêàëÿðíûõ ñëó÷àéíûõ âåëè÷èí. Òåîðåìà Êîëìîãîðîâà (íåçàâèñèìûå îäèíàêîâî ðàñïðåäåëåííûå íàáëþäåíèÿ). Ïóñòü ñëó÷àéíûå âåëè÷èíû {Zn }∞ i=1 íåçàâèñèìû è îäèíàêîâî ðàñïðåäåëåíû. Êðîìå òîãî, ïóñòü ñóùåñòâóåò ìàòåìàòè÷åñêîå îæèäàíèå E|Zi |. Òîãäà n 1X as Zi → E[Zi ]. n i=1 Òåîðåìà Êîëìîãîðîâà (íåçàâèñèìûå íåîäíîðîäíûå íàáëþäåíèÿ). Ïóñòü ñëó÷àéíûå âåëè÷èíû ∞, 2 {Zn }∞ i=1 íåçàâèñèìû è èìåþò êîíå÷íûå äèñïåðñèè σi . Åñëè òî σi2 i=1 i2 P∞ < " n # n 1X 1X as Zi − E Zi → 0. n i=1 n i=1 Òåîðåìà ×åáûøåâà (íåñêîððåëèðîâàííûå íàáëþäåíèÿ). Ïóñòü ñëó÷àéíûå âåëè÷èíû {Zn }∞ i=1 íåñêîððåëèðîâàíû, ò.å. Cov(Zi , Zj ) = 0 äëÿ i 6= j . Åñëè 11 1 n2 Pn i=1 σi2 → n→∞ 0, òî " n # n 1X 1X p Zi − E Zi → 0. n i=1 n i=1 Òåîðåìà Ëèíäáåðãà-Ëåâè (íåçàâèñèìûå îäèíàêîâî ðàñïðåäåëåííûå íàáëþäåíèÿ). Ïóñòü ñëó÷àéíûå âåëè÷èíû ñ ìàòåìàòè÷åñêèì îæèäàíèåì √ {Zn }∞ i=1 E[Zi ] = µ è äèñïåðñèåé n n íåçàâèñèìû è îäèíàêîâî ðàñïðåäåëåíû 1X Zi − µ n i=1 ! V ar[Zi ] = σ 2 . Òîãäà : d → N (0, σ 2 ). Òåîðåìà Ëÿïóíîâà (íåçàâèñèìûå íåîäíîðîäíûå íàáëþäåíèÿ). Ïóñòü ñëó÷àéíûå âåëè÷èíû ïåðñèåé {Zn }∞ i=1 V ar[Zi ] = íåçàâèñèìû ñ ìàòåìàòè÷åñêèì îæèäàíèåì σi2 è òðåòüèì öåíòðàëüíûì ìîìåíòîì åñëè E[|Zi − µi |3 ] = νi . Òîãäà, P 1/3 ( ni=1 νi ) → 0, P 1/2 ( ni=1 σi2 ) n→∞ òî 6 E[Zi ] = µi , äèñ- Pn i=1 (Zi − µi ) d → N (0, 1). Pn 1/2 ( i=1 σi2 ) Àñèìïòîòè÷åñêèå ñòàòèñòè÷åñêèå âûâîäû Èäåÿ ïîñòðîåíèÿ ñòàòèñòè÷åñêèõ âûâîäîâ ïðè ïîìîùè àñèìïòîòè÷åñêîãî ìåòîäà äîâîëüíî î÷åâèäíà. Âìåñòî òî÷íîãî ðàñïðåäåëåíèÿ îöåíêè áåðåòñÿ àñèìïòîòè÷åñêîå, íà îñíîâàíèè êîòîðîãî ñòðîÿòñÿ ðàñïðåäåëåíèÿ òåñòîâûõ ñòàòèñòèê. Ïðèìåð. Ïóñòü √ d n(Z n − µ) → N (0, σ 2 ).  äàííîì ñëó÷àå ìû èìååì äåëî ñ âûáîðî÷íûì ñðåäíèì Z n, êîòîðîå ñîãëàñíî ÖÏÒ èìååò àñèìïòîòè÷åñêè íîðìàëüíîå ðàñïðåäåëåíèå. Çàìåòèì, ÷òî â äàííîì ñëó÷àå ðàñïðåäåëåíèå çàâèñèò îò íåèçâåñòíîãî ïàðàìåòðà σ2, ïîýòîìó ñòàòèñòèêà Zn ÿâëÿåòñÿ àñèìïòîòè÷åñêè íåïèâîòàëüíîé ñòàòèñòèêîé . Îïðåäåëåíèå. Ñòàòèñòèêà íàçûâàåòñÿ (àñèìïòîòè÷åñêè) ïèâîòàëüíîé , åñëè åå (àñèì- ïòîòè÷åñêîå) ðàñïðåäåëåíèå íå çàâèñèò îò íåèçâåñòíûõ ïàðàìåòðîâ. Âîçâðàùàÿñü ê íàøåìó ïðèìåðó, ìû ìîæåì ïîëó÷èòü ïèâîòàëüíóþ ñòàòèñòèêó, ïîñòðîèâ ñîñòîÿòåëüíóþ îöåíêó äèñïåðñèè √ n(Z n − µ) = σ b √ σ b2 : n(Z n − µ) σ d → N (0, 1), σ σ b 12 √ d òàê êàê ñîãëàñíî ÖÏÒ n(Z n − µ)/σ → N (0, 1), à â ñèëó ñîñòîÿòåëüíîñòè îöåíêè p σ b2 , σ/b σ → 1. Òåïåðü, çíàÿ àñèìïòîòè÷åñêîå ðàñïðåäåëåíèå ïîñòðîåííîé ñòàòèñòèêè ìîæíî ïîñòðîèòü äîâåðèòåëüíûé èíòåðâàë. Òàê àñèìïòîòè÷åñêèé äîâåðèòåëüíûé èíòåðâàë äëÿ µ áóäåò σ b N (0,1) σ b N (0,1) Z n − √ q1− α , Z n + √ q1− α . 2 2 n n Ïðåäïîëîæèì òåïåðü, ÷òî íàì íóæíî ïðîòåñòèðîâàòü ãèïîòåçó ãëàñíî ïîñòðîåííîìó íàìè îòâåðãàòüñÿ, åñëè √ H 0 : µ = µ0 . Ñî- α-ïðîöåíòíîìó äîâåðèòåëüíîìó èíòåðâàëó ãèïîòåçà áóäåò N (0,1) n|Z n − µ0 |/b σ > q1− α 2 .  ïðîòèâíîì ñëó÷àå ãèïîòåçà ïðèíèìàåò- ñÿ. Îñòàëîñü ïîñòðîèòü ñîñòîÿòåëüíóþ îöåíêó äèñïåðñèè. Îêàçûâàåòñÿ, âûáîðî÷íàÿ äèñïåðñèÿ áóäåò ñîñòîÿòåëüíîé îöåíêîé äëÿ äèñïåðñèè : v v u n u n X u1 X u1 p 2 t (Zi − Z n ) = t (Zi − µ)2 − (Z n − µ)2 → σ, σ b= n i=1 n i=1 ïîñêîëüêó èç ÇÁ× ñëåäóåò, ÷òî 7 1 n Pn i=1 (Zi p − µ)2 → E[(Zi − µ)2 ] = σ 2 è p (Z n − µ)2 → 0. Àñèìïòîòèêà äëÿ ñòàöèîíàðíûõ âðåìåííûõ ðÿäîâ Äî ñèõ ïîð ìû ðàññìàòðèâàëè àñèìïòîòè÷åñêèå ñâîéñòâà îöåíîê â ñëó÷àå íåçàâèñèìûõ íàáëþäåíèé, è åñëè ó íàñ åñòü ïîñëåäîâàòåëüíîñòü ìîãëè ñêàçàòü, ÷òî ó íàñ èìååòñÿ n Z 1 , Z2 , Z3 , . . . , Zn , ìû íàáëþäåíèé.  ñëó÷àå âðåìåííûõ ðÿäîâ (íàáëþ- äåíèé âî âðåìåíè) ýòî, âîîáùå ãîâîðÿ, íå òàê. Êàæäàÿ òðàåêòîðèÿ îäíî íàáëþäåíèå , ïðåäñòàâëÿåò ñîáîé â îáùåì ñëó÷àå Z1 , Z2 , Z3 , . . . , ZT à èç îäíîãî íàáëþäåíèÿ äå- ëàòü ñòàòèñòè÷åñêèå âûâîäû ïðîáëåìàòè÷íî. Ïîýòîìó íà ïðèðîäó èñõîäíûõ äàííûõ ïðèõîäèòñÿ íàêëàäûâàòü êàêóþ-òî ñòðóêòóðó. ×àñòî äëÿ ýòîãî èñïîëüçóþòñÿ ïðåäïîëîæåíèÿ î ñòàöèîíàðíîñòè è ýðãîäè÷íîñòè ýòî ñòàáèëüíîñòü ðàñïðåäåëåíèÿ Zt ðÿäà. Ãðóáî ãîâîðÿ, âî âðåìåíè, à ñòàöèîíàðíîñòü ýðãîäè÷íîñòü ýòî ïîòåðÿ ïàìÿòè, èëè àñèìïòîòè÷åñêàÿ íåçàâèñèìîñòü îò íà÷àëüíûõ äàííûõ. Äàäèì áîëåå ÷åòêèå îïðåäåëåíèÿ : Îïðåäåëåíèå. Âðåìåííîé ðÿä íàçûâàåòñÿ ðàñïðåäåëåíèå Zt , Zt−1 , . . . , Zt−k ñòðîãî ñòàöèîíàðíûì , íå çàâèñèò îò t äëÿ ëþáûõ åñëè ñîâìåñòíîå k. Ïîñêîëüêó òî÷íîå îïðåäåëåíèå ýðãîäè÷íîñòè èñïîëüçóåò ïîíÿòèÿ òåîðèè ìåðû, äàäèì èíòóèòèâíîå îïðåäåëåíèå : Îïðåäåëåíèå. Âðåìåííîé ðÿä òè÷åñêè íåçàâèñèìû ïðè Zt íàçûâàåòñÿ k → ∞. 13 ýðãîäè÷íûì , åñëè Zt è Zt+k àñèìïòî- Ïðèâåäåì ïðèìåðû ðàçëè÷íûõ ñòàöèîíàðíûõ èëè íåñòàöèîíàðíûõ è ýðãîäè÷íûõ èëè íåýðãîäè÷íûõ âðåìåííûõ ðÿäîâ. Ïðèìåð 1 (ñòàöèîíàðíûå ýðãîäè÷íûå ðÿäû). • Zt ∼ iid, íåçàâèñèìûå îäèíàêîâî ðàñïðåäåëåííûå íàáëþäåíèÿ, • εt ∼ iid(0, σ 2 ), ñèëüíûé áåëûé øóì, • AR(1) : zt = ρzt−1 + εt , |ρ| < 1, • M A(1) : zt = εt + θεt−1 . Ïðèìåð 2 (íåñòàöèîíàðíûå íåýðãîäè÷íûå ðÿäû). • zt = zt−1 + εt , ñëó÷àéíîå áëóæäàíèå. Çäåñü äèñïåðñèÿ íàáëþäåíèé ðàñòåò ñî V ar(zt ) = V ar(zt−1 ) + σε2 , ò.å. ðÿä íå ìîæåò áûòü ñòàöèîíàðåí. Êðîìå Pt íà÷àëüíûå äàííûå íå çàáûâàþòñÿ ñî âðåìåíåì : zt = z0 + i=1 εi , è ðÿä âðåìåíåì : òîãî, íåýðãîäè÷åí. Ïðèìåð 3 (ñòàöèîíàðíûå íåýðãîäè÷íûå ðÿäû). • Ïóñòü z ∼ N (0, 1) è zt = z + εt , ãäå εt è z íåçàâèñèìû. Î÷åâèäíî, ÷òî ðÿä zt ñòàöèîíàðåí, íî íåýðãîäè÷åí. Ïðèìåð 4 (íåñòàöèîíàðíûå ýðãîäè÷íûå ðÿäû). • Ñåçîííûé ðÿä : zt = s(τ, t) + εt , ãäå s(τ, t) = s(τ, t + τ ). Ðåçóëüòàò. Åñëè ñëó÷àéíûé ïðîöåññ zt ÿâëÿåòñÿ ñòàöèîíàðíûì è ýðãîäè÷íûì, è åñëè Yt = f (zt , zt−1 . . .) åñòü ñëó÷àéíàÿ âåëè÷èíà, òî Yt òàêæå ÿâëÿåòñÿ ñòàöèîíàðíûì è t íàçûâàþòñÿ âñå ðåàëèçîâàâøèåñÿ ýðãîäè÷íûì ðÿäîì. Îïðåäåëåíèå. çíà÷åíèÿ zk Èíôîðìàöèåé âïëîòü äî Îïðåäåëåíèå. Ðÿä íèé zt zt , ò.å. â ìîìåíò âðåìåíè It = {zt , zt−1 , . . .}. íàçûâàåòñÿ ïîñëåäîâàòåëüíîñòüþ ìàðòèíãàëüíûõ ïðèðàùå- (ÏÌÏ) ïî îòíîøåíèþ ê ñâîåìó ïðîøëîìó, åñëè E[zt |It−1 ] = 0. Ñôîðìóëèðóåì ÇÁ× è ÖÏÒ äëÿ âðåìåííûõ ðÿäîâ. Òåîðåìà ÁèðêîôôàÕèí÷èíà (çàâèñèìûå íàáëþäåíèÿ). Ïóñòü ðÿä ñòàöèîíàðåí è ýðãîäè÷åí. Êðîìå òîãî, ïóñòü E[|Zt |] < ∞, T 1X as Zt → E[Zt ] T t=1 14 òîãäà {Zt }+∞ t=−∞ ïðè T → ∞. Òåîðåìà Áèëëèíãñëåÿ (ïîñëåäîâàòåëüíîñòü ìàðòèíãàëüíûõ ïðèðàùåíèé). Ïóñòü ðÿä {Zt }+∞ t=−∞ ñòàöèîíàðåí, ýðãîäè÷åí è ÿâëÿåòñÿ ÏÌÏ ïî îòíîøåíèþ ê ñâîåìó σ 2 = E[Zt2 ] < ∞, ïðîøëîìó. Êðîìå òîãî, ïóñòü òîãäà T 1 X d √ Zt → N (0, σ 2 ) T t=1 ïðè T → ∞. Òåîðåìà (çàâèñèìûå íàáëþäåíèÿ). Ïóñòü ðÿä {Zt }+∞ t=−∞ ñòàöèîíàðåí è ýðãîäè- ÷åí. Êðîìå òîãî, ïóñòü 2 σ = +∞ X Cov[Zt , Zt−j ] < ∞. j=−∞ Òîãäà ïðè îïðåäåëåííûõ óñëîâèÿõ, √ ïðè T T 1X Zt − E[Zt ] T t=1 ! d → N (0, σ 2 ) T → ∞. Ïðèâåäåì ïðèìåðû èñïîëüçîâàíèÿ èçëîæåíûõ âûøå òåîðåì äëÿ èññëåäîâàíèÿ àñèìïòîòè÷åñêèõ ñâîéñòâ îöåíîê íà âðåìåííûõ ðÿäàõ. Ïðèìåð. Ðàññìîòðèì àâòîðåãðåññèîííûé ïðîöåññ ïåðâîãî ïîðÿäêà AR(1) : xt = ρxt−1 + εt , |ρ| < 1, εt ∼ iid(0, σ 2 ). Íàñ èíòåðåñóþò àñèìïòîòè÷åñêèå ñâîéñòâà ÌÍÊ-îöåíêè ρb = PT xt−1 xt Pt=2 T 2 t=2 xt−1 PT = ρ + Pt=2 T xt−1 εt t=2 x2t−1 . Ïî òåîðåìå ÁèðêîôôàÕèí÷èíà, T 1 X p xt−1 εt → E[xt−1 εt ] = 0, T − 1 t=2 T 1 X 2 p xt−1 → E[x2t−1 ]. T − 1 t=2 Ñëåäîâàòåëüíî, ïî òåîðåìå Ñëóöêîãî îöåíêà p ρb → ρ. ρb ÿâëÿåòñÿ ñîñòîÿòåëüíîé îöåíêîé, ò.å. Òåïåðü íàéäåì àñèìïòîòè÷åñêîå ðàñïðåäåëåíèå ÌÍÊ-îöåíêè : √ T (b ρ − ρ) = √1 T −1 1 T −1 PT t=2 xt−1 εt PT 2 t−2 xt−1 15 r T . T −1 q PT p T 1 2 2 → 1, à T −1 t−2 xt−1 → E[xt−1 ]. Ïîêàæåì, ÷òî ïîñëåäîâàòåëüT −1 n→∞ íîñòü xt−1 εt ÿâëÿåòñÿ ïîñëåäîâàòåëüíîñòüþ ìàðòèíãàëüíûõ ïðèðàùåíèé ïî îòíîøåÎ÷åâèäíî, ÷òî íèþ ê ñâîåìó ïðîøëîìó, ò.å. èíôîðìàöèîííîìó ìíîæåñòâó It−1 = {xt−2 εt−1 , xt−3 εt−2 . . .} : E[xt−1 εt |It−1 ] = E[E[xt−1 εt |xt−1 , xt−2 εt−1 . . .]|It−1 ] = 0, ò.å. ïîñëåäîâàòåëüíîñòü xt−1 εt ÿâëÿåòñÿ ÏÌÏ. Òàêèì îáðàçîì, ìû ìîæåì ïðèìåíèòü ÖÏÒ Áèëëèíãñëåÿ : T X 1 d √ xt−1 εt → N (0, E[x2t−1 ε2t ]). T − 1 t=2 Çàìåòèâ, ÷òî E[x2t ] = V ar[xt ] = ρ2 V ar[xt−1 ] + σ 2 = ðåçóëüòàò : √ σ2 , ïîëó÷èì îêîí÷àòåëüíûé 1−ρ2 d T (b ρ − ρ) → N (0, 1 − ρ2 ). Ñîîòâåòñòâóþùàÿ ïèâîòàëüíàÿ ñòàòèñòèêà áóäåò √ T (b ρ − ρ) d p → N (0, 1). 1 − ρb2 ρ åñòü " # r r 1 − ρb2 1 − ρb2 CIρ = ρb − 1.96 ; ρb + 1.96 . T T  ðåçóëüòàòå, 95%-íûé äîâåðèòåëüíûé èíòåðâàë äëÿ Îáðàòèìñÿ åùå ðàç ê ÖÏÒ äëÿ çàâèñèìûõ íàáëþäåíèé. Âèä âàðèàöèîííîé ìàòðèöû â àñèìïòîòè÷åñêîì ðàñïðåäåëåíèè îöåíêè òðåáóåò íåêîòîðîãî ïîÿñíåíèÿ. Êîãäà ìû èìååì äåëî ñ ïîñëåäîâàòåëüíîñòüþ ìàðòèíãàëüíûõ ïðèðàùåíèé 0 äëÿ j > 0, σ 2 = E[Zt2 ]. Zt , ó íàñ E[Zt Zt−j ] = ïîýòîìó àñèìïòîòè÷åñêàÿ äèñïåðñèÿ äëÿ ÏÌÏ èìååò ïðîñòîé âèä : Îäíàêî, âñ¼ ñëîæíåå äëÿ áîëåå çàâèñèìûõ íàáëþäåíèé : # " T # T X 1 1 X Zt = V ar Zt = V ar √ T T t=1 t=1 1 = [T V ar(Zt ) + (T − 1)Cov(Zt , Zt+1 ) + (T − 1)Cov(Zt , Zt−1 ) + T + (T − 2)Cov(Zt , Zt+2 ) + (T − 2)Cov(Zt , Zt−2 ) + . . . + +∞ X + Cov(Z1 , ZT ) + Cov(ZT , Z1 )] → Cov(Zt , Zt−j ). " T →∞ j=−∞ Ðàññìîòðèì ïðèìåð ñ çàâèñèìûìè íàáëþäåíèÿìè, êîãäà àñèìïòîòè÷åñêóþ äèñïåðñèîííóþ ìàòðèöó ïðèõîäèòñÿ ñ÷èòàòü ïî óêàçàííîé âûøå ôîðìóëå. ßñíî, ÷òî â ýòîì ñëó÷àå îøèáêè äîëæíû áûòü ñêîððåëèðîâàíûìè. 16 Ïðèìåð. Ðàññìîòðèì ïðîöåññ ñêîëüçÿùåãî ñðåäíåãî ïåðâîãî ïîðÿäêà M A(1) : zt = εt + θεt−1 , εt ∼ iid(0, σ 2 ). Çàìåòèì, ÷òî V ar(zt ) = (1 + θ2 )σ 2 , Cov(zt , zt−1 ) = θσ 2 , Cov(zt , zt−j ) = 0, j > 1.  ýòîì ñëó÷àå, +∞ X Cov(zt , zt−j ) = (1 + θ2 )σ 2 + 2θσ 2 = (1 + θ)2 σ 2 . j=−∞ Òîãäà, ñîãëàñíî ÖÏÒ äëÿ çàâèñèìûõ íàáëþäåíèé, T 1 X d √ zt → N (0, (1 + θ)2 σ 2 ). T t=1 Îáðàòèì âíèìàíèå íà òî, ÷òî â ýòîì ñëó÷àå {zt−1 , zt−2 , zt−3 . . .}, ò.ê. zt íå ÿâëÿåòñÿ ÏÌÏ îòíîñèòåëüíî It = E[zt |zt−1 , zt−2 , . . .] = θεt−1 6= 0. Äëÿ ïîëó÷åíèÿ ïèâîòàëüíîé ñòàòèñòèêè âîçíèêàåò íåîáõîäèìîñòü ñîñòîÿòåëüíîãî îöåíèâàíèÿ àñèìïòîòè÷åñêîé äèñïåðñèîííîé ìàòðèöû. Âèä èñêîìîé îöåíêè ìîæåò áûòü T T −1 T X 1 X 1X 0 b Ω= (Zt − Z)(Zt − Z) + {(Zt − Z)(Zt−j − Z)0 + (Zt − Z)(Zt+j − Z)0 }. T t=1 T j=1 t=j+1 Óâû, òàêàÿ îöåíêà íå áóäåò ñîñòîÿòåëüíîé, ò.å. p b9 Ω Ω. Äåëî â òîì, ÷òî èç-çà êîíå÷íî- ñòè âûáîðêè íåâîçìîæíî ñîñòîÿòåëüíî îöåíèòü êðàéíèå ÷ëåíû ðÿäà. Òàêèì îáðàçîì, èñïîëüçóÿ ýðãîäè÷íîñòü, íåîáõîäèìî îáðåçàòü ðÿä íà ñëàãàåìîì íîìåð òàêîì, ÷òîáû ïðè T →∞ ìû èìåëè m→∞ è m/T → 0. m << T , Íüþè è Óýñò ïðåäëîæè- ëè ñîñòîÿòåëüíóþ îöåíêó âàðèàöèîííîé ìàòðèöû, êîòîðàÿ ïî ïîñòðîåíèþ ÿâëÿåòñÿ ïîëîæèòåëüíî îïðåäåëåííîé : bNW = Ω m X j=−m |j| 1− m+1 1 T min(T,T +j) X (Zt − Z)(Zt−j − Z)0 . t=max(1,1+j) Äëÿ ïðàêòè÷åñêîãî èñïîëüçîâàíèÿ áûëà ïðåäëîæåíà ñëåäóþùàÿ ôîðìóëà âûáîðà m: " 1/3 # T m= 4 . 100 Òàêîé âûáîð m äàåò õîðîøèå ðåçóëüòàòû â ñìûñëå òî÷íîñòè îöåíîê, çà èñêëþ÷åíèåì òåõ ñëó÷àåâ, êîãäà çàòóõàíèå âîçìóùåíèé â ïðîöåññå ïðîèñõîäèò ìåäëåííî, ò.å. êîðíè ñîîòâåòñòâóþùèõ ïîëèíîìîâ ëåæàò áëèçêî ê åäèíè÷íîìó êðóãó. 17 Âåðíåìñÿ ê óæå ðàññìîòðåííîìó ïðèìåðó MA(1) : zt = εt + θεt−1 . Âîò ðåçóëüòàò, êîòîðûé ìû ïîëó÷èëè : T 1 X d √ zt → N (0, (1 + θ)2 σ 2 ). T t=1 Äîïóñòèì òåïåðü, ÷òî ìû õîòèì ïîëó÷èòü ñîñòîÿòåëüíóþ îöåíêó äëÿ àñèìïòîòè÷åñêîé äèñïåðñèè. Íà ïðàêòèêå ó íàñ åñòü òðè âîçìîæíûõ ñïîñîáà : • èðîâàòü ñîñòîÿòåëüíóþ îöåíêó • p p θb → θ è σ b2 → σ 2 , à çàòåì ñêîíñòðób 2σ àñèìïòîòè÷åñêîé äèñïåðñèè : σ b2 = (1 + θ) b2 . Ìû ìîæåì ïîñòðîèòü ñîñòîÿòåëüíûå îöåíêè z σz2 = V ar(zt ) + 2Cov(zt , zt−1 ), ìû \ ìîæåì ñêîíñòðóèðîâàòü ñîñòîÿòåëüíóþ îöåíêó â âèäå σ b2 = V\ ar(zt )+2Cov(z t , zt−1 ), Çíàÿ, ÷òî èñêîìàÿ äèñïåðñèÿ âûðàæàåòñÿ êàê z ãäå T T 1X 1X 2 \ \ V ar(zt ) = z , Cov(zt , zt−1 ) = zt zt−1 . T t=1 t T t=2 • Ìû ìîæåì èñïîëüçîâàòü ïðèâåäåííóþ âûøå îöåíêó ÍüþèÓýñòà : σ bz2 8 = m X j=−m |j| 1− m+1 1 T min(T,T +j) X zt zt−j . t=max(1,1+j) Ââåäåíèå â àñèìïòîòèêó äëÿ íåñòàöèîíàðíûõ ïðîöåññîâ Åñëè âðåìåííîé ðÿä íå ñòàöèîíàðåí, à èìååò ñòîõàñòè÷åñêèå òðåíäû, ïîñòðîåíèå ñòàòèñòè÷åñêèõ âûâîäîâ çíà÷èòåëüíî óñëîæíÿåòñÿ. Çäåñü ìû ðàññìîòðèì ïðîñòåéøèé ïðèìåð âàæíîãî êëàññà íåñòàöèîíàðíûõ ïðîöåññîâ. Ïóñòü Xt îïèñûâàåòñÿ óðàâíåíè- åì ñëó÷àéíîãî áëóæäàíèÿ, ò.å. : Xt = Xt−1 + εt , X0 = 0, εt ∼ iid(0, σ 2 ). Òîãäà âûáîðî÷íîå ñðåäíåå âûðàæàåòñÿ ñëåäóþùèì îáðàçîì : T 1X εT 2 T −t+1 Xt = + εT −1 + · · · + εt + · · · + ε1 . T t=1 T T T Ñëåäîâàòåëüíî, V ar T 1X Xt T t=1 ò.å. V ar ! = σ2 T 1X Xt T t=1 1+ ! T −1 T = σ2 2 2 2 ! 2 1 + ··· + + , T T (T + 1)(2T + 1) = O(T ). 6T 18 Ðàññóæäàÿ àíàëîãè÷íî, â ðåçóëüòàòå ìû ïîëó÷èì : T 1 X T 3/2 ãäå V1 , V2 , V3 t=1 T T 1X 1 X 2 p p Xt → V1 , Xt−1 εt → V2 , 2 X → V3 , T t=1 T t=1 t−1 p íåêîòîðûå ñëó÷àéíûå âåëè÷èíû. Åñëè ìû òåïåðü èñïîëüçóåì ÌÍÊ-îöåíêó äëÿ ρ, êîòîðîå ðàâíî åäèíèöå, òî àñèì- ïòîòè÷åñêèå ñâîéñòâà ýòîé îöåíêè áóäóò ñëåäóþùèå : p T (b ρ − 1) → V2 . V3 ñóïåðñîñòîÿòåëüíà , ò.å. ñêîðîñòü ñõîäèìî√ ñòè ê àñèìïòîòè÷åñêîìó ðàñïðåäåëåíèþ ïðåâûøàåò T . Âî-âòîðûõ, àñèìïòîòè÷åñêîå Âî-ïåðâûõ, ÌÍÊ-îöåíêà â äàííîì ñëó÷àå ðàñïðåäåëåíèå íåñòàíäàðòíî : îíî íå ÿâëÿåòñÿ íîðìàëüíûì, çàòî îáëàäàåò íåíóëåâûìè ñìåùåíèåì è ñêîøåííîñòüþ. Îíî íîñèò íàçâàíèå II 1 ðàñïðåäåëåíèÿ ÄèêèÔóëëåðà . Áóòñòðàïîâñêèé ïîäõîä Ïðèáëèæåíèå èñòèííîãî ðàñïðåäåëåíèÿ áóòñòðàïîâñêèì  îñíîâå áóòñòðàïîâñêîãî ïîäõîäà ëåæèò èäåÿ, ÷òî èñòèííîå ðàñïðåäåëåíèå äàííûõ ìîæíî õîðîùî ïðèáëèçèòü ýìïèðè÷åñêèì. Òàêèì îáðàçîì ìîæåò áûòü ïîëó÷åíî ïðèáëèæåííîå ðàñïðåäåëåíèå èíòåðåñóþùåé íàñ ñòàòèñòèêè. Ïóñòü èç èñõîäíîé ïîïóëÿöèè ñ ðàñïðåäåëåíèåì F (x) ôóíêöèÿ ðàñïðåäåëåíèÿ ìèòñÿ ê F (x) ïðè áûëà ïîëó÷åíà âûáîðêà ðàçìåðà Fn (x) = n → ∞. 1 n PT i=1 I(Xi 6 x) n. Òîãäà ýìïèðè÷åñêàÿ ðàâíîìåðíî ïî÷òè íàâåðíîå ñòðå- Ýòî ñâîéñòâî ìîòèâèðóåò èñïîëüçîâàíèå áóòñòðàïà. ×òîáû áîëåå íàãëÿäíî ïîÿñíèòü áóòñòðàïîâñêèé ìåòîä, ðàññìîòðèì ïðîñòåéøèé ïðèìåð. Ïóñòü ó íàñ åñòü âñåãî äâà íàáëþäåíèÿ : x1 1 x2 2 = , = . y1 2 y2 1 Äîïóñòèì, íàñ èíòåðåñóåò êîýôôèöèåíò ðåãðåññèè ñëó÷àå ÌÍÊ-îöåíêà θ y íà x, ò.å. ðàâíà x1 y1 + x2 y2 1×2+2×1 4 = = . θb = 2 2 2 2 x1 + x2 1 +2 5 Ýìïèðè÷åñêàÿ ôóíêöèÿ ðàñïðåäåëåíèÿ äàííûõ åñòü (x, y)0 = ( (1, 2)0 ñ âåðîÿòíîñòüþ 1/2 0 ñ âåðîÿòíîñòüþ 1/2 (2, 1) 19 yi = θxi + εi .  ýòîì Ïî îòíîøåíèþ ê ýòîìó ðàñïðåäåëåíèþ äàííûå èç äâóõ íàáëþäåíèé ðàñïðåäåëåíû ñëåäóþùèì îáðàçîì : (1, 2)0 , (1, 2)0 (2, 1)0 , (2, 1)0 0 0 (x1 , y1 ) , (x2 , y2 ) = (1, 2)0 , (2, 1)0 (2, 1)0 , (1, 2)0 ñ âåðîÿòíîñòüþ 1/4 ñ âåðîÿòíîñòüþ 1/4 ñ âåðîÿòíîñòüþ 1/4 ñ âåðîÿòíîñòüþ 1/4 Ýòî ðàñïðåäåëåíèå è ÿâëÿåòñÿ áóòñòðàïîâñêèì. Ñîîòâåòñòâåííî, ÌÍÊ-îöåíêà ðàñïðåäåëåíà ñîãëàñíî åå áóòñòðàïîâñêîìó ðàñïðåäåëåíèþ 1/2 ∗ b θ2 = 4/5 2 ñ âåðîÿòíîñòüþ 1/4 ñ âåðîÿòíîñòüþ 1/2 ñ âåðîÿòíîñòüþ 1/4 Èñïîëüçóÿ ýòî áóòñòðàïîâñêîå ðàñïðåäåëåíèå, ìîæíî ñòðîèòü äîâåðèòåëüíûå èíòåðâàëû èëè òåñòèðîâàòü ãèïîòåçû îáû÷íûì îáðàçîì. Ïðèìåð, ðàññìîòðåííûé íàìè, áûë ÷ðåçâû÷àéíî ïðîñò : ðàçìåð èñõîäíîé âûáîðêè áûë ðàâåí 2.  îáùåì ñëó÷àå, êîãäà ìû èìååì n íàáëþäåíèé, êîëè÷åñòâî âàðèàíòîâ äëÿ áóòñòðàïîâñêèõ ñòàòèñòèê èìååò ïîðÿäîê n . Òàêèì îáðàçîì, â âû÷èñëèòåëüíîì n ïëàíå çàäà÷à ñèëüíî óñëîæíÿåòñÿ ïî ìåðå ðîñòà 2 n. Ïðèáëèæåíèå ñ ïîìîùüþ ñèìóëÿöèé Êàê óïîìèíàëîñü, ïðè óâåëè÷åíèè ðàçìåðà âûáîðêè îáúåì âû÷èñëåíèé äëÿ ïîëó÷åíèÿ áóòñòðàïîâñêîãî ðàñïðåäåëåíèÿ áûñòðî âîçðàñòàåò. Ïîýòîìó, êàê ïðàâèëî, ïðîöåäóðà áóòñòðàïèðîâàíèÿ îñóùåñòâëÿåòñÿ ñ ïîìîùüþ ñèìóëÿöèé. Çäåñü ìû ïðèâåäåì îïèñàòåëüíûé àëãîðèòì ïîñòðîåíèÿ áóòñòðàïîâñêèõ äîâåðèòåëüíûõ èíòåðâàëîâ. Áóòñòðàïîâñêèé àëãîðèòì. B (îáû÷íî õâàòàåò 1000). Äëÿ b = 1, 2, . . . , B 1. Âûáðàòü êîëè÷åñòâî ïñåâäîâûáîðîê ∗ ∗ ∗ ïîñòðîèòü ïñåâäîâûáîðêè (z1 ; z2 ; . . . ; zn )b , âûòÿãèâàÿ ýëåìåíòû ïñåâäîâûáîðîê ñëó÷àéíûì îáðàçîì ñ âîçâðàùåíèåì èç èñõîäíîé âûáîðêè b∗ äîé ïñåâäîâûáîðêè âû÷èñëèòü ïñåâäîñòàòèñòèêó θ b 2. Ïîëó÷åííûå ïñåâäîñòàòèñòèêè  êà÷åñòâå êâàíòèëåé ∗ θb1∗ , . . . , θbB ∗ qα∗ 1 , q1−α 2 b ∗ ; . . . ; z ∗ )b ). = θ((z n 1 îòñîðòèðîâàòü â ïîðÿäêå âîçðàñòàíèÿ. âçÿòü çíà÷åíèÿ êîòîðûõ ïîñòðîèòü äîâåðèòåëüíûé èíòåðâàë. 20 (z1 ; . . . ; zn ). Äëÿ êàæ- ∗ ∗ θb[Bα , θb[B(1−α , 1] 2 )+1] íà îñíîâå 3 Êàêèå ñòàòèñòèêè áóòñòðàïèòü ? Îòâåò íà âîïðîñ, êàêèå ñòàòèñòèêè ëó÷øå èñïîëüçîâàòü ïðè ïîñòðîåíèè äîâåðèòåëüíûõ èíòåðâàëîâ ñ ïîìîùüþ áóòñòðàïà, êðîåòñÿ â äâóõ ïðîñòûõ ñîîáðàæåíèÿõ. Âîïåðâûõ, áóòñòðàïîâñêîå ðàñïðåäåëåíèå öåíòðèðîâàíî íå îêîëî èñòèííîãî çíà÷åíèÿ ñòàòèñòèêè, à îêîëî åãî âûáîðî÷íîãî àíàëîãà. Âî-âòîðûõ, ïîëàãàåòñÿ áóòñòðàïèðîâòü àñèìïòîòè÷åñêè ïèâîòàëüíûå ñòàòèñòèêè. Ðàññìîòðèì íåñêîëüêî âàðèàíòîâ áóòñòðàïîâñêèõ ñòàòèñòèê, èñïîëüçóåìûõ äëÿ ïîñòðîåíèÿ äîâåðèòåëüíûõ èíòåðâàëîâ è ïîä÷åðêíåì èõ ïîëîæèòåëüíûå è îòðèöàòåëüíûå êà÷åñòâà. Ïóñòü íàñ èíòåðåñóåò ïîñòðîåíèå ñòàòèñòè÷åñêèõ âûâîäîâ îòíîñèòåëüíî ïàðàìåòðà • β èç åå îöåíêè βb. Ýôðîíîâñêèé äîâåðèòåëüíûé èíòåðâàë.  äàííîì ñëó÷àå áóòñòðàïèðóåìîé ñòàòèñòèêîé ÿâëÿåòñÿ ñàìà îöåíêà, ò.å. ÷àåì áóòñòðàïîâñêîå ðàñïðåäåëåíèå ðàñïðåäåëåíèÿ ∗ ∗ qα/2 , q1−α/2 , θb = βb. {θbb∗ = βbb∗ }B b=1 . Òàêèì îáðàçîì, ìû ïîëó- Ñîîòâåòñòâóþùèå êâàíòèëè à äîâåðèòåëüíûé èíòåðâàë ∗ ∗ CIE = [qα/2 , q1−α/2 ]. Ýôðîíîâñêèé äîâåðèòåëüíûé èíòåðâàë áûë ïîïóëÿðåí, êîãäà áóòñòðàïîâñêèé ïîäõîä òîëüêî íà÷èíàë èñïîëüçîâàòüñÿ. Íà ñàìîì äåëå, ýòîò äîâåðèòåëüíûé èíòåðâàë äàåò ïëîõóþ àïïðîêñèìàöèþ äëÿ èñòèííûõ óðîâíåé çíà÷èìîñòè, ïîñêîëüêó ñîõðàíÿåò ñìåùåíèå èñõîäíîé âûáîðêè. • Õîëëîâñêèé äîâåðèòåëüíûé èíòåðâàë. Õîëë ïðåäëîæèë èñïîëüçîâàòü äëÿ ïîñòðîåíèÿ äîâåðèòåëüíîãî èíòåðâàëà ðåöåíòðèðîâàííóþ ñòàòèñòèêó θb = βb −β , ÷òî ñíèìàåò ïðîáëåìó ñìåùåíèÿ, ñâÿçàííîãî ñ êîíå÷íîñòüþ âûáîðêè. Òàêèì îáðàçîì, ïîëó÷àåòñÿ áóòñòðàïîâñêîå ðàñïðåäåëåíèå ñòâóþùèå êâàíòèëè ∗ ∗ , qα/2 , q1−α/2 b B . {θbb∗ = βbb∗ − β} b=1 Ñîîòâåò- à äîâåðèòåëüíûé èíòåðâàë ∗ ∗ CIH = [βb − q1−α/2 , βb − qα/2 ]. Õîëëîâñêèé äîâåðèòåëüíûé èíòåðâàë äàåò ëó÷øóþ, ÷åì Ýôðîíîâñêèé, àïïðîêñèìàöèþ óðîâíåé çíà÷èìîñòè. Ïëþñîì èñïîëüçîâàíèÿ Õîëëîâñêîãî äîâåðèòåëüíîãî èíòåðâàëà ÿâëÿåòñÿ îòñóòñòâèå íåîáõîäèìîñòè îöåíèâàíèÿ ñòàíäàðòíûõ îøèáîê, õîòÿ, êàê óâèäèì âïîñëåäñòâèè, òàêàÿ ñòðàòåãèÿ îáîðà÷èâàåòñÿ ñåðüåçíûì ìèíóñîì. • t-ïðîöåíòíûé äîâåðèòåëüíûé èíòåðâàë. Òàêîé èíòåðâàë èñïîëüçóåò â êà÷åñòâå áóòñòðàïèðóåìîé ñòàòèñòèêè t-ñòàòèñòèêó, ò.å. 21 βb − β . b se(β) Òàêèì îáðàçîì, íàõîäÿò áóòñòðàïîâñêîå ðàñïðåäåëåíèå ñòàòèñòèêè ( βbb∗ − βb se(βb∗ ) b þùèå êâàíòèëè )B è ñîîòâåòñòâó- b=1 ∗ ∗ qα/2 , q1−α/2 , à ñàì t-ïðîöåíòíûé äîâåðèòåëüíûé èíòåðâàë ñòðî- ÿò êàê b ∗ b b ∗ CIt = [βb − se(β)q 1−α/2 , β − se(β)qα/2 ]. t-ïðîöåíòíûé äîâåðèòåëüíûé èíòåðâàë åùå ëó÷øå àïïðîêñèìèðóåò èñòèííûå óðîâíè çíà÷èìîñòè, ÷åì Õîëëîâñêèé äîâåðèòåëüíûé èíòåðâàë. Íî èñïîëüçîâàòü åãî ðåêîìåíäóåòñÿ òîëüêî åñëè ñòàíäàðòíûå îøèáêè ìîæíî ïîñòðîèòü êà÷åñòâåííî. • Ñèììåòðè÷íûé t-ïðîöåíòíûé äîâåðèòåëüíûé èíòåðâàë. Òàêîé èíòåðâàë èñïîëüçóåò â êà÷åñòâå áóòñòðàïèðóåìîé ñèììåòðèçîâàííóþ t-ñòàòèñòèêó ( )B b |βb − β| |βbb∗ − β| . Ðàñïðåäåëåíèå áóòñòðàïîâñêîé ñòàòèñòèêè åñòü , à ïðàb se(β) se(βbb∗ ) b=1 ∗ âûé êâàíòèëü qα . Ñèììåòðè÷íûé t-ïðîöåíòíûé äîâåðèòåëüíûé èíòåðâàë åñòü b ∗ , βb + se(β)q b ∗ ]. CI|t| = [βb − se(β)q 1−α 1−α Ñèììåòðè÷íûé t-ïðîöåíòíûé äîâåðèòåëüíûé èíòåðâàë èìååò â îïðåäåëåííûõ ñëó÷àÿõ ïðåèìóùåñòâî ïåðåä t-ïðîöåíòíûì äîâåðèòåëüíûì èíòåðâàëîì. À èìåííî, åñëè àñèìïòîòè÷åñêîå ðàñïðåäåëåíèå ñòàòèñòèêè êàê â ñëó÷àå àñèìïòîòè÷åñêîé íîðìàëüíîñòè), òî b β−β ñèììåòðè÷íî (êàê ðàç CI|t| äàåò ëó÷øóþ àïïðîêñè- ìàöèþ óðîâíåé çíà÷èìîñòè. 4 Êîððåêòèðîâêà ñìåùåíèÿ Áóòñòðàï ïîçâîëÿåò ñêîððåêòèðîâàòü ñìåùåíèå, ñâÿçàííîå ñ êîíå÷íîñòüþ âûáîðêè. Ïóñòü ó íàñ åñòü ñìåù¼ííàÿ, íî ñîñòîÿòåëüíàÿ ñòàòèñòèêà βb : b 6= β. E[β] Òîãäà ìû ìîæåì âûðàçèòü ñìåùåíèå ñëåäóþùèì îáðàçîì : b − β. Bias = E[β] Åñëè ó íàñ åñòü âîçìîæíîñòü êà÷åñòâåííî îöåíèòü ñìåùåíèå, òî ìû ìîæåì ñêîððåêòèðîâàòü èñõîäíóþ ñòàòèñòèêó : [ βe = βb − Bias. 22 Ñìåùåíèå æå ìîæíî îöåíèòü ñ ïîìîùüþ áóòñòðàïà : B 1 X b∗ b ∗ b b Bias = E [βb ] − β = β − β. B b=1 b ∗ ∗ Òàêèì îáðàçîì, ñêîððåêòèðîâàííàÿ ñòàòèñòèêà åñòü ! B 1 X b∗ b β − β = 2βb − βb∗ . B b=1 b βe = βb − 5 Òåñòèðîâàíèå ãèïîòåç ïðè ïîìîùè áóòñòðàïà Îäíîé èç îñíîâíûõ öåëåé áóòñòðàïà ÿâëÿåòñÿ òåñòèðîâàíèå ãèïîòåç. Ðàññìîòðèì, êàê ñ ïîìîùüþ áóòñòðàïà òåñòèðóþòñÿ ïðîñòåéøèå ñòàòèñòè÷åñêèå ãèïîòåçû. Ïóñòü íóëåâàÿ ãèïîòåçà èìååò âèä • H0 : β = β 0 , ãäå β ñêàëÿð. Àëüòåðíàòèâíàÿ ãèïîòåçà îäíîñòîðîííÿÿ : Ha : β > β 0 . Áóòñòðàïèì t- ïðîöåíòíóþ ñòàòèñòèêó βb − β θb = b se(β) è ïîëó÷àåì áóòñòðàïîâñêîå ðàñïðåäåëåíèå ýòîé ñòàòèñòèêè è ñîîòâåòñòâóþùèé êâàíòèëü : ( βb∗ − βb θbb∗ = b se(βb∗ ) )B b Ãèïîòåçà • H0 îòâåðãàåòñÿ, åñëè ∗ ⇒ q1−α . b=1 βb − β 0 ∗ > q1−α . b se(β) Àëüòåðíàòèâíàÿ ãèïîòåçà äâóñòîðîííÿÿ : Ha : β 6= β 0 . áóòñòðàïèì ñèììåòðè÷íóþ t-ïðîöåíòíóþ ñòàòèñòèêó |βb − β| . θb = b se(β) Ïîëó÷àåì áóòñòðàïîâñêîå ðàñïðåäåëåíèå è êâàíòèëü : ( b |βb∗ − β| θbb∗ = b se(βb∗ ) b Ãèïîòåçà H0 îòâåðãàåòñÿ, åñëè )B ∗ ⇒ q1−α . b=1 |βb − β 0 | ∗ > q1−α . b se(β) 23  ýòîì ñëó÷àå ìû Ïóñòü íóëåâàÿ ãèïîòåçà èìååò âèä H0 : β = β 0 , ãäå β âåêòîð.  ýòîì ñëó÷àå ìû áóòñòðàïèì Âàëüäîâñêóþ ñòàòèñòèêó (ñ òî÷íîñòüþ äî êîýôôèöèåíòà ïðîïîðöèîíàëüíîñòè) θb = (βb − β)0 Vbβ−1 (βb − β). Ñîîòâåòñòâåííî, ïîëó÷àåì áóòñòðàïîâñêîå ðàñïðåäåëåíèå è êâàíòèëü : oB n b 0 Vb ∗−1 (βb∗ − β) b θbb∗ = (βbb∗ − β) b β b=1 Ãèïîòåçà H0 îòâåðãàåòñÿ, åñëè ∗ . ⇒ q1−α ∗ . θb0 = (βb − β 0 )0 Vbβ−1 (βb − β 0 ) > q1−α Ïóñòü òåïåðü íóëåâàÿ ãèïîòåçà èìååò âèä ëèíåéíûõ îãðàíè÷åíèé íà êîýôôèöèåíòû H0 : Rβ = r, ãäå R ìàòðèöà îãðàíè÷åíèé.  ýòîì ñëó÷àå ìû ñíîâà áóòñòðàïèì Âàëüäîâñêóþ ñòàòèñòèêó (ñ òî÷íîñòüþ äî êîýôôèöèåíòà ïðîïîðöèîíàëüíîñòè) θb = (Rβb − r)0 (RVbβ R0 )−1 (Rβb − r). Ïîëó÷àåì áóòñòðàïîâñêîå ðàñïðåäåëåíèå, èç êîòîðîãî íàõîäèì ñîîòâåòñòâóþùèé êâàíòèëü : n oB b 0 R0 (RVb ∗ R0 )−1 R(βb∗ − β) b θbb∗ = (βbb∗ − β) β b b=1 ∗ ⇒ q1−α . Çàìåòèì, ÷òî ìû ðåöåíòðèðóåì áóòñòðàïîâñêóþ ñòàòèñòèêó. Áåç ýòîãî áóòñòðàïîâñêîå ðàñïðåäåëåíèå óíàñëåäîâàëî áû ñìåùåíèå, ñâîéñòâåííîå ïåðâîíà÷àëüíîé ñòàòèñòèêå. Ãèïîòåçà 6 H0 îòâåðãàåòñÿ, åñëè ∗ θb = (Rβb − r)0 (RVbβ R0 )−1 (Rβb − r) > q1−α . Àñèìïòîòè÷åñêîå ðàôèíèðîâàíèå Èíîãäà ãîâîðÿò, ÷òî ñ ïîìîùüþ áóòñòðàïà äîñòèãàåòñÿ àñèìïòîòè÷åñêîå ðàôèíèðîâàíèå.  ýòîé ãëàâå ìû îáñóäèì, ÷òî òàêîå àñèìïòîòè÷åñêîå ðàôèíèðîâàíèå è â êàêèõ ñëó÷àÿõ îíî èìååò ìåñòî. Fθb(x). ∗ Îáîçíà÷èì áóòñòðàïîâñêîå ðàñïðåäåëåíèå ýòîé ñòàòèñòèêè ÷åðåç F b (x). Ãîâîðÿò, ÷òî θ Ïóñòü ó íàñ åñòü íåêîòîðàÿ ñòàòèñòèêà θb, èñòèííîå ðàñïðåäåëåíèå êîòîðîé ñ ïîìîùüþ áóòñòðàïà äîñòèãàåòñÿ àñèìïòîòè÷åñêîå ðàôèíèðîâàíèå, åñëè îøèáêà àïïðîêñèìàöèè èñòèííîãî ðàñïðåäåëåíèÿ Fθb(x) áóòñòðàïîâñêèì Fθb∗ (x) áîëüøåãî ïî- ðÿäêà ìàëîñòè, ÷åì îøèáêà àïïðîêñèìàöèè àñèìïòîòè÷åñêèì ðàñïðåäåëåíèåì ïðè ñòðåìëåíèè îáúåìà âûáîðêè ê áåñêîíå÷íîñòè. Ïðèâåäåì ïðèìåðû, èñïîëüçóþùèå ðàçëîæåíèå Ýäæâîðòà ôóíêöèè ðàñïðåäåëåíèÿ ñòàòèñòèêè âîêðóã ïðåäåëüíîãî ðàñïðåäåëåíèÿ. Ïðèìåð 1 : àñèìïòîòè÷åñêè ïèâîòàëüíàÿ t-ñòàòèñòèêà. Ïóñòü áóòñòðàïèðóåìàÿ íàìè ñòàòèñòèêà åñòü βb − β . θb = b se(β) 24 Åå àñèìïòîòè÷åñêîå ðàñïðåäåëåíèå, êàê ìû óæå âèäåëè, ÿâëÿåòñÿ ñòàíäàðòíûì íîðd b→ ìàëüíûì : θ N (0, 1) (ò.å. ñòàòèñòèêà àñèìïòîòè÷åñêè ïèâîòàëüíàÿ). Îáîçíà÷èì òî÷íîå ðàñïðåäåëåíèå ñòàòèñòèêè ÷åðåç Fθb(x), à áóòñòðàïîâñêîå ÷åðåç Fθb∗ (x). Äëÿ êóìóëÿòèâíîé ôóíêöèè ñòàíäàðòíîãî íîðìàëüíîãî ðàñïðåäåëåíèÿ èñïîëüçóåì îáû÷íîå îáîçíà÷åíèå Φ(x). Èòàê, ðàçëîæèì èñòèííîå è áóòñòðàïîâñêîå ðàñïðåäåëåíèÿ âîêðóã àñèìïòîòè÷åñêîãî : Çäåñü h1 (x, F ) íåïðåðûâíàÿ ïî 1 h1 (x, F ) h2 (x, F ) + +O , Fθb(x) = Φ(x) + √ n n3/2 n h1 (x, Fb) h2 (x, Fb) 1 ∗ Fθb (x) = Φ(x) + √ + +O . n n3/2 n ÷åòíàÿ ïî x, íåïðåðûâíàÿ ïî F ôóíêöèÿ, h2 (x, F ) F íå÷åòíàÿ ïî x, ôóíêöèÿ. Îøèáêè àïïðîêñèìàöèè òî÷íîãî ðàñïðåäåëåíèÿ àñèì- ïòîòè÷åñêèì è áóòñòðàïîâñêèì, ñîîòâåòñòâåííî, ðàâíû h1 (x, F ) Φ(x) − Fθb(x) = √ +O n 1 √ n =O 1 √ n , 1 h1 (x, Fb) − h1 (x, F ) 1 √ +O =O . − Fθb(x) = n n n b) − h1 (x, F ) âîñïîëüçîâàëèñü òåì ôàêòîì, ÷òî ðàçíîñòü h1 (x, F Fθb∗ (x) Çäåñü ìû èìååò àñèì- 1 ïòîòèêó √ , ïîñêîëüêó n √ √ n Fb(x) − F (x) = n n 1X 1[xi ≤ x] − E [1[xi ≤ x]] n i=1 ! d → N (0, P {xi ≤ x}P {xi > x}). Òàêèì îáðàçîì, â äàííîì ïðèìåðå èñïîëüçîâàíèå áóòñòðàïà ïðèâîäèò ê àñèìïòîòè÷åñêîìó ðàôèíèðîâàíèþ. Ïðèìåð 2 : àñèìïòîòè÷åñêè íåïèâîòàëüíàÿ ñòàòèñòèêà. Ðàññìîòðèì ñòàòèñòèêó θb = √ d n(βb − β) → N (0, Vβ ). Ñîõðàíèâ îáîçíà÷åíèå êóìóëÿòèâíûõ ôóíêöèé ðàñïðåäåëåíèÿ äëÿ òî÷íîãî ðàñïðåäåëåíèÿ è áóòñòðàïîâñêîãî èç ïðåäûäóùåãî ïðèìåðà, îáîçíà÷èì àñèìïòîòè÷åñêîå ðàñïðåäåëåíèå ÷åðåç Φ(x, Vβ ). Çàìåòèì, ÷òî òåïåðü íàøà ñòàòèñòèêà àñèìïòîòè÷å- ñêè íåïèâîòàëüíàÿ, ò.å. åå àñèìïòîòè÷åñêîå ðàñïðåäåëåíèå çàâèñèò îò íåèçâåñòíîãî ïàðàìåòðà, â äàííîì ñëó÷àå Vβ . Êàê â ïðåäûäóùåì ïðèìåðå, ðàçëîæèì òî÷íîå è áóòñòðàïîâñêîå ðàñïðåäåëåíèÿ âîêðóã àñèìïòîòè÷åñêîãî : h1 (x, F ) +O Fθb(x) = Φ(x, Vβ ) + √ n 25 1 , n Fθb∗ (x) = Φ(x, Vβ∗ ) h1 (x, Fb) + √ +O n 1 . n Îøèáêè àïïðîêñèìàöèè äëÿ àñèìïòîòè÷åñêîãî è áóòñòðàïîâñêîãî ðàñïðåäåëåíèé ñ÷èòàþòñÿ àíàëîãè÷íî ïðåäûäóùåìó ïðèìåðó : 1 1 , =O √ n n 1 1 ∗ ∗ . Fθb (x) − Fθb(x) = Φ(x, Vβb ) − Φ(x, Vβb) + O =O √ n n h1 (z, F ) Φ(x, Vβ ) − Fθb(x) = − √ +O n Êàê âèäíî, â äàííîì ñëó÷àå èñïîëüçîâàíèå áóòñòðàïà íå ïðèâîäèò ê àñèìïòîòè÷åñêîìó ðàôèíèðîâàíèþ. Âîîáùå, êàê ïðàâèëî, áóòñòðàïèðîâàíèå íåïèâîòàëüíûõ àñèìïòîòè÷åñêè ñòàòèñòèê íå äàåò àñèìïòîòè÷åñêîãî ðàôèíèðîâàíèÿ. Ïðèìåð 3 : àñèìïòîòè÷åñêè ïèâîòàëüíàÿ ñèììåòðè÷íàÿ t-ñòàòèñòèêà. Òåïåðü ðàññìîòðèì â êà÷åñòâå ïðèìåðà ñèììåòðè÷íóþ t-ñòàòèñòèêó |βb − β| d → |N (0, 1)|. θb = b se(β) Ñîõðàíÿÿ îáîçíà÷åíèÿ ïðåäûäóùèõ ïðèìåðîâ, ðàçëîæèì òî÷íîå è áóòñòðàïîâñêîå ðàñïðåäåëåíèÿ : 1 βb − β 2h2 (x, F ) ≤ x} = 2Φ(x) − 1 + +O , Fθb(x) = P r{−x ≤ b n n3/2 se(β) 2h2 (x, Fb) 1 ∗ Fθb (x) = 2Φ(x) − 1 + +O . n n3/2 Òàêèì îáðàçîì, îøèáêè àïïðîêñèìàöèè äëÿ àñèìïòîòèêè è áóòñòðàïà èìåþò ïîðÿäêè 1 , 2Φ(x) − 1 − Fθb(x) = O n 2 1 1 ∗ Fθb (x) − Fθb(x) = h2 (x, Fb) − h2 (x, F ) + O =O . n n3/2 n3/2 Òàêèì îáðàçîì, ìû ïîëó÷àåì àñèìïòîòè÷åñêîå ðàôèíèðîâàíèå. Çàìåòèì, ÷òî áóòñòðàïèðîâàíèå ñèììåòðè÷íîãî äâóñòîðîííåãî òåñòà èìååò îøèáêó áîëåå âûñîêîãî ïîðÿäêà, ÷åì áóòñòðàïèðîâàíèå îäíîñòîðîííåãî òåñòà. 7 Ïîñòðîåíèå ïñåâäîâûáîðîê ïðè áóòñòðàïå êðîññ-ñåêöèé Ðàññìîòðèì ñëó÷àé ïðîñòåéøåé ìíîæåñòâåííîé ðåãðåññèè ñ íåçàâèñèìûìè íàáëþäåíèÿìè : y = x0 β + e, E[e|x] = 0, {(xi , yi )} ∼ iid. Ñóùåñòâóåò íåñêîëüêî àëüòåðíàòèâíûõ ñïîñîáîâ ïîñòðîåíèÿ ïñåâäîâûáîðêè äëÿ ýòîé ðåãðåññèè : 26 1. Íåïàðàìåòðè÷åñêîå ïîñòðîåíèå ïñåâäîâûáîðêè. Èç èñõîäíûõ íàáëþäåíèé 2. {(xi , yi )}ni=1 n ñëó÷àéíî ñ âîçâðàùåíèåì èçâëåêàþòñÿ íàáëþäåíèé (x∗i , yi∗ ). Ïîñòðîåíèå ïñåâäîâûáîðêè ïî îñòàòêàì. Ñíà÷àëà îöåíèâàåòñÿ ìîäåëü è íàõîäèòñÿ ñîñòîÿòåëüíàÿ îöåíêà Èç ìíîæåñòâà ïàð n þòñÿ yi∗ = íàáëþäåíèé {(xi , ebi )}ni=1 (x∗i , eb∗i ). βb. Çàòåì âû÷èñëÿþòñÿ îñòàòêè : ebi = yi − x0i βb. ñëó÷àéíûì îáðàçîì ñ âîçâðàùåíèåì èçâëåêà- Çàòåì âîññòàíàâëèâàåòñÿ ïåðåìåííàÿ ëåâîé ÷àñòè b b∗ . Çàìåòèì, ÷òî â äàííîì êîíòåêñòå ýòîò ìåòîä ïîñòðîåíèÿ ïñåâäîx0∗ i β +e i âûáîðêè èäåíòè÷åí íåïàðàìåòðè÷åñêîìó ìåòîäó, íî èäåíòè÷íîñòü ïðîïàäàåò â áîëåå ñëîæíûõ ñëó÷àÿõ. 3. Ïîñòðîåíèå ïñåâäîâûáîðêè ïî îñòàòêàì (ñïåöèàëüíûé ñëó÷àé). Åñëè èññëåäîâàòåëþ çàðàíåå èçâåñòíî, ÷òî îøèáêè è ðåãðåññîðû íåçàâèñèìû, òî ýôôåêòèâíîñòü áóòñòðàïà ìîæíî óâåëè÷èòü, èçâëåêàÿ ñëó÷àéíî ñ âîçâðàùåíèåì x∗i 4. èç {xi }ni=1 è eb∗i èç {b ei }ni=1 ïî îòäåëüíîñòè. Ïîñòðîåíèå ïñåâäîâûáîðêè ïî îñòàòêàì (ñïåöèàëüíûé ñëó÷àé). Åñëè èññëåäîâàòåëü çíàåò, ÷òî îøèáêè è ðåãðåññîðû íåçàâèñèìû, è, êðîìå òîãî, îøèáêè ðàñïðåäåëåíû íîðìàëüíî, ò.å. ei ∼ N (0, σ 2 ), òî ýôôåêòèâíîñòü áóò- ñòðàïà ìîæíî óâåëè÷èòü (ïî ñðàâíåíèþ ñ ïðåäûäóùèì ñëó÷àåì), âûáèðàÿ ðåãðåññîðû è îñòàòêè äëÿ ïñåâäîâûáîðêè ïî îòäåëüíîñòè, è, êðîìå òîãî, îñòàòêè ñòîèò èçâëåêàòü èç íîðìàëüíîãî ðàñïðåäåëåíèÿ, ò.å. ñ âîçâðàùåíèåì èç 8 x∗i èçâëåêàþòñÿ ñëó÷àéíî N (0, σ b2 ). Ïîñòðîåíèå ïñåâäîâûáîðîê ïðè áóòñòðàïå âðåìåííûõ ðÿäîâ Âðåìåííîé ðÿä îòëè÷àåòñÿ îò êðîññ-ñåêöèîííîé âûáîðêè òåì, ÷òî íàáëþäåíèÿ çäåñü çàâèñèìû, ïîýòîìó ñëó÷àéíîå ïåðåìåøèâàíèå ïðè íåïàðàìåòðè÷åñêîì áóòñòðàïå ðàçðóøàåò ýòó çàâèñèìîñòü, òàê ÷òî âåðîÿòíîñòíàÿ ñòðóêòóðà ïñåâäîäàííûõ óæå íå èìèòèðóåò âåðîÿòíîñòíóþ ñòðóêòóðó äàííûõ. ×òîáû èçáåæàòü ýòîãî, èñïîëüçóåòñÿ áëî÷íûé áóòñòðàï, â êîòîðîì ïñåâäîâûáîðêà ñòðîèòñÿ èç áëîêîâ èñõîäíîé âûáîðêè. Àíàëîãè÷íî ñëó÷àþ íåçàâèñèìûõ íàáëþäåíèé, âî âðåìåíûõ ðÿäàõ âîçìîæíî ïîñòðîåíèå ïñåâäîâûáîðêè ïî îñòàòêàì, îäíàêî òàêîé ñïîñîá ïðèìåíèì òîëüêî â òåõ ðåäêèõ ñëó÷àÿõ, êîãäà îøèáêè èëè èííîâàöèè ñåðèéíî íåçàâèñèìû. Ðàññìîòðèì íåñêîëüêî àëüòåðíàòèâíûõ ñïîñîáîâ ïîñòðîåíèÿ áëî÷íîé ïñåâäîâûáîðêè. 1. Ïîñòðîåíèå ïñåâäîâûáîðêè èç ïåðåêðûâàþùèõñÿ áëîêîâ. Èñõîäíàÿ âûáîðêà äåëèòñÿ íà íåêîòîðîå êîëè÷åñòâî ïåðåêðûâàþùèõñÿ áëîêîâ. Äëèíà áëîêà âûáèðàåòñÿ èññëåäîâàòåëåì èñõîäÿ èç âðåìåííîé ñòðóêòóðû ðÿäà. Ïóñòü 27 {yt }Tt=1 èñõîäíàÿ âûáîðêà, à l äëèíà áëîêà. Òîãäà â ïåðâûé áëîê âîéäóò íàáëþäåíèÿ y1 , . . . , yl , âî âòîðîé y2 , . . . , yl+1 , â òðåòèé y3 , . . . , yl+2 , è íàêîíåö â T −l+1-ûé íàáëþäåíèÿ yT −l+1 , . . . , yT . Ïðè ïîñòðîåíèè ïñåâäîâûáîðêè áëîêè èçâëåêàþòñÿ ñëó÷àéíî ñ âîçâðàùåíèåì. 2. Ïîñòðîåíèå ïñåâäîâûáîðêè èç íåïåðåêðûâàþùèõñÿ áëîêîâ.  äàííîì ñëó÷àå èñõîäíàÿ âûáîðêà äåëèòñÿ íà íåêîòîðîå êîëè÷åñòâî íåïåðåêðûâàþùèõñÿ áëîêîâ. Äëèíà áëîêà, òàê æå êàê è â ïðåäûäóùåì ñëó÷àå, âûáèðàåòñÿ èññëåäîâàòåëåì. Ïóñòü èñõîäíàÿ âûáîðêà ñîñòîèò èç íàáëþäåíèé y1 , . . . , y l , â ïåðâûé áëîê âîéäóò íàáëþäåíèÿ íåö, â ïîñëåäíèé T l -ûé áëîê íàáëþäåíèÿ âî âòîðîé {yt }Tt=1 . yl+1 , . . . , y2l , Òîãäà è íàêî- yl[ T ]−l+1 , . . . , yl[ T ] . Ïðè ïîñòðîåíèè l l ïñåâäîâûáîðêè áëîêè èçâëåêàþòñÿ ñëó÷àéíûì îáðàçîì ñ âîçâðàùåíèåì. 3. Ïîñòðîåíèå ñòàöèîíàðíîé ïñåâäîâûáîðêè. Ïðåäûäóùèå äâà âàðèàíòà ïîñòðîåíèÿ ïñåâäîâûáîðêè, êàê ïðàâèëî, íàðóøàþò ñòàöèîíàðíîñòü ðÿäà, ò.å. èç ñòàöèîíàðíîé èñõîäíîé âûáîðêè ïîëó÷àþòñÿ íåñòàöèîíàðíûå ïñåâäîâûáîðêè. ×òîáû ïîëó÷èòü ñòàöèîíàðíóþ ïñåâäîâûáîðêó, áûë ïðåäëîæåí ñïîñîá, îñíîâàííûé íà íåôèêñèðîâàííîé äëèíå áëîêîâ. À èìåííî, çàäàåòñÿ âåðîÿòíîñòü îêîí÷àíèÿ áëîêà p. òåì ñ âåðîÿòíîñòüþ Ïåðâûé ýëåìåíò ïñåâäîâûáîðêè âûáèðàåòñÿ ñëó÷àéíî. Çà- (1 − p) â òåêóùèé áëîê âêëþ÷àåòñÿ ñëåäóþùèé ýëåìåíò èñõîäíîé âûáîðêè, à ñ âåðîÿòíîñòüþ p íà÷èíàåòñÿ íîâûé áëîê, ïåðâûé ýëåìåíò êîòîðîãî ñíîâà âûáèðàåòñÿ ñëó÷àéíî èç èñõîäíîé âûáîðêè. Òàê ïðîäîëæàåòñÿ, ïîêà â ïñåâäîâûáîðêó íå áóäåò íàáðàíî íóæíîå êîëè÷åñòâî ýëåìåíòîâ. III Îñíîâíûå ýêîíîìåòðè÷åñêèå ïîíÿòèÿ Äàííûé ðàçäåë êðàòêî ïîâòîðÿåò îñíîâíûå ïîíÿòèÿ, èçó÷åííûå â êóðñå ñòàòèñòèêè è òåîðèè âåðîÿòíîñòåé. 1 Óñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå Ïóñòü (X, Y ) ïàðà ñëó÷àéíûõ âåëè÷èí. Ôóíêöèÿ ñîâìåñòíîé ïëîòíîñòè ðàñïðåäå- ëåíèÿ f(X,Y ) (x, y) ≥ 0 îáëàäàåò ñâîéñòâîì íîðìèðîâêè Z +∞ −∞ Z +∞ f(X,Y ) (x, y)dxdy = 1. −∞ 28 Âåðîÿòíîñòü äëÿ (X, Y ) [a, b] × [c, d] ïîïàñòü â ïðÿìîóãîëüíèê P r{a ≤ X ≤ b, c ≤ Y ≤ d} = d Z b Z c f(X,Y ) (x, y)dxdy. a X Ìàðãèíàëüíàÿ ôóíêöèÿ ïëîòíîñòè ðàñïðåäåëåíèÿ ñòüþ (X, Y ) îïðåäåëÿåòñÿ êàê ñâÿçàíà ñ ñîâìåñòíîé ïëîòíî- êàê fX (x) = +∞ Z f(X,Y ) (x, y)dy. −∞ Óñëîâíàÿ ïëîòíîñòü ðàñïðåäåëåíèÿ Y ïðè X=x fY |X=x (x, y) = f(X,Y ) (x, y) . fX (x) [c, d] îïðåäåëÿþòñÿ Z d P r{c ≤ Y ≤ d | X = x} = fY |X=x (x, y)dy, Óñëîâíûå âåðîÿòíîñòè ïîïàäàíèÿ Y åñòü â îòðåçîê âûðàæåíèÿìè c P r{c ≤ Y ≤ d | a ≤ X ≤ b} = Óñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå Y RdRb c fX,Y (x, y)dxdy . Rb f (x)dx X a a ïðè óñëîâèè E[Y | X = x] = X=x åñòü +∞ Z yfY |X=x (x, y)dy. −∞ Çàìåòèì, ÷òî ôóíêöèÿ óñëîâíîãî ìàòåìàòè÷åñêîãî îæèäàíèÿ ÷àéíîé âåëè÷èíîé (òàê êàê X ñëó÷àåí). Èìååò ìåñòî E[Y | X] ÿâëÿåòñÿ ñëó- çàêîí ïîñëåäîâàòåëüíûõ ìàòå- ìàòè÷åñêèõ îæèäàíèé : E[h(X, Y )] = E[E[h(X, Y ) | X]], ãäå h(X, Y ) ïðîèçâîëüíàÿ ôóíêöèÿ îò (X, Y ).  ñëó÷àå íåïðåðûâíûõ ðàñïðåäåëåíèé ñïðàâåäëèâîñòü ýòîãî çàêîíà ëåãêî ïîêàçàòü : Z +∞ −∞ 2 Z +∞ h(x, y)f(X,Y ) (x, y)dxdy = Z −∞ +∞ Z −∞ +∞ h(x, y)fY |X (x, y)dy fX (x)dx. −∞ Ïðåäñêàçûâàíèå ×àñòî â ýêîíîìåòðèêå âñòðå÷àåòñÿ ñèòóàöèÿ, êîãäà èññëåäîâàòåëü õî÷åò ïî ïåðåìåííûì X (íàçûâàåìûõ ðåãðåññîðàìè ) ïðåäñêàçàòü çíà÷åíèå Y (íàçûâàåìîé çàâèñèìîé ïåðåìåííîé ). Ñóùåñòâóåò íåñêîëüêî ïîëåçíûõ ðåçóëüòàòîâ, ñâÿçàííûõ ñ òàêîé ïîñòàíîâêîé çàäà÷è. Òåîðåìà. Îïòèìàëüíûì ïðåäèêòîðîì Y èç X â ñìûñëå ìèíèìèçàöèè ñðåäíåêâàäðà- òè÷íîé îøèáêè ïðåäñêàçàíèÿ ÿâëÿåòñÿ óñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå 29 E[Y | X]. Äîêàçàòåëüñòâî. Ïóñòü g(X) ïðîèçâîëüíûé ïðåäèêòîð. Òîãäà ñðåäíåêâàäðàòè÷- íàÿ îøèáêà ïðåäñêàçàíèÿ áóäåò âûðàæàòüñÿ ñëåäóþùèì îáðàçîì : M SP E = E[(Y − g(X))2 ] = E[(Y − E[Y |X] + E[Y |X] − g(X))2 ] = = E[(Y − E[Y |X])2 ] + E[(E[Y |X] − g(X))2 ] ≥ E[(Y − E[Y |X])2 ]. Çàìåòèì, ÷òî ðàâåíñòâî äîñòèãàåòñÿ ïðè g(X) = E[Y |X], ò.å. óñëîâíîå ìàòåìàòè÷å- ñêîå îæèäàíèå äåéñòâèòåëüíî ìèíèìèçèðóåò ñðåäíåêâàäðàòè÷íóþ îøèáêó ïðåäñêàçàíèÿ. Îïðåäåëåíèå. Îøèáêîé îïòèìàëüíîãî ïðåäñêàçàíèÿ íàçûâàåòñÿ âåëè÷èíà e=Y − E[Y |X]. Îøèáêà îïòèìàëüíîãî ïðåäñêàçàíèÿ îáëàäàåò ñëåäóþùèìè ñâîéñòâàìè : ⇒ E[e] = 0 E[e|X] = 0 ⇒ E[eh(X)] = 0. Îòñþäà â ÷àñòíîñòè ñëåäóåò, ÷òî óñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå ÿâëÿåòñÿ íåñìåù¼ííûì ïðåäèêòîðîì. Îïðåäåëåíèå. öèÿ îò Ëèíåéíûì ïðåäèêòîðîì Y ïî X íàçûâàåòñÿ ëþáàÿ ëèíåéíàÿ ôóíê- X : g(X) = a + bX. Òåîðåìà. Îïòèìàëüíûì ëèíåéíûì ïðåäèêòîðîì Y ñðåäíåêâàäðàòè÷íîé îøèáêè ïðåäñêàçàíèÿ ÿâëÿåòñÿ òîð BLP (Y |X) = α + βX, β= Cov(X, Y ) , V ar(X) ïî X â ñìûñëå ìèíèìèçàöèè íàèëó÷øèé ëèíåéíûé ïðåäèê- α = E[Y ] − βE[X]. Äîêàçàòåëüñòâî. Çàäà÷à ìèíèìèçàöèè M SP E = E[(Y − a − bX)2 ] → min a,b èìååò óñëîâèÿ ïåðâîãî ïîðÿäêà −E[2(Y − a − bX)] = 0, Îòñþäà ìîæíî ïîëó÷èòü α è β −E[2(Y − a − bX)X] = 0. èç ïîñòàíîâêè òåîðåìû. Òåîðåìà. Íàèëó÷øåé ëèíåéíîé àïïðîêñèìàöèåé äëÿ óñëîâíîãî ñðåäíåãî E[Y |X] â ñìûñëå ìèíèìèçàöèè ñðåäíåêâàäðàòè÷íîé îøèáêè àïïðîêñèìàöèè ÿâëÿåòñÿ íàèëó÷øèé ëèíåéíûé ïðåäèêòîð BLP (Y |X). Äîêàçàòåëüñòâî. Àíàëîãè÷íî äîêàçàòåëüñòâó ïðåäûäóùåé òåîðåìû íóæíî ðåøèòü îïòèìèçàöèîííóþ çàäà÷ó M SAE = E[(E[Y |X] − a − bX)2 ] → min. a,b 30 Ïîëó÷èì α è β èç ïîñòàíîâêè ïðåäûäóùåé òåîðåìû. Îïðåäåëåíèå. Îøèáêîé íàèëó÷øåãî ëèíåéíîãî ïðåäñêàçàíèÿ íàçûâàåòñÿ âåëè÷èíà u = Y − BLP (Y |X). Îøèáêà íàèëó÷øåãî ëèíåéíîãî ïðåäñêàçàíèÿ îáëàäàåò ñâîéñòâàìè E[u] = 0, Òåîðåìà. Åñëè óñëîâíîå ñðåäíåå 3 E[uX] = 0. E[Y |X] X, ëèíåéíî ïî òî E[Y |X] = BLP (Y |X). Ñâîéñòâà äâóìåðíîãî íîðìàëüíîãî ðàñïðåäåëåíèÿ Ðàññìîòðèì äâóìåðíóþ ñëó÷àéíóþ âåëè÷èíó, ðàñïðåäåëåííóþ ñîãëàñíî íîðìàëüíîìó çàêîíó : Y ∼N X σY2 µY , µX ρσX σY ρσX σY σY2 !! . Åå ïëîòíîñòü ðàñïðåäåëåíèÿ çàäàåòñÿ ñëåäóþùèì âûðàæåíèåì : 1 p exp − f(X,Y ) (x, y) = 2 2πσX σY 1 − ρ x − µX σX 2 + 2 y − µY (x − µX )(y − µY ) − 2ρ σY σX σY . 2 2(1 − ρ ) Íèæå ïåðå÷èñëåíû ñâîéñòâà òàêîãî ðàñïðåäåëåíèÿ. 1. Êàæäàÿ èç êîìïîíåíò äâóìåðíîé íîðìàëüíîé âåëè÷èíû ðàñïðåäåëåíà íîðìàëüíî : 2 X ∼ N (µX , σX ). Y |X = x íîðìàëüíî : σY 2 2 Y |X = x ∼ N µY + ρ (x − µX ), σY (1 − ρ ) . σX 2. Óñëîâíîå ðàñïðåäåëåíèå Èç ýòîãî ñâîéñòâà òàêæå âûòåêàåò óñëîâíàÿ ãîìîñêåäàñòè÷íîñòü è E[Y |X] = BLP [X|Y ]. 3. Åñëè Y è X íåñêîððåëèðîâàíû (ò.å. ρ = 0), òî Y è X íåçàâèñèìû. 4. Ëèíåéíàÿ ôóíêöèÿ îò íîðìàëüíîé ñëó÷àéíîé âåëè÷èíû ÿâëÿåòñÿ òàêæå íîðìàëüíîé ñëó÷àéíîé âåëè÷èíîé : Y A ∼N X Çäåñü A 2×2 σY2 µY A ,A µX ρσX σY ρσX σY ìàòðèöà ëèíåéíîãî ïðåîáðàçîâàíèÿ. 31 σY2 ! A0 ! . 4 Ñâîéñòâà ìíîãîìåðíîãî íîðìàëüíîãî ðàñïðåäåëåíèÿ Ïóñòü Y ìíîãîìåðíàÿ âåëè÷èíà, ðàñïðåäåëåííàÿ ñîãëàñíî íîðìàëüíîìó çàêîíó, ò.å. Y ∼ N (µ, Σ), ãäå µ k×1 äåëåíèÿ Y âåêòîð ñðåäíèõ, k×k äèñïåðñèîííàÿ ìàòðèöà. Ïëîòíîñòü ðàñïðå- åñòü fY (y) = Ðàçîáüåì Σ Y 1 (2π)k/2 |Σ|1/2 (y − µ)0 Σ−1 (y − µ) exp − . 2 íà äâå ÷àñòè : Y1 Y = ∼N Y2 !! Σ11 Σ12 µ1 , = N (µ, Σ). µ2 Σ21 Σ22 Ìíîãîìåðíîå íîðìàëüíîå ðàñïðåäåëåíèå îáëàäàåò ñëåäóþùèìè ñâîéñòâàìè : 1. Y1 ∼ N (µ1 , Σ11 ). 2. Y2 |Y1 = y1 ∼ N (µ2 + B 0 (y1 − µ1 ), Σ22 − B 0 Σ11 B), 3. Åñëè 4. Σ12 = 0, òî Y1 è Y2 ãäå B = Σ−1 11 Σ12 . íåçàâèñèìû. g + HY ∼ N (g + Hµ, HΣH 0 ), ãäå g ôèêñèðîâàííûé âåêòîð, à H ìàòðèöà ëèíåéíîãî ïðåîáðàçîâàíèÿ. 5 Ïðèíöèï àíàëîãèé Ïðè ïîñòðîåíèè âñåâîçìîæíûõ îöåíîê èñïîëüçóþò ïðèíöèï àíàëîãèé , îñíîâíàÿ èäåÿ êîòîðîãî ñîñòîèò â çàìåíå íåèçâåñòíîé èñòèííîé ôóíêöèè ðàñïðåäåëåíèÿ èçâåñòíîé ýìïèðè÷åñêîé. Ýòó èäåþ ìû óæå âñòðå÷àëè ïðè èçó÷åíèè áóòñòðàïà. Ïóñòü èíòåðåñóþùèé íàñ ïàðàìåòð X , FX (x). θ èçâåñòíûì îáðàçîì çàâèñèò îò ôóíêöèè ðàñïðåäåëåíèÿ Òîãäà, ñîãëàñíî ïðèíöèïó àíàëîãèé, îöåíêó èñòèííóþ ôóíêöèþ ðàñïðåäåëåíèÿ FX (x) θb ìîæíî ïîñòðîèòü, çàìåíèâ íà åå âûáîðî÷íûé àíàëîã n 1X I[xi ≤ x]. Fn (x) = n i=1 Ïðèâåäåì ïðèìåðû. Ïðèìåð 1. Ïóñòü èíòåðåñóþùèé íàñ ïàðàìåòð åñòü òåîðåòè÷åñêîå ñðåäíåå : θ = E[X] = Z +∞ −∞ 32 xdF (x). Òîãäà, ïî ïðèíöèïó àíàëîãèé, åãî àíàëîãîâàÿ îöåíêà áóäåò ðàâíà θb = Z +∞ −∞ n 1X xi . xdFn (x) = n i=1 Ïðèìåð 2 : ÌÍÊ-îöåíêà. Ïîêàæåì, ÷òî ÌÍÊ-îöåíêà òàêæå ÿâëÿåòñÿ àíàëîãîâîé îöåíêîé. Ïóñòü èñõîäíàÿ ìîäåëü áóäåò y = x0 β + e, Òîãäà ïàðàìåòð β E[ex] = 0. E[(y − x0 β)x] = 0. íàõîäèòñÿ èç óñëîâèÿ : Åãî âèä : β = (E(xx0 ))−1 E(xy). Èñïîëüçóÿ ïðèíöèï àíàëîãèé, ïîëó÷èì ÌÍÊ-îöåíêó : n βb = 1X xi x0i n i=1 !−1 ! n 1X xi yi . n i=1 Ïðèìåð 3 : åù¼ ðàç ÌÍÊ-îöåíêà. ÌÍÊ-îöåíêó ìîæíî ïîëó÷èòü êàê àíàëîãîâóþ è èç óñëîâèÿ ìèíèìèçàöèè ñðåäíåêâàäðàòè÷íîé îøèáêè ïðîãíîçà. Èñõîäíàÿ ðåãðåññèîííàÿ ìîäåëü â ýòîì ñëó÷àå åñòü E[y|x] = x0 β. Ïàðàìåòð β íàõîäèòñÿ èç óñëîâèÿ ìèíèìèçàöèè ñðåäíåêâàäðàòè÷íîé îøèáêè : β = arg minE[(y − x0 b)2 ]. b Ñîîòâåòñòâóþùåå àíàëîãîâîå óñëîâèå çàïèñûâàåòñÿ â âèäå 1 βb = arg min b n n X (yi − x0i b)2 . i=1 Î÷åâèäíî, ÷òî ðåçóëüòàòîì ðåøåíèÿ ýòîé çàäà÷è íà ýêñòðåìóì âíîâü ÿâëÿåòñÿ ÌÍÊîöåíêà. 6 Îñíîâíûå ïîíÿòèÿ, ñâÿçàííûå ñ ðåãðåññèåé Ñåé÷àñ è â äàëüíåéøåì ìû íå áóäåì ðàçëè÷àòü ïðîïèñíûå è ñòðî÷íûå áóêâû äëÿ îáîçíà÷åíèÿ ñëó÷àéíûõ âåëè÷èí è èõ ðåàëèçàöèé, èíà÷å ìîæíî ñ óìà ñîéòè. Ïóñòü ó íàñ åñòü ïàðà (y, x), ãäå y ñêàëÿð, à x âåêòîð. Îïðåäåëåíèå. Ðåãðåññèåé (â øèðîêîì ñìûñëå) íàçûâàåòñÿ êàêîå-ëèáî ñâîéñòâî óñëîâíîãî ðàñïðåäåëåíèÿ y ïðè çàäàííîì x êàê ôóíêöèÿ îò 33 x. Ïðèâåäåì íåñêîëüêî ïðèìåðîâ ðåãðåññèé : Ïðèìåð 1. Ðåãðåññèÿ ñðåäíåãî E[y|x]. Ïðèìåð 2. Ìåäèàííàÿ ðåãðåññèÿ M ed[y|x]. Ïðèìåð 3. Êâàíòèëüíàÿ ðåãðåññèÿ Ïðèìåð 4. Ìîäàëüíàÿ ðåãðåññèÿ Ðàññìîòðèì ïîäðîáíåå qα [y|x]. M ode[y|x]. ðåãðåññèþ ñðåäíåãî , êîòîðàÿ íàèáîëåå ÷àñòî èñïîëüçóåòñÿ â ýêîíîìåòðè÷åñêîì àíàëèçå. Îøèáêîé ðåãðåññèè ñðåäíåãî íàçûâàåòñÿ âåëè÷èíà y − E[y|x]. Ýòà îøèáêà îáëàäàåò ñâîéñòâîì E[e|x] = 0, e = è, êàê ñëåäñòâèå, ñâîéñòâîì E[eh(x)] = 0 äëÿ ëþáîé ôóíêöèè h(x).  ÷àñòíîñòè, E[e] = 0. Îäíàêî ðåãðåññîðû x è îøèáêà e ìîãóò íå áûòü íåçàâèñèìûìè. Ðåãðåññèþ ñðåäíåãî ñðåäíåãî ìîæíî çàïèñàòü â ïðèâû÷íîì âèäå êàê y = E[y|x] + e, E[e|x] = 0. Ïîêà åùå íå ñäåëàíî íèêàêèõ ïðåäïîëîæåíèé, êðîìå ñóùåñòâîâàíèÿ ââåäåííûõ îáúåêòîâ. Îáû÷íî èññëåäîâàòåëü, îáëàäàÿ ñîâîêóïíîñòüþ íàáëþäåíèé íûì îáðàçîì âûáðàííûõ èç ïîïóëÿöèè ôóíêöèþ 1. E[y|x]. ñëó÷àé- õî÷åò îöåíèòü, èñïîëüçóÿ ýòè äàííûå, Ñóùåñòâóåò íåñêîëüêî ðàçëè÷íûõ ïîäõîäîâ ê äàííîé çàäà÷å : Íåïàðàìåòðè÷åñêîå îöåíèâàíèå : Ïðè òàêîì ïîäõîäå äåëàþòñÿ ñëàáûå ïðåäïîëîæåíèÿ î ãëàäêîñòè ôóíêöèè ïëîòíîñòè ðàñïðåäåëåíèÿ 2. (y, x), {(yi , xi )}ni=1 , E[y|x] è, âîçìîæíî, åå ïðîèçâîäíîé ïî x è x. Ïàðàìåòðè÷åñêîå îöåíèâàíèå : Ïðè òàêîì ïîäõîäå ïðåäïîëàãàåòñÿ èçâåñòíûì âèä ôóíêöèè ðàìåòðîâ β∈R k E[y|x] = g(x, β). Íåèçâåñòíûìè ÿâëÿþòñÿ êîíå÷íîå ÷èñëî ïà- . Ýòè ïàðàìåòðû îöåíèâàþòñÿ, ÷òî äà¼ò îöåíêó è äëÿ g(x, β). Òàêèì îáðàçîì, ôóíêöèÿ óñëîâíîãî ñðåäíåãî ïàðàìåòðèçóåòñÿ, îòñþäà è íàçâàíèå ìåòîäà. Ïàðàìåòðè÷åñêèé ìåòîä îöåíèâàíèÿ ÿâëÿåòñÿ áîëåå ýôôåêòèâíûì, ÷åì íåïàðàìåòðè÷åñêèé, åñëè ñïåöèôèêàöèÿ ìîäåëè ïðàâèëüíàÿ. Îäíàêî, åñëè ôóíêöèÿ óñëîâíîãî ñðåäíåãî ïàðàìåòðèçîâàíà íåâåðíî, òî îöåíèâàíèå ïðèâîäèò ê íåñîñòîÿòåëüíûì îöåíêàì äëÿ 3. E[y|x]. Ïîëóïàðàìåòðè÷åñêîå îöåíèâàíèå : Ïîëóïàðàìåòðè÷åñêîå îöåíèâàíèå ïðåäñòàâëÿåò ñîáîé íå÷òî ñðåäíåå ìåæäó ïàðàìåòðè÷åñêèì è íåïàðàìåòðè÷åñêèì ïîäõîäàìè. Ìîæíî ñêàçàòü, ÷òî E[y|x] ïàðàìåòðèçóåòñÿ, íî êîëè÷åñòâî ïàðà- ìåòðîâ áåñêîíå÷íî. Ïðèìåðîì ÿâëÿþòñÿ òàê íàçûâàåìûå èíäåêñíûå ìîäåëè, ãäå âèä ôóíêöèè óñëîâíîãî ñðåäíåãî íàì íåèçâåñòåí, îäíàêî èçâåñòíî, ÷òî îíà çàâèñèò îò êîíå÷íîìåðíîé ëèíåéíîé êîìáèíàöèè ðåãðåññîðîâ. 34 IV 1 Ëèíåéíàÿ ðåãðåññèÿ ñðåäíåãî Ìåòîä íàèìåíüøèõ êâàäðàòîâ Ïóñòü E[y|x] = x0 β , òîãäà ðåãðåññèÿ ñðåäíåãî çàïèñûâàåòñÿ ïðèâû÷íûì îáðàçîì êàê y = x0 β + e, Ïðåäïîëîæèì, ìàòðèöà {(yi , xi )}ni=1 ∼ iid. E[e|x] = 0, E[xx0 ] íåâûðîæäåííàÿ. Òîãäà ïàðàìåòð β , ìèíèìèçèðóþùèé ñðåäíåêâàäðàòè÷íóþ îøèáêó, áóäåò åäèíñòâåííûì ðåøåíèåì çàäà÷è β = arg minE[(y − x0 b)2 ]. b Ïîëüçóÿñü ïðèíöèïîì àíàëîãèé, ìîæíî ïîñòðîèòü îöåíêó äëÿ n n 1X (yi − x0i b)2 = βb = arg min b n i=1 1X xi x0i n i=1 !−1 β: n 1X xi yi . n i=1 Ýòî è åñòü îöåíêà ìåòîäà íàèìåíüøèõ êâàäðàòîâ, èëè ÌÍÊ-îöåíêà. 2 Àñèìïòîòè÷åñêèå ñâîéñòâà ÌÍÊ-îöåíêè Äëÿ âûÿñíåíèÿ àñèìïòîòè÷åñêèõ ñâîéñòâ ÌÍÊ-îöåíêè ïåðåïèøåì åå â ñëåäóþùåì âèäå : n βb = β + 1X xi x0i n i=1 !−1 n 1X xi ei . n i=1 Êàê ìû óæå çíàåì, ÌÍÊ-îöåíêà ñîñòîÿòåëüíà, ò.å. p βb → β . Êðîìå òîãî, ÌÍÊ-îöåíêà àñèìïòîòè÷åñêè ðàñïðåäåëåíà ïî íîðìàëüíîìó çàêîíó : √ n n(βb − β) = 1X xi x0i n i=1 !−1 n 1 X d −1 √ xi ei → N 0, Q−1 xx Qe2 xx Qxx , n i=1 ãäå ìû èñïîëüçîâàëè ñëåäóþùèå îáîçíà÷åíèÿ : Qxx = E[xx0 ], Qe2 xx = E[e2 xx0 ] = V ar[xe]. Ïðèâåäåííûå àñèìïòîòè÷åñêèå ñâîéñòâà ñëåäóþò èç ÇÁ× è ÖÏÒ. Èç çàêîíà áîëüøèõ ÷èñåë ñëåäóåò, ÷òî n 1X p xi x0i → E[xx0 ] = Qxx , n i=1 n 1X p xi ei → E[xe] = E[xE[e|x]] = 0, n i=1 35 ÷òî âëå÷¼ò ñîñòîÿòåëüíîñòü ÌÍÊ-îöåíêè. Èç öåíòðàëüíîé ïðåäåëüíîé òåîðåìû äëÿ íåçàâèñèìûõ îäèíàêîâî ðàñïðåäåëåííûõ âåëè÷èí ñëåäóåò, ÷òî n 1 X d √ xi ei → N (0, V ar[xe]) = N (0, Qe2 xx ) , n i=1 ÷òî âëå÷¼ò àñèìïòîòè÷åñêóþ íîðìàëüíîñòü ÌÍÊ-îöåíêè. Ðàññìîòðèì ñïåöèàëüíûé ñëó÷àé, êîãäà ðåãðåññèîííàÿ îøèáêà óñëîâíî ãîìîñêåäàñòè÷íà, ò.å. E[e2 |x] = σ 2 = const.  ýòîì ñëó÷àå Qe2 xx = σ 2 Qxx è àñèìïòîòè÷åñêîå ðàñïðåäåëåíèå ÌÍÊ-îöåíêè èìååò äèñïåðñèîííóþ ìàòðèöó â óïðîùåííîì âèäå : √ d n(βb − β) → N 0, σ 2 Q−1 xx . Êðîìå òîãî, ëåãêî ïîñòðîèòü ñîñòîÿòåëüíóþ îöåíêó ýòîé äèñïåðñèîííîé ìàòðèöû : n 1X p b2→ σ b = (yi − x0i β) σ2, n i=1 2 n X p bxx = 1 Q xi x0i → Qxx . n i=1 Ñîñòîÿòåëüíîñòü ïåðâîé îöåíêè ñëåäóåò èç ÇÁ×. Ñîñòîÿòåëüíîñòü ïîñëåäíåé äîâîëüíî ëåãêî ïîêàçàòü : n 1X b2= (yi − x0i β) n i=1 n n n X 1X 0 1X b2+ 2 b = (yi − x0i β)2 + (xi β − x0i β) (yi − x0i β)(x0i β − x0i β) n i=1 n i=1 n i=1 ! n n n X X 1X 1 b0 b +2 b = (yi − x0i β)2 + (β − β) xi x0i (β − β) (yi − x0i β)x0i (β − β). n i=1 n i=1 n i=1 = Äàëåå, ïðèìåíÿÿ ÇÁ× è òåîðåìó Ñëóöêîãî, ïîëó÷èì : n 1X p (yi − x0i β)2 → σ 2 , n i=1 b0 (β − β) ! n 1X p b → xi x0i (β − β) 0, n i=1 n 2X p b → (yi − x0i β)x0i (β − β) 0. n i=1 Âñ¼ âìåñòå âëå÷¼ò ñîñòîÿòåëüíîñòü îöåíêè óñëîâíîé äèñïåðñèè ðåãðåññèîííîé îøèáêè : n 1X p b2→ (yi − x0i β) σ2. n i=1 36 Òåïåðü ðàññìîòðèì îáùèé ñëó÷àé óñëîâíîé ãåòåðîñêåäàñòè÷íîñòè.  ýòîì ñëó÷àå íàì íóæíî ñîñòîÿòåëüíî îöåíèòü ìàòðèöó Qe2 xx . Ìîæíî ïîêàçàòü, ÷òî ñîñòîÿòåëüíîé îöåíêîé ýòîé ìàòðèöû áóäåò ñëåäóþùàÿ : n X p b2→ be2 xx = 1 Q xi x0i (yi − x0i β) Qe2 xx . n i=1 Èòàê, ñîñòîÿòåëüíàÿ îöåíêà äèñïåðñèîííîé ìàòðèöû ÌÍÊ-îöåíêè â ñëó÷àå óñëîâíîé ãåòåðîñêåäàñòè÷íîñòè çàïèøåòñÿ êàê b−1 b b−1 Vbβ = Q xx Qe2 xx Qxx . Áóäåì íàçûâàòü ñòàíäàðòíîé îøèáêîé îöåíêè βbj r h i 1 b se(βbj ) = Vβ . n jj Òîãäà ñîîòâåòñòâóþùàÿ t-ñòàòèñòèêà âåëè÷èíó áóäåò àñèìïòîòè÷åñêè ïèâîòàëüíîé îöåíêîé, àñèìïòîòè÷åñêîå ðàñïðåäåëåíèå êîòîðîé ÿâëÿåòñÿ ñòàíäàðòíûì íîðìàëüíûì : tj = βbj − βj d → N (0, 1). se(βbj ) Âàëüäîâñêàÿ ñòàòèñòèêà äëÿ îãðàíè÷åíèé îáùåãî âèäà ÷åíèé l ≤ k, h(β) = 0, ãäå ÷èñëî îãðàíè- èìååò àñèìïòîòè÷åñêîå ðàñïðåäåëåíèå õè-êâàäðàò : h i−1 d b0 H b → b Vbβ H b0 W = h(β) h(β) χ2 (l), ãäå èñïîëüçîâàíû îáîçíà÷åíèÿ H= 3 ∂h(β) , ∂β 0 b b = ∂h(β) . H ∂β 0 Ñâîéñòâà ÌÍÊ-îöåíêè â êîíå÷íûõ âûáîðêàõ Ââåäåì ñëåäóþùèå îáîçíà÷åíèÿ : X = (x1 , x2 , . . . , xn )0 , y = (y1 , y2 , . . . , yn )0 , ε = (e1 , e2 , . . . , en )0 . Òîãäà óæå çíàêîìóþ íàì ðåãðåññèîííóþ ìîäåëü ëèíåéíîãî óñëîâíîãî ñðåäíåãî ìîæíî ïåðåïèñàòü â ìàòðè÷íîì âèäå y = Xβ + ε, E[ε|X] = 0. ÌÍÊ-îöåíêà â òàêîì ñëó÷àå çàïèøåòñÿ êàê βb = (X 0 X)−1 X 0 y = β + (X 0 X)−1 X 0 ε. Ýòà îöåíêà îáëàäàåò ñëåäóþùèìè ñâîéñòâàìè â êîíå÷íûõ âûáîðêàõ : 37 • Óñëîâíàÿ íåñìåù¼ííîñòü : b E[β|X] = β + (X 0 X)−1 X 0 E[ε|X] = β. • Áåçóñëîâíàÿ íåñìåù¼ííîñòü ñëåäóåò èç óñëîâíîé íåñìåù¼ííîñòè. • Óñëîâíàÿ äèñïåðñèÿ îöåíêè åñòü b V ar[β|X] = (X 0 X)−1 X 0 ΩX(X 0 X)−1 , ãäå 4 Ω = V ar[y|X] = E[εε0 |X]. Îáîáùåííûé ìåòîä íàèìåíüøèõ êâàäðàòîâ Îïðåäåëåíèå. Ïóñòü E[y|X] = Xβ . ñîäåðæàùèé îöåíêè âèäà îò A(X)y , Êëàññîì ãäå A(X) ëèíåéíûõ îöåíîê β ìàòðèöà k × n, íàçûâàåòñÿ êëàññ, êîòîðàÿ çàâèñèò òîëüêî X. Ïðèìåð. Äëÿ ÌÍÊ-îöåíêè Îïðåäåëåíèå. Ïóñòü A(X) = (X 0 X)−1 X 0 . E[y|X] = Xβ . Êëàññîì çûâàåòñÿ êëàññ, ñîäåðæàùèé îöåíêè âèäà òîëüêî îò X Çàìåòèì, ÷òî íà- A(X)y , ãäå A(X) ìàòðèöà k×n, çàâèñÿùàÿ è óäîâëåòâîðÿþùàÿ óñëîâèþ Ïðèìåð. Äëÿ ÌÍÊ-îöåíêè ëèíåéíûõ íåñìåù¼ííûõ îöåíîê β A(X)X = Ik . A(X)X = (X 0 X)−1 X 0 X = Ik . V ar[A(X)y|X] = A(X)ΩA(X)0 . Ìû õîòèì íàéòè ëèíåéíóþ íåñìåù¼í- íóþ îöåíêó, êîòîðàÿ ìèíèìèçèðóåò V ar[A(X)y|X]. Òåîðåìà (Ãàóññà-Ìàðêîâà). Íàèëó÷øåé ëèíåéíîé íåñìåù¼ííîé îöåíêîé ëèíåéíîé ðåãðåññèè ñðåäíåãî ÿâëÿåòñÿ îöåíêà βe = A∗ (X)y, ãäå A∗ (X) = (X 0 Ω−1 X)−1 X 0 Ω−1 .  ýòîì ñëó÷àå äèñïåðñèîííàÿ ìàòðèöà îöåíêè èìååò âèä e V ar[β|X] = (X 0 Ω−1 X)−1 . Äîêàçàòåëüñòâî. Îöåíêà èáî βe ïðèíàäëåæèò êëàññó ëèíåéíûõ íåñìåù¼ííûõ îöåíîê, A∗ (X)X = Ik . Âîçüìåì ïðîèçâîëüíóþ ìàòðèöó A(X), òàêóþ, ÷òî A(X)X = Ik .  ýòîì ñëó÷àå èìåþò ìåñòî ñëåäóþùèå ðàâåíñòâà : (A(X) − A∗ (X))X = 0, (A(X) − A∗ (X))ΩA∗ (X)0 = (A(X) − A∗ (X))ΩΩ−1 X(X 0 Ω−1 X)−1 = 0. 38 Òîãäà V ar[A(X)Y |X] = A(X)ΩA(X)0 = = (A(X) − A∗ (X) + A∗ (X))Ω(A(X) − A∗ (X) + A∗ (X))0 = e = (A(X) − A∗ (X))Ω(A(X) − A∗ (X))0 + V ar[A∗ (X)Y |X] ≥ V ar[β|X]. íîê. βe ÿâëÿåòñÿ Îïðåäåëåíèå. Ïóñòü E[y|X] = Xβ . Ñëåäîâàòåëüíî, îöåíêà îöåíêîé íàèëó÷øåé â êëàññå ëèíåéíûõ íåñìåù¼ííûõ îöå- Îöåíêà βe = (X 0 Ω−1 X)−1 X 0 Ω−1 y îáîáù¼ííîãî ìåòîäà íàèìåíüøèõ êâàäðàòîâ Ñëåäñòâèå 1. ÎÌÍÊ-îöåíêà íàçûâàåòñÿ (ÎÌÍÊ). βe ÿâëÿåòñÿ ýôôåêòèâíîé â êëàññå ëèíåéíûõ íåñìåù¼í- íûõ îöåíîê. Ñëåäñòâèå 2. Åñëè îøèáêà ëèíåéíîé ðåãðåññèè ñðåäíåãî îáëàäàåò ñâîéñòâîì óñëîâíîé ãîìîñêåäàñòè÷íîñòè, òî βe = βb, ò.å. ÌÍÊ- è ÎÌÍÊ-îöåíêè ñîâïàäàþò. Íèæå ïðèâåäåíà òàáëèöà, ñîäåðæàùàÿ óñëîâíûå äèñïåðñèîííûå ìàòðèöû ÌÍÊ- è ÎÌÍÊ-îöåíîê â êîíå÷íûõ âûáîðêàõ äëÿ ñëó÷àåâ óñëîâíîé ãåòåðî- è ãîìîñêåäàñòè÷íîñòè. OLS GLS Ãîìîñêåäàñòè÷íîñòü σ 2 (X 0 X)−1 σ 2 (X 0 X)−1 Ãåòåðîñêåäàñòè÷íîñòü (X 0 X)−1 X 0 ΩX(X 0 X)−1 (X 0 Ω−1 X)−1 βe ÿâëÿåòñÿ íåäîñòóïíîé , Çàìå÷àíèå 1. ÎÌÍÊ-îöåíêà âåñòíà. Çàìå÷àíèå 2. ÎÌÍÊ-îöåíêà òîäà íàèìåíüøèõ êâàäðàòîâ βe ÿâëÿåòñÿ ïîñêîëüêó ìàòðèöà ÷àñòíûì ñëó÷àåì îöåíêè Ω íåèç- âçâåøåííîãî ìå- (ÂÌÍÊ) βbW LS = (X 0 W X)−1 X 0 W Y, ãäå 5 W ïîëîæèòåëüíî îïðåäåëåííàÿ ìàòðèöà. Àñèìïòîòè÷åñêèå ñâîéñòâà ÎÌÍÊ-îöåíîê Ðàññìîòðèì àñèìïòîòè÷åñêèå ñâîéñòâà ÎÌÍÊ-îöåíêè. Äëÿ ýòîãî ïðåäñòàâèì åå â ñëåäóþùåì âèäå : n βe = β + 1 X xi x0i n i=1 σ 2 (xi ) 39 !−1 n 1 X xi ei . n i=1 σ 2 (xi ) Ïîëüçóÿñü çàêîíîì áîëüøèõ ÷èñåë è öåíòðàëüíîé ïðåäåëüíîé òåîðåìîé, ïîëó÷èì : n xx0 1 X xi x0i p → Qxx/σ2 = E 2 , n i=1 σ 2 (xi ) σ (x) n 1 X xi ei p xe →E 2 = 0, n i=1 σ 2 (xi ) σ (x) n 1 X xi ei d √ 2 . → N 0, Q xx/σ n i=1 σ 2 (xi ) Ïîñëåäíåå âûðàæåíèå ñëåäóåò èç E " xe σ 2 (x) 2 # xx0 2 = E 2 E[e |x] = Qxx/σ2 . σ (x) Òàêèì îáðàçîì, ÎÌÍÊ-îöåíêà ÿâëÿåòñÿ ñîñòîÿòåëüíîé è àñèìïòîòè÷åñêè íîðìàëüíîé. Íèæå ïðèâåäåíà òàáëèöà, ñîäåðæàùàÿ àñèìïòîòè÷åñêèå äèñïåðñèîííûå ìàòðèöû ÌÍÊ- è ÎÌÍÊ-îöåíîê äëÿ ñëó÷àåâ óñëîâíîé ãåòåðî- è ãîìîñêåäàñòè÷íîñòè : OLS σ Ãîìîñêåäàñòè÷íîñòü ãäå zi = f (xi ) GLS Q−1 xx/σ 2 Q−1 xx βe àñèìïòîòè÷åñêè ýôôåêòèâíà â !−1 n n X 1 1X 0 b βIV = zi xi zi yi , n i=1 n i=1 äëÿ ëþáîé ôóíêöèè = σ 2 Q−1 xx Q−1 xx/σ 2 −1 Q−1 xx Qe2 xx Qxx Ãåòåðîñêåäàñòè÷íîñòü Òåîðåìà. ÎÌÍÊ-îöåíêà 2 êëàññå îöåíîê âèäà f : Rk → Rk . Äîêàçàòåëüñòâî. Çàìåòèì, ÷òî ÌÍÊ- è ÎÌÍÊ-îöåíêè ïðèíàäëåæàò óêàçàííîìó êëàññó, ò.ê. äëÿ ÌÍÊ zi = xi , à äëÿ ÎÌÍÊ n βbIV = 1X 0 zi xi n i=1 zi = xi /σ 2 (xi ). !−1 Ðàññìîòðèì îöåíêó n 1X zi yi . n i=1 Ëåãêî ïîêàçàòü, ÷òî îíà ñîñòîÿòåëüíà è àñèìïòîòè÷åñêè íîðìàëüíà ñ àñèìïòîòè÷åñêîé äèñïåðñèîííîé ìàòðèöåé −1 Vzz = Q−1 zx Qe2 zz Qxz , 40 ãäå Qzx = E[zx0 ], à Qe2 zz = E[zz 0 e2 ] = E[zz 0 σ 2 (x)]. Çíàÿ, ÷òî àñèìïòîòè÷åñêàÿ äèñ- −1 ïåðñèÿ ÎÌÍÊ-îöåíêè ðàâíà Q xx/σ 2 , ðàññìîòðèì ðàçíîñòü Vzz − Q−1 xx/σ 2 −1 0 0 2 = (E[zx ]) −1 E[zz σ (x)] (E[xz ]) −1 = (E[vu0 ]) −1 0 −1 xx0 − E 2 = σ (x) −1 E[vv 0 ] (E[uv 0 ]) − (E[uu0 ]) = h i −1 0 −1 0 0 0 −1 0 = (E[vu ]) E[vv ] − E[vu ] (E[uu ]) E[uv ] (E[uv 0 ]) = −1 = (E[vu0 ]) Çäåñü −1 E[ww0 ] (E[uv 0 ]) ≥ 0. v = zσ(x), u = x/σ(x) è w = v−E[vu0 ](E[uu0 ])−1 u. Òàêèì îáðàçîì, ìû ïîêàçàëè, ÷òî ÎÌÍÊ-îöåíêà àñèìïòîòè÷åñêè ýôôåêòèâíà â óêàçàííîì êëàññå. Ðåçóëüòàò. ÎÌÍÊ-îöåíêà ÿâëÿåòñÿ àíàëîãîâîé îöåíêîé, ò.å. ìîæåò áûòü ïîëó÷åíà èç ïðèíöèïà àíàëîãèé. À èìåííî, ÎÌÍÊ-îöåíêà ïîëó÷àåòñÿ èç óñëîâèÿ n x =0 E e σ(x) 6 1X e xi = 0. (yi − x0i β) n i=1 σ(xi ) ⇒ Äîñòóïíàÿ ÎÌÍÊ-îöåíêà Êàê óæå áûëî çàìå÷åíî, ÷òîáû ïîëó÷èòü ÎÌÍÊ-îöåíêó, íàì íåîáõîäèìî çíàòü äèñïåðñèîííóþ ìàòðèöó îøèáîê σ 2 (xi ), Ω, ãëàâíàÿ äèàãîíàëü êîòîðîé íàïè÷êàíà âåëè÷èíàìè à íà îñòàëüíûõ ìåñòàõ ñòîÿò íóëè. Åñòåñòâåííî ïîëàãàòü, ÷òî ýòè ïàðàìåòðû ÿâëÿþòñÿ íåèçâåñòíûìè àïðèîðè, ïîýòîìó îíè äîëæíû áûòü îöåíåíû. Ïëîõî òî, ÷òî äëÿ ýòîãî íåîáõîäèìà ìîäåëü äëÿ σ 2 (x). Ýòó ôóíêöèþ ìîæíî (è íóæíî !) îöåíèâàòü íåïàðàìåòðè÷åñêè, íî ìû ïîêà ê ýòîìó íå ãîòîâû. Îáû÷íî ïðåäïîëàãàþò, ÷òî äèñïåðñèÿ îøèáîê åñòü ëèíåéíàÿ ôóíêöèÿ îò íåêîòîðîé òðàíñôîðìàöèè x: σ 2 (x) = E[e2 |x] = z 0 γ, ãäå z x, åñòü íåêîòîðàÿ òðàíñôîðìàöèÿ íàïðèìåð z = x2 . Åñëè ïðåäïîëîæåíèå ïðà- ñêåäàñòè÷íóþ ðåãðåññèþ âèëüíîå, òî ìîæíî îöåíèòü e2 = z 0 γ + ε, E[ε|z] = 0. Îöåíèâ èñõîäíóþ ðåãðåññèþ ñ ïîìîùüþ ÌÍÊ è ñêåäàñòè÷íóþ ðåãðåññèþ, èñïîëüçóÿ êâàäðàòû ÌÍÊ-îñòàòêîâ âìåñòî êâàäðàòîâ îøèáîê, òàêæå ñ ïîìîùüþ ÌÍÊ, èìååì : γ b= X i zi zi0 !−1 b ebi = yi − x0i βb = ei + x0i (β − β), X i zi e2i + 2 X i b i+ zi x0i (β − β)e 41 X i b 2 zi (x0i (β − β)) ! p → γ. Òàêèì îáðàçîì, ìû ïîëó÷àåì ñîñòîÿòåëüíûå îöåíêè äèñïåðñèé îøèáîê : σ b2 (xi ) = zi0 γ b, ïîñëå ÷åãî, ìû ìîæåì ïîñòðîèòü äîñòóïíóþ îöåíêó îáîáùåííîãî ìåòîäà íàèìåíüøèõ êâàäðàòîâ (ÄÎÌÍÊ) : βeF = n X xi x0i σ b2 (xi ) i=1 !−1 n X xi yi b −1 X)−1 X 0 Ω b −1 y. = (X 0 Ω 2 σ b (xi ) i=1 Ïðèâåäåì àëãîðèòì ïîñòðîåíèÿ ÄÎÌÍÊ-îöåíêè : 1. Èñïîëüçóÿ ÌÍÊ, îöåíèòü èñõîäíóþ ðåãðåññèþ è ïîëó÷èòü îñòàòêè 1, . . . , n. Ïðîãíàòü ñêåäàñòè÷íóþ ðåãðåññèþ, ïîëó÷èòü îöåíêè îöåíêè äèñïåðñèé îøèáîê 2 σ b (xi ) (èëè b ). Ω γ b ebi äëÿ i= è ïîñòðîèòü 2. Ïîñòðîèòü ÄÎÌÍÊ-îöåíêó βeF = n X xi x0i σ b2 (xi ) i=1 !−1 n X xi yi b −1 X)−1 X 0 Ω b −1 y. = (X 0 Ω 2 (x ) σ b i i=1 Âîîáùå ãîâîðÿ, òàêîé àëãîðèòì ïîñòðîåíèÿ îöåíîê äèñïåðñèè îøèáîê íå ãàðàíòèðóåò èõ ïîëîæèòåëüíîñòü. Íèæå ïðèâåäåíû ñïîñîáû èçáåæàòü 1. Âûáðàòü íåêîòîðîå ìàëîå δ > 0. Ïîëîæèòü 2. Âûáðîñèòü òå íàáëþäåíèÿ, äëÿ êîòîðûõ 3. Ïîëîæèòü σ b2 (xi ) = 1 n Pn σ b2 (xi ) < 0. σ b2 (xi ) = max(zi0 γ b, δ). σ b2 (xi ) < 0. 0 b äëÿ òåõ íàáëþäåíèé, äëÿ êîòîðûõ j=1 zj γ σ b2 (xi ) < 0. Ðåçóëüòàò. Åñëè ñêåäàñòè÷íàÿ ôóíêöèÿ ïðàâèëüíî ñïåöèôèöèðîâàíà, òî ÄÎÌÍÊîöåíêà βeF àñèìïòîòè÷åñêè ýêâèâàëåíòíà ÎÌÍÊ-îöåíêå √ d βe, ò.å. n(βeF − β) → N (0, Q−1 xx/σ 2 ). Ñîñòîÿòåëüíàÿ îöåíêà àñèìïòîòè÷åñêîé äèñïåðñèè â ýòîì ñëó÷àå åñòü n X xi x0i b Vβ = n σ b2 (xi ) i=1 !−1 . Åñëè ñêåäàñòè÷íàÿ ôóíêöèÿ ñïåöèôèöèðîâàíà íåïðàâèëüíî, òî îöåíêà ìåíåå, îñòàåòñÿ ñîñòîÿòåëüíîé è àñèìïòîòè÷åñêè íîðìàëüíîé : √ d −1 −1 e n(βF − β) → N 0, Qxx/σ2 Qxx/σ4 e2 Qxx/σ2 , 42 βeF , òåì íå ãäå èñïîëüçîâàíû ñëåäóþùèå îáîçíà÷åíèÿ : Qxx/σ2 xx0 =E 0 , zγ Qxx/σ4 e2 xx0 2 =E e . (z 0 γ)2 Ñîñòîÿòåëüíàÿ îöåíêà àñèìïòîòè÷åñêîé äèñïåðñèè â ýòîì ñëó÷àå ðàâíà X xi x0 i Vbβ = n 7 i zi0 γ b !−1 X xi x0 i 2 eb 0 2 i (z γ b ) i i X xi x0 i i zi0 γ b !−1 . Ðåãðåññèÿ ñ íåñëó÷àéíîé âûáîðêîé  ñëó÷àå, êîãäà íàáëþäåíèÿ ïðåäñòàâëÿþò ñîáîé íåñëó÷àéíóþ âûáîðêó, äèñïåðñèîííàÿ ìàòðèöà îøèáîê îöåíêè βb = (X 0 X)−1 X 0 y Ω = V ar[y|X] íå ÿâëÿåòñÿ äèàãîíàëüíîé. Äèñïåðñèÿ ÌÍÊ- â ýòîì ñëó÷àå åñòü b V ar[β|X] = (X 0 X)−1 X 0 ΩX(X 0 X)−1 , à äèñïåðñèÿ ÎÌÍÊ-îöåíêè βe = (X 0 Ω−1 X)−1 X 0 Ω−1 y åñòü e V ar[β|X] = (X 0 Ω−1 X)−1 . ×òîáû ïîñòðîèòü ïèâîòàëüíóþ ñòàòèñòèêó â ñëó÷àå íåñëó÷àéíûõ íàáëþäåíèé, íåîáõîäèìî ïàðàìåòðèçîâàòü äèñïåðñèîííóþ ìàòðèöó îøèáîê Ω íåáîëüøèì ÷èñëîì ïà- ðàìåòðîâ. 8 ÌÍÊ è ÎÌÍÊ â ðåãðåññèÿõ íà âðåìåííûõ ðÿäàõ Ðàññìîòðèì ñëåäóþùóþ ðåãðåññèîííóþ ìîäåëü : yt = x0t β + et , ãäå {(xt , yt )}Tt=1 E[e2t |It−1 ] = σ 2 (It−1 ), E[et |It−1 ] = 0, ñòàöèîíàðíûé è ýðãîäè÷íûé ïðîöåññ, à It−1 = {yt−1 , yt−2 , . . . ; xt , xt−1 , . . .}. Ïðèìåðàìè òàêèõ ìîäåëåé ìîãóò ñëóæèòü : xt = (yt−1 , yt−2 , . . . , yt−p )0 . • Ìîäåëü • Ëèíåéíîå ïðåäñêàçàíèå îáìåííîãî êóðñà : AR(p), ãäå st+1 − st = α + β(ft − st ) + et , ãäå ft öåíà ôîðâàðäíîãî êîíòðàêòà, à 43 st E[et |It−1 ] = 0, òåêóùèé îáìåííûé êóðñ. • Ëèíåéíîå ïðåäñêàçàíèå èíôëÿöèè : E[et |It−1 ] = 0, πt+1 = α + βit + et , ãäå πt+1 èíôëÿöèÿ, à it ïðîöåíòíàÿ ñòàâêà. Çàìåòèì, ÷òî óñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå E[Y |X] íå åñòü Xβ , ïîýòîìó íå ñëåäóåò îæèäàòü õîðîøèõ ñâîéñòâ â êîíå÷íûõ âûáîðêàõ. Ðàññìîòðèì àñèìïòîòè÷åñêèå ñâîéñòâà ÌÍÊ- è ÎÌÍÊ-îöåíîê. ÌÍÊ-îöåíêà. ßñíî, ÷òî ÌÍÊ-îöåíêà ñîñòîÿòåëüíà : T X βb = xt x0t !−1 T X p xt yt → β. t=1 t=1 Ýòî ñëåäóåò èç òîãî, ÷òî : E[xt et ] = E[E[xt et |It−1 ]] = E[xt E[et |It−1 ]] = 0. Êðîìå òîãî, èç öåíòðàëüíîé ïðåäåëüíîé òåîðåìû äëÿ ïîñëåäîâàòåëüíîñòåé ìàðòèíãàëüíûõ ïðèðàùåíèé ñëåäóåò àñèìïòîòè÷åñêàÿ íîðìàëüíîñòü ÌÍÊ-îöåíêè : √ ãäå d T (βb − β) → N (0, Vβ ), −1 Vβ = Q−1 xx Qe2 xx Qxx , Qxx = E[xt x0t ], Qe2 xx = E[xt x0t e2t ]. Íåäèàãîíàëüíûå ýëåìåíòû ìàòðèöû Qe2 xx ðàâíû 0, ïîñêîëüêó E[xt et x0t−j et−j ] = E[E[xt et x0t−j et−j |It−1 ]] = E[xt E[et |It−1 ]x0t−j et−j ] = 0. ÎÌÍÊ-îöåíêà. ÎÌÍÊ-îöåíêà â ìîäåëÿõ áåç ñåðèéíîé êîððåëÿöèèè â îøèáêàõ, î÷åâèäíî, òîæå áóäåò ñîñòîÿòåëüíà è àñèìïòîòè÷åñêè íîðìàëüíà. Âûãëÿäèò ÎÌÍÊîöåíêà ñëåäóþùèì îáðàçîì : βe = T X t=1 xt x0t 2 σ (It−1 ) !−1 T X xt yt . 2 σ (It−1 ) t=1 Íà ïðàêòèêå ÎÌÍÊ-îöåíêà ðåäêî èñïîëüçóåòñÿ âî âðåìåííûõ ðÿäàõ, ïîñêîëüêó òðåáóåò çíàíèÿ èëè ñîñòîÿòåëüíîãî îöåíèâàíèÿ ñêåäàñòè÷íîé ôóíêöèè â ïðèíöèïå ìîæåò çàâèñåòü îò áåñêîíå÷íîé ïðåäûñòîðèè σ 2 (It−1 ), êîòîðàÿ It−1 . Òåïåðü ðàññìîòðèì ðåãðåññèîííóþ ìîäåëü íà âðåìåííûõ ðÿäàõ áîëåå îáùåãî âèäà, ñ âîçìîæíîñòüþ ñåðèéíîé êîððåëÿöèè â îøèáêàõ : yt = x0t β + et , ãäå E[et |It−q ] = 0, It−q = {yt−q , yt−q−1 , . . . ; xt , xt−1 , . . .}. Ïðèìåðàìè òàêèõ ìîäåëåé ìîãóò ñëóæèòü : 44 E[e2t |It−q ] = σ 2 (It−q ), xt = (yt−q , yt−q−1 , . . . , yt−q−p+1 )0 . • Ìîäåëü • Ëèíåéíîå ïðåäñêàçàíèå îáìåííîãî êóðñà : ARM A(p, q), ãäå st+q − st = α + β(ft,q − st ) + et , ãäå ft,q öåíà ôîðâàðäíîãî êîíòðàêòà íà q E[et |It−q ] = 0, ïåðèîäîâ âïåðåä, à st òåêóùèé îáìåííûé êóðñ. • Ëèíåéíîå ïðåäñêàçàíèå èíôëÿöèè : πt+q = α + βit,q + et , ãäå πt+q èíôëÿöèÿ, à it,q E[et |It−q ] = 0, ïðîöåíòíàÿ ñòàâêà íà ÌÍÊ-îöåíêà. T X βb = xt x0t !−1 t=1 T X q ïåðèîäîâ âïåðåä. xt yt . t=1 Îöåíêà îñòàåòñÿ ñîñòîÿòåëüíîé è àñèìïòîòè÷åñêè íîðìàëüíîé, ò.å. √ íî ìàòðèöà Qe2 xx d T (βb − β) → N (0, Vβ ), −1 Vβ = Q−1 xx Qe2 xx Qxx , ñ÷èòàåòñÿ ïî ôîðìóëå Qe2 xx = E[xt x0t e2t ] + q−1 X (E[xt x0t−j et et−j ] + E[xt x0t+j et et+j ]). j=1 Ñóììà ñîäåðæèò êîíå÷íîå ÷èñëî êîìïîíåíò 2q − 1, èáî äëÿ j >q−1 0 E[xt x0t−j et et−j ] = E[E[xt Xt−j et et−j |It−q ]] = E[xt x0t−j E[et |It−q ]et−j ] = 0. ×òîáû ñîñòîÿòåëüíî îöåíèòü àñèìïòîòè÷åñêóþ äèñïåðñèþ ÌÍÊ-îöåíêè Vβ â ñëó÷àå ñåðèéíîé êîððåëÿöèè îøèáîê, ìîæíî âîñïîëüçîâàòüñÿ, íàïðèìåð, ôîðìóëîé ÍüþèÓýñòà. ÎÌÍÊ-îöåíêà. ÎÌÍÊ-îöåíêà íå èñïîëüçóåòñÿ â ìîäåëÿõ ñ ñåðèéíîé êîððåëÿöèåé îøèáîê. Çàìåòèì,÷òî â ýòîì ñëó÷àå βe 6= T X t=1 xt x0t 2 σ (It−1 ) !−1 45 T X xt yt . 2 σ (It−1 ) t=1 V Ëèíåéíûå ìîäåëè ñ èíñòðóìåíòàëüíûìè ïåðåìåííûìè 1 Ýíäîãåííûå ïåðåìåííûå E[y|x] Áûâàþò ñëó÷àè, êîãäà óñëîâíîå ñðåäíåå íå ÿâëÿåòñÿ èíòåðåñóþùèì íàñ îáú- åêòîì. Ïðèâåäåì íåñêîëüêî ïðèìåðîâ. Ïðèìåð 1. Ïóñòü E[y|x∗ ] = (x∗ )0 β , îäíàêî ïåðåìåííûå ìè. Âìåñòî íèõ èññëåäîâàòåëü íàáëþäàåò ïåðåìåííûå îò x ∗ è y. x∗ ÿâëÿþòñÿ íåíàáëþäàåìû- x = x ∗ + u, ãäå u íåçàâèñèìà  ýòîì ñëó÷àå ÌÍÊ-îöåíêà áóäåò íåñîñòîÿòåëüíîé : y = (x∗ )0 β + e = (x − u)0 β + e = x0 β + v, v = e − u0 β, E[xv] = E[(x∗ + u)(e − u0 β)] = −E[uu0 ] 6= 0 ⇒ p βb 9 β.  òàêîé ñèòóàöèè àñèìïòîòè÷åñêîå ñìåùåíèå îöåíêè ñâÿçàíî ñ îøèáêîé èçìåðåíèÿ. Ïðèìåð 2. Ïóñòü ó íàñ åñòü ñèñòåìà ëèíåéíûõ óðàâíåíèé Cïðîñ Q = −β1 P + e1 : : Q = β2 P + e2 e1 ∼ iid(0, I2 ). e2 Ïðåäëîæåíèå ãäå Î÷åâèäíî, ÷òî â ýòîì ñëó÷àå öåíû êîððåëèðóþò ñ îøèáêàìè : E[e1 P ] 6= 0, E[e2 P ] 6= 0. Ïîýòîìó, èñïîëüçóÿ ÌÍÊ-îöåíêó â ðåãðåññèè Q íà P, ìû ïîëó÷èì p E[QP ] βb → . E[P 2 ] Èñõîäíóþ ñèñòåìó ëåãêî ðàçðåøèòü îòíîñèòåëüíî âûïóñêà è öåí : 1 Q = P β1 + β2 β2 1 ! e1 , e2 −1 β1 îòêóäà ñðàçó æå ñëåäóåò, ÷òî E[QP ] = β2 − β1 , β1 + β2 E[P 2 ] = 2 . β1 + β2 Òàêèì îáðàçîì, ÌÍÊ-îöåíêà íå ñîñòîÿòåëüíà íè äëÿ äëÿ ÷åãî-òî ñðåäíåãî ìåæäó íèìè : β2 − β1 p E[QP ] = βb → . 2 E[P ] 2 46 β1 , íè äëÿ β2 , à ñîñòîÿòåëüíà  îáîèõ ïðèìåðàõ ïåðåìåííûå, êîððåëèðóþùèå ñ îøèáêàìè, ÿâëÿþòñÿ ýíäîãåíûìè, è ÌÍÊ-îöåíèâàíèå íåñîñòîÿòåëüíî. Îïðåäåëåíèå. Ïåðåìåííàÿ íàçûâàåòñÿ ýíäîãåííîé , åñëè Îïðåäåëåíèå. Ïåðåìåííàÿ x â ïðàâîé ÷àñòè ñòðóêòóðíîãî óðàâíåíèÿ y = x0 β + e E[e|x] 6= 0. z y = x0 β + e, åñëè E[e|z] = 0.  íàçûâàåòñÿ ýêçîãåííîé äëÿ ñòðóêòóðíîãî óðàâíåíèÿ ýòîì ñëó÷àå z ìîæåò èñïîëüçîâàòüñÿ êàê èíñòðóìåíò äëÿ îöåíèâàíèÿ ïàðàìåòðîâ óðàâíåíèÿ. Çàìåòèì, ÷òî â îáû÷íîé ðåãðåññèè óñëîâíîãî ñðåäíåãî ðåãðåññîðû ÿâëÿþòñÿ ýêçîãåííûìè ïåðåìåííûìè, ò.å. äëÿ ìîäåëè y = x0 β + e, E[e|x] = 0 z = x ÿâëÿåòñÿ ýêçîãåííîé ïåðåìåííîé. ÌÍÊ êàê ðàç è èñïîëüçóåò å¼ êàê èíñòðóìåíò. 2 Òî÷íàÿ èäåíòèôèêàöèÿ Ðàññìîòðèì ñëó÷àé, êîãäà êîëè÷åñòâî èíñòðóìåíòîâ ãðåññîðîâ k òî÷íîé èäåíòèôèêàöèè ). (ñëó÷àé ñîâïàäàåò ñ êîëè÷åñòâîì ðå- Ïóñòü ìàòðèöà æäåíà. Èç îïðåäåëåíèÿ èíñòðóìåíòîâ ñëåäóåò, ÷òî óñëîâèåì âàëèäíîñòè l Qzz = E[zz 0 ] íåâûðî- E[ze] = 0. Ýòî óñëîâèå íàçûâàåòñÿ èíñòðóìåíòîâ. Ïðèìåíÿÿ ê íåìó ïðèíöèï àíàëîãèé, ïîëó÷èì n 1X zi (yi − x0i βbIV ) = 0, n i=1 îòêóäà ïîëó÷àåì èíñòðóìåíòàëüíóþ îöåíêó βbIV = n X zi x0i !−1 i=1 n X zi yi . i=1  ìàòðè÷íîì âèäå èíñòðóìåíòàëüíàÿ îöåíêà âûãëÿäèò ñëåäóþùèì îáðàçîì : βbIV = (Z 0 X)−1 Z 0 Y, Z = (z10 , z20 , . . . , zn0 )0 .  êîíå÷íûõ âûáîðêàõ èíñòðóìåíòàëüíàÿ îöåíêà ñìåùåíà, îäíàêî ÿâëÿåòñÿ ñîñòîÿòåëüíîé è àñèìïòîòè÷åñêè íîðìàëüíîé : √ ãäå E[βbIV |Z, X] = (Z 0 X)−1 Z 0 E[Y |Z, X] 6= β, d n(βbIV − β) → N (0, Vβ ), −1 Vβ = Q−1 zx Qe2 zz Qxz , Qzx = E[zx0 ], Qe2 zz = E[e2 zz 0 ]. Çàìåòèì, ÷òî âûøåïðèâåä¼ííàÿ àñèìïòîòèêà ñïðà- âåäëèâà òîëüêî ïðè âûïîëíåíèè óñëîâèÿ ðåëåâàíòíîñòè : ìàòðèöà Qzx 47 äîëæíà áûòü íåâûðîæäåííîé. Ñîñòîÿòåëüíûå îöåíêè ìàòðèö çîì : n X bzx = 1 Q zi x0i , n i=1 Qzx , Qe2 zz ñòðîÿòñÿ î÷åâèäíûì îáðà- n X be2 zz = 1 Q zi zi0 eb2i , n i=1 ebi = yi − x0i βbIV . Çàìåòèì, ÷òî äîìíîæåíèå èíñòðóìåíòîâ ñëåâà íà ëþáóþ ñîðàçìåðíóþ íåâûðîæäåííóþ ìàòðèöó êîíñòàíò C íå ìåíÿåò âèäà èíñòðóìåíòàëüíîé îöåíêè ñòâåííî, å¼ ñòàòèñòè÷åñêèõ ñâîéñòâ. 3 βbIV , è, åñòå- Ñâåðõèäåíòèôèêàöèÿ Ðàññìîòðèì ñëó÷àé, êîãäà l>k ñâåðõèäåíòèôèêàöèè ). (ñëó÷àé Ïóñòü ìàòðèöà Qzz íåâûðîæäåíà. Èäåÿ ïîñòðîåíèÿ èíñòðóìåíòàëüíîé îöåíêè â ýòîì ñëó÷àå ñîñòîèò â ñëåäóþùåì. Ñíà÷àëà íàéä¼ì ëèíåéíûé ïî z x: E[zu0 ] = 0. x = Γz + u, Èç ïîñëåäíåãî óñëîâèÿ íàõîäèì ïðåäèêòîð Γ: E[z(x − Γz)0 ] = 0 ⇒ Γ0 = (E[zz 0 ])−1 E[zx0 ] = Q−1 zz Qzx . Òåïåðü, âîçâðàùàÿñü ê èñõîäíîé ñòðóêòóðíîé ôîðìå, ìû ìîæåì íàïèñàòü : y = (Γz + u)0 β + e = (Γz)0 β + v, v = e + u0 β. Î÷åâèäíî, âûïîëíÿåòñÿ ñîîòíîøåíèå E[Γzv] = ΓE[z(e + u0 β)] = 0, ïîýòîìó ïàðàìåòð ñòðóêòóðíîãî óðàâíåíèÿ ìîæíî çàïèñàòü êàê −1 β = (E[Γz(Γz)0 ])−1 E[Γzy] = (Qxz Qzz Qzx )−1 Qxz Q−1 zz Qzy . Ïðèìåíÿÿ ïðèíöèï àíàëîãèé, ïîëó÷èì èíñòðóìåíòàëüíóþ îöåíêó (íàçûâàåìóþ îöåíêîé äâóõøàãîâîãî ìåòîäà íàèìåíüøèõ êâàäðàòîâ ) äëÿ ñëó÷àÿ ñâåðõèäåíòèôèêàöèè : βb2SLS = n X xi zi0 i=1 n X i=1 zi zi0 !−1 n X i=1 −1 zi x0i n X i=1 xi zi0 n X zi zi0 i=1 èëè â ìàòðè÷íîé ôîðìå, βb2SLS = (X 0 Z(Z 0 Z)−1 Z 0 X)−1 X 0 Z(Z 0 Z)−1 Z 0 Y. 48 !−1 n X i=1 zi yi , Èíñòðóìåíòàëüíàÿ îöåíêà ñîñòîÿòåëüíà è àñèìïòîòè÷åñêè íîðìàëüíà, îäíàêî â îáùåì ñëó÷àå íå ÿâëÿåòñÿ àñèìïòîòè÷åñêè ýôôåêòèâíîé : p βb2SLS → β, √ d n(βb2SLS − β) → N (0, V2SLS ), ãäå −1 −1 −1 −1 −1 V2SLS = (Qxz Q−1 zz Qzx ) Qxz Qzz Qe2 zz Qzz Qzx (Qxz Qzz Qxz ) . Îñîáûì ñëó÷àåì ÿâëÿåòñÿ ñëó÷àé óñëîâíîé ãîìîñêåäàñòè÷íîñòè, êîãäà σ 2 = const. ïîñêîëüêó E[e2 |z] =  ýòîì ñëó÷àå àñèìïòîòè÷åñêàÿ äèñïåðñèîííàÿ ìàòðèöà óïðîùàåòñÿ, Qe2 zz = σ 2 Qzz : −1 V2SLS = σ 2 (Qxz Q−1 zz Qzx ) . Çàìåòèì, ÷òî íåñìîòðÿ íà ïðèñóòñòâèå äâóõ øàãîâ â íàçâàíèè, îöåíêó ìîæíî ïîäñ÷èòàòü ñðàçó ïî îäíîé ôîðìóëå.  òî æå âðåìÿ ïîíèìàíèå å¼ äâóõøàãîâîé ïðèðîäû ïîìîãàåò â íåêîòîðûõ ñëó÷àÿõ ëó÷øå îðèåíòèðîâàòüñÿ â ñâîéñòâàõ îöåíêè. Àíàëîãè÷íî ñëó÷àþ òî÷íîé èäåíòèôèêàöèè ïðè ñâåðõèäåíòèôèêàöèè íåîáõîäèìî, ÷òîáû ðàíã ìàòðèöû Qxz áûë ðàâåí êîëè÷åñòâó ðåãðåññîðîâ k: rank(Qxz ) = k. Çàìå÷àíèå. Îöåíêó èäåíòèôèêàöèåé : βb2SLS βb2SLS = Çäåñü ξi n X ìîæíî âûðàçèòü êàê èíñòðóìåíòàëüíóþ îöåíêó ñ òî÷íîé ξi x0i i=1 !−1 n X ξi yi , ξi = i=1 n X xj zj0 j=1 n X zj zj0 !−1 zi . j=1 òðàíñôîðìèðîâàííûå èíñòðóìåíòû. Íî ñ òî÷êè çðåíèÿ àñèìïòîòè÷åñêîé ýôôåêòèâíîñòè òàêàÿ òðàíñôîðìàöèÿ íåîïòèìàëüíà. 4 Íåïîëíàÿ èäåíòèôèêàöèÿ Åñëè ìàòðèöà Qzx èìååò ðàíã ìåíüøå k, òî óñëîâèå èäåíòèôèêàöèè íå âûïîëíåíî.  èíñòðóìåíòàõ íå õâàòàåò èíôîðìàöèè, ñïîñîáíîé îäíîçíà÷íî èäåíòèôèöèðîâàòü ïàðàìåòð.  ýòîì ñëó÷àå èíñòðóìåíòàëüíûå îöåíêè áóäóò èìåòü íåïðèÿòíûå àñèìïòîòè÷åñêèå ñâîéñòâà. Ïðèìåð. Ðàññìîòðèì ñëåäóþùóþ ìîäåëü : l = k = 1, y = βx + e, E[e|z] = 0, 49 E[xz] = 0. Ïîñëåäíåå ðàâåíñòâî îçíà÷àåò, ÷òî ðàíã Qxz ðàâåí 0, ò.å. íå âûïîëíåíî óñëîâèå ðå- ëåâàíòíîñòè èíñòðóìåíòîâ. Ñîãëàñíî öåíòðàëüíîé ïðåäåëüíîé òåîðåìå èìååò ìåñòî ñîâìåñòíàÿ ñõîäèìîñòü : n n 1 X d √ zi xi → N (0, Qz2 x2 ). n i=1 1 X d √ zi ei → N (0, Qz2 e2 ), n i=1 Òàêèì îáðàçîì, èíñòðóìåíòàëüíàÿ îöåíêà óæå íå áóäåò àñèìïòîòè÷åñêè íîðìàëüíîé : βbIV ãäå D P zi yi =P =β+ zi xi √1 n √1 n P i zi ei P i zi xi d → β + D, íåêîå íåãàóññîâñêîå ðàñïðåäåëåíèå ñ òÿæ¼ëûìè õâîñòàìè. Òàêèì îáðàçîì, àñèìïòîòè÷åñêîå ðàñïðåäåëåíèå îöåíêè íå ÿâëÿåòñÿ àñèìïòîòè÷åñêè íîðìàëüíûì è äàæå íå èìååò êîíå÷íîãî ñðåäíåãî. Åñëè ó íàñ åñòü ïîäîçðåíèå, ÷òî èíñòðóìåíòû íåðåëåâàíòíûå, ñòîèò âíà÷àëå ïðîòåñòèðîâàòü ãèïîòåçó : H0 : E[xz] = 0, è åñëè ýòà ãèïîòåçà îòâåðãàåòñÿ, òî èíñòðóìåíò íàä¼æíûé. Íà ïðàêòèêå ÷àùå âñåãî ðóêîâîäñòâóþòñÿ çíà÷åíèåì F-ñòàòèñòèêè ïðè ëèíåéíîé ðåãðåññèè 5 x íà z. Áóòñòðàïèðîâàíèå èíñòðóìåíòàëüíûõ îöåíîê Ïðîöåäóðà áóòñòðàïà äëÿ èíñòðóìåíòàëüíûõ îöåíîê ïðàêòè÷åñêè íè÷åì íå îòëè÷àåòñÿ îò ïîñòðîåíèÿ áóòñòðàïîâñêîãî ðàñïðåäåëåíèÿ äëÿ îáû÷íîé ñòàòèñòèêè îò íåçàâèñèìûõ íàáëþäåíèé. Åñòü, ïðàâäà, òîíêèé ìîìåíò â ñëó÷àå ñâåðõèäåíòèôèêàöèè. Ñëó÷àé l = k. βbIV = X zi x0i −1 X zi yi , ∗ βbIV = X zi∗ x∗0 i −1 X zi∗ yi∗ . Åñëè îöåíêà àñèìïòîòè÷åñêîé äèñïåðñèîííîé ìàòðèöà âûãëÿäèò êàê VbIV = n X zi x0i −1 X zi zi0 eb2i X xi zi0 −1 , òî å¼ áóòñòðàïîâñêèé àíàëîã ∗ VbIV =n Ñëó÷àé l > k. X zi∗ x∗0 i −1 X zi∗ zi∗0 eb∗2 i X x∗i zi∗0 −1 . Çàìåòèì, ÷òî õîòÿ â ïîïóëÿöèè âûïîëíåíî óñëîâèå âûáîðêå îíî íàðóøàåòñÿ, èáî n 1X zi ebi 6= 0. n i=1 50 E[ze] = 0, â Ïîýòîìó ïðè áóòñòðàïå íóæíî ïîìíèòü ïðî ðåöåíòðèðîâàíèå. Èòàê, èíñòðóìåíòàëüíàÿ îöåíêà åñòü βb2SLS = (. . .)−1 X xi zi0 X zi zi0 −1 X zi yi , à å¼ áóòñòðàïîâñêèé àíàëîã ∗ βb2SLS = (. . .∗ )−1 X x∗i zi∗0 X zi∗ zi∗0 −1 X zi∗ yi∗ − X Ñîîòâåòñòâåííî, Vb2SLS = n(. . .)−1 X xi zi0 X zi zi0 −1 X zi zi0 eb2i X zi zi0 zi ebi . −1 X zi x0i (. . .)−1 , −1 X X −1 X X X ∗ −1 ∗ ∗0 ∗ zi∗ x∗0 z z u∗i u∗0 zi∗ zi∗0 = n(. . .∗ )−1 x∗i zi∗0 Vb2SLS i (. . . ) . i i i P ∗ ∗ ∗ Çäåñü ui = zi e bi − n1 nj=1 zj ebj . 6 Èíñòðóìåíòàëüíûå ïåðåìåííûå âî âðåìåííûõ ðÿäàõ Ðàññìîòðèì ñëåäóþùóþ ìîäåëü âðåìåííîãî ðÿäà : yt = x0t β + et , E[et |It−1 ] = 0, It−1 = {yt−1 , yt−2 . . . ; xt , xt−1 , . . .}. Âîçüì¼ì âåêòîð èíñòðóìåíòîâ zt = (yt−1 , yt−2 , . . . , yt−ly , x0t , x0t−1 , . . . , x0t−lx )0 . Îí âàëèäíûé, òàê êàê âñå ýëåìåíòû ïðèíàäëåæàò It−1 , è E[et |zt ] = E[E[et |It−1 ]|zt ] = 0. Ïðè òàêèì îáðàçîì âûáðàííîì èíñòðóìåíòå èíñòðóìåíòàëüíàÿ îöåíêà βb2SLS ñîâ- ïàäàåò ñ ÌÍÊ-îöåíêîé (óïðàæíåíèå : ïî÷åìó ?), è, ñîîòâåòñòâåííî, îáëàäàåò òåìè æå ñâîéñòâàìè. Ïîýòîìó â äàííîé çàäà÷å îáû÷íî èñïîëüçóþò ðàñøèðåíèå èíñòðóìåíòàëüíûõ îöåíîê îöåíêè îáîáùåííîãî ìåòîäà ìîìåíòîâ. Òî æå ñàìîå ñïðàâåäëèâî è â áîëåå îáùåé ìîäåëè, äîïóñêàþùåé àâòîêîððåëÿöèþ îøèáîê : yt = x0t β + et , VI 1 E[et |It−q ] = 0, zt = {yt−q , . . . , yt−ly , x0t , . . . , x0t−lx }0 . Îöåíèâàíèå íåëèíåéíîé ðåãðåññèè ñðåäíåãî Íåëèíåéíîñòü ïî îòíîøåíèþ ê ðåãðåññîðàì Ïóñòü óñëîâíîå ñðåäíåå E[y|x] = g(x, β) äëÿ íåêîòîðîé íåëèíåéíîé ôóíêöèè g(·, ·).  ýòîì ñëó÷àå ìû èìååì äåëî ñ íåëèíåéíîé ìîäåëüþ. Òåì íå ìåíåå, ñóùåñòâóþò ñëó÷àè íåëèíåéíîñòåé, ñâîäÿùèåñÿ ê ëèíåéíîìó ñëó÷àþ ñ ïîìîùüþ òðàíñôîðìàöèé. 51 Ïóñòü g(x, β) íåëèíåéíà ïî ðåãðåññîðàì x è ëèíåéíà ïî ïàðàìåòðàì β , òîãäà ìîæíî âûïîëíèòü òàêóþ òðàíñôîðìàöèþ x → z, ÷òî E[y|z] = z 0 β . Ïðèìåð 1. Ïóñòü óñëîâíîå ñðåäíåå âûðàæàåòñÿ íåëèíåéíîé ôóíêöèåé îò ðåãðåññîðîâ ñëåäóþùåãî âèäà : g(x, β) = β0 + β1 x1 + β2 x2 + β3 x1 x2 + β4 x21 + β5 x22 . Òîãäà ïîäõîäÿùåé òðàíñôîðìàöèåé áóäåò : z = (1, x1 , x2 , x1 x2 , x21 , x22 )0 . Ïðèìåð 2. Óñëîâíîå ñðåäíåå âûðàæàåòñÿ íåëèíåéíîé ôóíêöèåé ðåãðåññîðîâ ñëåäóþùåãî âèäà : g(x, β) = β0 + β1 x + β2 x2 + · · · + βp xp . Ñîîòâåòñòâóþùàÿ òðàíñôîðìàöèÿ ðåãðåññîðîâ : z = (1, x, . . . , xp ). Íåîáõîäèìî îòìåòèòü î ñëîæíîñòè â èíòåðïðåòàöèè êîýôôèöèåíòîâ. Ìàðæèíàëüíîå âëèÿíèå ðåãðåññîðà x åñòü ∂g(x, β) = β1 + 2β2 x + · · · + pβp xp−1 . ∂x Íåÿñíî, êàêîå x ïîäñòàâëÿòü â äàííóþ ôîðìóëó, ÷òîáû ïîëó÷èòü ÷èñëåííîå çíà÷åíèå. Ìîæíî îöåíèòü â êàêîì-òî êîíêðåòíîì èëè èñïîëüçîâàòü ñðåäíåå çíà÷åíèå ìèðîâàííûõ ðåãðåññîðîâ x, êîòîðîå îïðåäåëÿåòñÿ èç êîíòåêñòà çàäà÷è, x, èëè æå îöåíèòü â ñðåäíèõ çíà÷åíèÿ òðàíñôîð- x, x2 , . . . , xp−1 .  ëþáîì ñëó÷àå êîýôôèöèåíòû β1 , β2 , . . . , βp ñàìè ïî ñåáå íå èìåþò ýêîíîìè÷åñêîãî ñìûñëà. Èìååò ñìûñë òîëüêî èõ îïðåäåë¼ííûå êîìáèíàöèè. Ëèíåéíûìè ïî-ñóùåñòâó ìîäåëÿìè íàçûâàþòñÿ òàêèå, êîòîðûå, íåñìîòðÿ íà îáìàí÷èâóþ íåëèíåéíîñòü, ìîæíî ïðåîáðàçîâàòü ê ëèíåéíîìó âèäó. Ðàññìîòðèì òàêîé ïðèìåð : y = AK α L1−α exp(e), E[e|A, K, L] = 0. Çäåñü ëîãàðèôìè÷åñêàÿ òðàíñôîðìàöèÿ ìîäåëè ñâîäèò åå ê ëèíåéíîìó ñëó÷àþ : E[log Y | log A, log K, log L] = log A + α log K + (1 − α) log L. 52 2 Íåëèíåéíûå ðåãðåññèîííûå ìîäåëè  äàííîé ãëàâå ìû ðàññìîòðèì íåëèíåéíûå ìîäåëè, êîòîðûå íå ïðèâîäÿòñÿ ê ëèíåéíûì, ò.å. E[y|x] = g(x0 β) 6= z 0 β äëÿ ëþáîé ôóíêöèè z(x). Ïðèìåðû. • g(x, β) = β1 + β2 x 1 + β3 x • g(x, β) = β1 + β2 eβ3 x • g(x, β) = (β1 + β2 x1 )1[x2 ≤ β3 ] + (β4 + β5 x1 )1[x2 > β3 ] Ïóñòü ôóíêöèÿ g(x, β) äèôôåðåíöèðóåìà ïî îáîèì àðãóìåíòàì. Îïðåäåëåíèå. Âåëè÷èíà ∂g(x, β) = gβ (x, β) ∂β 0 íàçûâàåòñÿ êâàçèðåãðåññîðîì .  îáû÷íîé ëèíåéíîé ðåãðåññèè g(x, β) = x0 β ⇒ ò.å. êâàçèðåãðåññîð íå çàâèñèò îò ïàðàìåòðà gβ (x) = x, β. Îäíàêî â îáùåì ñëó÷àå êâàçèðå- ãðåññîðû çàâèñÿò îò ïàðàìåòðîâ ìîäåëè. Ýòîò ôàêò óñëîæíÿåò îïðåäåë¼ííûå ýòàïû îöåíèâàíèÿ è èíôåðåíöèè. 3 Îöåíèâàíèå íåëèíåéíûì ìåòîäîì íàèìåíüøèõ êâàäðàòîâ Íàì èçâåñòíî, ÷òî ïàðàìåòð β åñòü ðåøåíèå ìèíèìèçàöèîííîé çàäà÷è β = arg minE[(y − g(x, b))2 ]. b Èñïîëüçóÿ ïðèíöèï àíàëîãèé, ïîëó÷èì îöåíêó äðàòîâ (ÍÌÍÊ) : íåëèíåéíîãî ìåòîäà íàèìåíüøèõ êâà- n 1X β = arg min (yi − g(xi , b))2 . b n i=1 Óñëîâèå ïåðâîãî ïîðÿäêà åñòü n 1X b β (xi , β) b = 0. (yi − g(xi , β))g n i=1 ßñíî, ÷òî ÿâíîå àíàëèòè÷åñêîå âûðàæåíèå äëÿ βb ïîëó÷èòü â îáùåì ñëó÷àå íåâîç- ìîæíî, ïîýòîìó äëÿ íàõîæäåíèÿ ÍÌÍÊ-îöåíîê ïîëüçóþòñÿ ÷èñëåííûìè ìåòîäàìè. 53 Ïîëó÷åíèå ÍÌÍÊ-îöåíêè ìåòîäîì êîíöåíòðàöèè. Îäíèì èç ÷èñëåííûõ ìåòîäîâ ïîëó÷åíèÿ ÍÌÍÊ-îöåíêè ÿâëÿåòñÿ ìåòîä êîíöåíòðàöèè. Ðàçäåëèì ïàðàìåòðû çàäà÷è íà äâå ãðóïïû, óäîâëåòâîðÿþùèå óñëîâèÿì β = (γ10 , γ20 )0 , g(x, β) = γ10 x(γ2 ). Ãðóáî ãîâîðÿ, óñëîâíîå ñðåäíåå ëèíåéíî ïî ïàðàìåòðàì ðàì γ1 è íåëèíåéíî ïî ïàðàìåò- γ2 . Êðîìå òîãî, ïðåäïîëàãàåòñÿ, ÷òî ÷èñëî ïàðàìåòðîâ γ2 íåâåëèêî, ÷òîáû ìîæíî áûëî áûñòðî áåãàòü ïî èõ ñåòêå. Ïðèìåð.  êà÷åñòâå ïðèìåðà ïðèâåäåì ñëåäóþùóþ ìîäåëü : g(x, β) = β1 + β2 eβ3 x . Òîãäà ñîîòâåòñòâóþùåå ðàçäåëåíèå ïàðàìåòðîâ ñëåäóþùåå : γ1 = (β1 , β2 )0 , γ2 = β3 ⇒ x(γ2 ) = (1, eβ3 x )0 .  ïîäîáíûõ ñëó÷àÿõ èñïîëüçóåòñÿ äâóõóðîâíåâàÿ ïðîöåäóðà îöåíèâàíèÿ ïàðàìåòðîâ : # n X 1 βb = arg min min (yi − γ10 xi (γ2 ))2 . γ n 1 γ2 i=1 " 1. Ïðè ôèêñèðîâàííîì ïàðàìåòðå γ2 ïàðàìåòð γ b1 (γ2 ) = (X 0 (γ2 )X(γ2 ))−1 X 0 (γ2 )Y, γ1 îöåíèâàåòñÿ ñ ïîìîùüþ ÌÍÊ : X(γ2 ) = (x1 (γ2 ), . . . , x2 (γ2 ))0 . 2. ×èñëåííî ðåøàåòñÿ îïòèìèçàöèîííàÿ çàäà÷à " # n 1X (yi − γ b10 xi (γ2 ))2 . γ b2 = arg min γ2 n i=1 Ïîñêîëüêó ðàçìåðíîñòü γ2 ìàëåíüêàÿ, òî îïòèìóì ëåãêî íàõîäèòñÿ íà ñåòêå. Ïðèâåäåì àëãîðèòì ìåòîäà êîíöåíòðàöèè. • Äëÿ ïàðàìåòðà • Äëÿ êàæäîãî γ2 γ2 íà íåêîòîðîì èíòåðâàëå íà ýòîé ñåòêå îöåíèâàåòñÿ 1 åòñÿ öåëåâîå çíà÷åíèå n • Èç âñåõ çíà÷åíèé γ2 Pn i=1 (yi 0 [γ 2 , γ 2 ] γ b1 (γ2 ) 2 −γ b1 (γ2 ) xi (γ2 )) ñòðîèòñÿ ñåòêà. ñ ïîìîùüþ ÌÍÊ è âû÷èñëÿ- . íà ñåòêå âûáèðàåòñÿ òî, äëÿ êîòîðîãî öåëåâîå çíà÷åíèå íàèìåíüøåå. 54 • Åñëè íåîáõîäèìî, â îêðåñòíîñòè ïîëó÷åííîãî çíà÷åíèÿ γ2 ñòðîèòñÿ áîëåå ìåëêàÿ ñåòêà, è ïðîöåäóðà ïîâòîðÿåòñÿ. Ïîëó÷åíèå ÍÌÍÊ-îöåíêè ìåòîäîì ëèíåàðèçàöèè. Äðóãèì ÷èñëåííûì ìåòîäîì ïîëó÷åíèÿ ÍÌÍÊ-îöåíêè ÿâëÿåòñÿ ëèíåàðèçàöèÿ óñëîâèÿ ïåðâîãî ïîðÿäêà. Äîïóñòèì, ÷òî βb1 íà÷àëüíîå ïðåäïîëîæåíèå î ÷èñëåííîì çíà÷åíèè îöåíèâàåìûõ ïàðàìåòðîâ. Òîãäà ñ ïîìîùüþ ëèíåàðèçàöèè ïðåäëàãàåòñÿ èòåðàòèâíàÿ ïðîöåäóðà ïåðåõîäà ìàëîãî βbj → βbj+1 . Ýòà ïðîöåäóðà ïðîäîëæàåòñÿ äî òåõ ïîð, ïîêà äëÿ äîñòàòî÷íî ε íå áóäåò âûïîëíåíî óñëîâèå |βbj+1 −βbj | < ε. Áîëåå äåòàëüíî : ëèíåàðèçîâàííîå óñëîâèå ïåðâîãî ïîðÿäêà äëÿ ÍÌÍÊ-îöåíêè åñòü n 1X (yi − g(xi , βbj ) − gβ (xi , βbj )(βbj+1 − βbj ))gβ (xi , βbj ) ≈ 0. n i=1 Ââîäÿ îáîçíà÷åíèå dj = n X i=1 gβ (xi , βbj )gβ (xi , βbj )0 !−1 n X i=1 gβ (xi , βbj )(yi − g(xi , βbj )), èìååì èòåðàòèâíóþ ïðîöåäóðó â âèäå Åñëè dj βbj+1 = βbj + dj . ñëèøêîì âåëèêî (ïðîöåäóðà íå ñõîäèòñÿ), òî âûáèðàåòñÿ íåêîòîðîå λj ∈ [0, 1], òàêîå, ÷òîáû öåëåâàÿ ôóíêöèÿ áûëà ìèíèìàëüíîé, à ïðîöåäóðà ìîäèôèöèðóåòñÿ êàê βbj+1 = βbj + λj dj . 4 Àñèìïòîòè÷åñêèå ñâîéñòâà ÍÌÍÊ-îöåíêè Îïðåäåëåíèå. Ãîâîðÿò, ÷òî çàäà÷à óäîâëåòâîðÿåò óñëîâèþ b=β òîãäà è òîëüêî òîãäà, êîãäà g(x, β) = g(x, b) èäåíòèôèêàöèè , åñëè ñ âåðîÿòíîñòüþ 1. Åñëè ýòî óñëîâèå âûïîëíåíî, òî ââèäó òîæåñòâà E[(y − g(x, b))2 ] = E[(y − g(x, β))2 ] + E[(g(x, β) − g(x, b))2 ] ìèíèìèçàòîð ëåâîé ÷àñòè ðàâåí èñòèííîìó çíà÷åíèþ ïàðàìåòðà β è îïðåäåë¼í îä- íîçíà÷íî. Ïðèìåðû. • Ðàññìîòðèì ëèíåéíóþ ìîäåëü. Ïóñòü ìàòðèöà ãäà ïðè β 6= b Qxx = E[xx0 ] âûïîëíÿåòñÿ ñîîòíîøåíèå : E[(x0 β − x0 b)2 ] = (β − b)0 Qxx (β − b) > 0. Ñëåäîâàòåëüíî, x0 β 6= x0 b ñ âåðîÿòíîñòüþ 1. 55 íåâûðîæäåíà. Òî- • Ðàññìîòðèì òåïåðü ïðèìåð, ãäå íåò èäåíòèôèêàöèè : g(x, β) = β1 + β2 eβ4 +β3 x = β1 + elog β2 +β4 +β3 x . Èäåíòèôèöèðîâàòü ïàðàìåòðû β2 è β4 îäíîâðåìåííî íåâîçìîæíî. Îïðåäåëåíèå. Ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ ôóíêöèé {zi (θ)}ni=1 óäîâëåòâîðÿåò ðàâíîìåðíîìó çàêîíó áîëüøèõ ÷èñåë (ÐÇÁ×), åñëè n n 1X 1X p supk zi (θ) − p lim zi (θ)k → 0. n i=1 n i=1 θ Ëåììà. Åñëè ïîñëåäîâàòåëüíîñòü {zi (θ)}ni=1 óäîâëåòâîðÿåò ÐÇÁ× è n n 1X b p 1X zi (θn ) → p lim zi (θ). n i=1 n i=1 p θbn → θ, òî Äîêàçàòåëüñòâî. Çàïèøåì ïîñëåäîâàòåëüíîñòü íåðàâåíñòâ, âîñïîëüçîâàâøèñü ÐÇÁ× è òåîðåìîé Ìàííà-Âàëüäà : n n 1 X X 1 zi (θbn ) − p lim zi (θ) ≤ n n i=1 i=1 n n n n 1 X X X X 1 1 1 ≤ zi (θbn ) − p lim zi (θ) + p lim zi (θ) − p lim zi (θ) ≤ n b b n n n i=1 i=1 i=1 i=1 θn θn n n n n 1 X 1X 1X 1X ≤ sup zi (θ) − p lim zi (θ) + p lim zi (θ) − p lim zi (θ) b n n n θ n i=1 i=1 i=1 i=1 θn p → 0. Êàê ñëåäñòâèå, ïðè âûïîëíåíèè ÐÇÁ× äëÿ ñîîòâåòñòâóþùèõ ñëàãàåìûõ èìååì ñîñòîÿòåëüíîñòü ñëåäóþùèõ îöåíîê : n X p be2 xx = 1 xi x0i eb2i → Qe2 xx , Q n i=1 ãäå n X p b β (xi , β) b0→ bgg = 1 Q gβ (xi , β)g Qgg , n i=1 Qgg = E[gβ (x, β)gβ (x, β)0 ]. Òåîðåìà. Ïóñòü âûïîëíåíû ñëåäóþùèå òðåáîâàíèÿ : 1. Âûïîëíåíî óñëîâèå èäåíòèôèêàöèè ; 2. Ôóíêöèÿ g(x, β) äâàæäû íåïðåðûâíî äèôôåðåíöèðóåìà ïî b; 3. Äëÿ ñëåäóþùèõ ïîñëåäîâàòåëüíîñòåé âûïîëíÿåòñÿ ÐÇÁ× : (yi − g(xi , β))2 , gβ (xi , β)gβ (xi , β)0 , 56 (yi − g(xi , β)) ∂gβ (xi , β) ; ∂β 0 4. Ìàòðèöà Qgg = E[gβ (x, β)gβ (x, β)0 ] 5. Ìàòðèöà Qe2 gg = E[gβ (x, β)gβ (x, β)0 e2 ] íåâûðîæäåíà ; ñóùåñòâóåò. Òîãäà ÍÌÍÊ-îöåíêà ñîñòîÿòåëüíà è àñèìïòîòè÷åñêè íîðìàëüíà : p βb → β, √ d −1 n(βb − β) → N (0, Q−1 gg Qe2 gg Qgg ). Äîêàçàòåëüñòâî. 1. Ñîñòîÿòåëüíîñòü : Äëÿ ëþáîãî n → ∞, ε > 0 ñ âåðîÿòíîñòüþ, ñòðåìÿùåéñÿ ê 1 ïðè èìååì : n n X 1X ε b 2< 1 (yi − g(xi , β)) (yi − g(xi , β))2 + , n i=1 n i=1 3 1 Pn 2 βb ìèíèìèçèðóåò i=1 (yi − g(xi , b)) . Ïîñêîëüêó ÐÇÁ× âûïîën (yi − g(xi , β))2 , òàê êàê îöåíêà íÿåòñÿ äëÿ n X b 2] < 1 b 2 + ε. E[(yi − g(xi , β)) (yi − g(xi , β)) n i=1 3 Àíàëîãè÷íî, n 1X ε (yi − g(xi , β))2 < E[(yi − g(xi , β))2 ] + . n i=1 3 Ñóììèðóÿ ýòè òðè íåðàâåíñòâà, ïîëó÷àåì : b 2 ] < E[(y − g(xi , β))2 ] + ε. E[(y − g(xi , β)) Òåïåðü îïðåäåëèì ñêîëüêó β ε. Äëÿ ýòîãî âûáåðåì îòêðûòóþ îêðåñòíîñòü β , N (β). Ïî- ðåøàåò çàäà÷ó íà ìèíèìóì, äîëæíî áûòü âûïîëíåíî ñëåäóþùåå ñî- îòíîøåíèå : inf E[(y − g(x, b))2 ] > E[(y − g(x, β))]. b∈N (β)c Âûáåðåì ñëåäóþùåå ε= ε: inf E[(y − g(x, b))2 ] − E[(y − g(x, β))], b∈N (β)c òîãäà âûïîëíåíî ñëåäóþùåå ñîîòíîøåíèå : b 2] < E[(y − g(x, β)) ÷òî îçíà÷àåò, ÷òî βb ∈ N (β). inf E[(y − g(x, b))2 ], b∈N (β)c Ñëåäîâàòåëüíî, 57 p βb → β . 2. Àñèìïòîòè÷åñêàÿ íîðìàëüíîñòü : Ðàçëîæèì óñëîâèå ïåðâîãî ïîðÿäêà â ðÿä Òýéëîðà âîêðóã β: n 1X (yi − g(xi , β))gβ (xi , β) + n i=1 " # n b ∂g (x , β) 1X β i b e β (xi , β) e 0 (βb − β) = 0, + (yi − g(xi , β)) − gβ (xi , β)g n i=1 ∂β 0 βe ïîêîìïîíåíòíî. Ñëåäîâàòåëüíî, #)−1 ( n " X b √ ∂g (x , β) 1 β i b e β (xi , β) e0 n(βb − β) = (yi − g(xi , β)) − gβ (xi , β)g × n i=1 ∂β 0 ãäå β ëåæèò ìåæäó β è n 1 X d × √ (yi − g(xi , β))gβ (xi , β) → n i=1 −1 ∂gβ (x, β) d 0 → − E (yi − g(xi , β)) − gβ (x, β)gβ (x, β) N (0, Qe2 gg ) ∂β 0 −1 2 qq Q = N Q−1 Q e gg gg . Òåîðåìà äîêàçàíà. Ðàññìîòðèì ñïåöèàëüíûé ñëó÷àé óñëîâíîé ãîìîñêåäàñòè÷íîñòè : E[e2 |x] = σ 2 = const. Êàê è äëÿ ëèíåéíîé ìîäåëè, èìååò ìåñòî óïðîùåíèå : Qe2 gg = σ 2 Qgg 5 ⇒ √ d n(βb − β) → N (0, σ 2 Q−1 gg ). Àñèìïòîòè÷åñêàÿ ýôôåêòèâíîñòü è ÂÍÌÍÊ-îöåíêà ÍÌÍÊ-îöåíêó ìîæíî ðàññìàòðèâàòü êàê àíàëîãîâóþ îöåíêó, ïîëó÷åííóþ èç óñëîâèÿ E[egβ (x, β)] = 0. Ìîæíî ïîñòðîèòü äðóãóþ àíàëîãîâóþ îöåíêó, íåñêîëüêî èçìåíèâ óñëîâèå íåñêîððåëèðîâàííîñòè : gβ (x, β) = 0. E e 2 σ (x) Ýòî óñëîâèå ñëåäóåò èç ðåãðåññèîííîãî ïðåäïîëîæåíèÿ. Ñîãëàñíî ïðèíöèïó àíàëîãèé n e 1X e gβ (xi , β) = 0. (yi − g(xi , β)) n i=1 σ 2 (xi ) 58 Ðåøåíèå βe, ïîëó÷åííîå èç ýòîãî óðàâíåíèÿ, ÿâëÿåòñÿ îöåíêîé âçâåøåííîãî íåëèíåé- íîãî ìåòîäà íàèìåíüøèõ êâàäðàòîâ (ÂÍÌÍÊ-îöåíêîé). Îíà ðåøàåò ìèíèìèçàöèîííóþ çàäà÷ó 1 βe = arg min b n n X (yi − g(xi , b)) σ 2 (xi ) i=1 , ñîñòîÿòåëüíà è àñèìïòîòè÷åñêè íîðìàëüíà : √ p βe → β, Q d n(βe − β) → N (0, Q−1 gg ), σ2 gβ (x, β)gβ (x, β)0 =E . σ 2 (x) gg σ2  óñëîâèÿõ óñëîâíîé ãåòåðîñêåäàñòè÷íîñòè ÂÍÌÍÊ-îöåíêà áîëåå àñèìïòîòè÷åñêè ýôôåêòèâíà ïî ñðàâíåíèþ ñ ÍÌÍÊ, òî÷íî òàê æå êàê ÎÌÍÊ ïî ñðàâíåíèþ ñ ÌÍÊ äëÿ ëèíåéíîé ðåãðåññèè. Ìîæíî åù¼ óòâåðæäàòü, ÷òî ÂÍÌÍÊ-îöåíêà βe ÿâëÿåòñÿ àñèìïòîòè÷åñêè ýôôåêòèâíîé â êëàññå îöåíîê, óäîâëåòâîðÿþùèõ óñëîâèþ n 1X (yi − g(xi , βbIV ))zi = 0, n i=1 ãäå 6 zi ïðîèçâîëüíàÿ ôóíêöèÿ îò xi , èìåþùàÿ òó æå ðàçìåðíîñòü k × 1. Ïðèëîæåíèå : ìîäåëü áèíàðíîãî âûáîðà Ðàññìîòðèì ñëåäóþùóþ íåëèíåéíóþ ìîäåëü : yi = ( 1 x0i β + ei ≥ 0, 0 èíà÷å, ei |xi ∼ N (0, 1). Íàéä¼ì ôîðìó ðåãðåññèè : E[y|x] = P {x0 β + e ≥ 0|x} = P {e ≥ −x0 β|x} = Φ(x0 β). Âèäíî, ÷òî ðåãðåññèÿ íåëèíåéíàÿ. ÍÌÍÊ-îöåíêà â ýòîì ñëó÷àå åñòü 1 βb = arg min b n n X (yi − Φ(x0i b))2 i=1 ñ àñèìïòîòè÷åñêèìè ñâîéñòâàìè p βb → β, √ d −1 n(βb − β) → N (0, Q−1 gg Qe2 gg Qgg ), ãäå gβ (x, β) = f (x0 β)x, Qgg = E[f (x0 β)2 xx0 ], 59 Qe2 gg = E[f (x0 β)2 (y − Φ(x0 β))2 xx0 ]. Àñèìïòîòè÷åñêè ýôôåêòèâíàÿ ÂÍÌÍÊ-îöåíêà åñòü 1 βe = arg min b n n X i=1 èáî (yi − Φ(x0i b))2 , b − Φ(x0 β)) b Φ(x0 β)(1 i i σ 2 (x) = V ar[y|x] = Φ(x0 β)(1 − Φ(x0 β)) 6= const. Âûâåäåì å¼ àñèìïòîòè÷åñêèå ñâîéñòâà : p βe → β, 7 √ d n(βe − β) → N 0, E 0 2 0 f (x β) xx − Φ(x0 β)) Φ(x0 β)(1 −1 ! . Èíôåðåíöèÿ ïðè íåèäåíòèôèöèðîâàííîñòè íåêîòîðûõ ïàðàìåòðîâ ïðè íóëåâîé ãèïîòåçå  íåëèíåéíûõ ìîäåëÿõ ìîæåò ñëîæèòüñÿ îñîáàÿ ñèòóàöèÿ, êîãäà òåñòèðîâàíèå ñòàòèñòè÷åñêèõ ãèïîòåç íåñòàíäàðòíî. Ðàññìîòðèì äâà ïðèìåðà. Ïðèìåð 1. Ðåãðåññèÿ ñ ãëàäêèìè ïîðîãàìè : 1 + e, E[e|x] = 0. 1 + ex−β5 ÷òî β3 = β4 = 0 (ò.å. òåñòèðóåòñÿ y = (β1 + β2 x) + (β3 + β4 x) Åñëè íóëåâàÿ ãèïîòåçà ñîñòîèò â òîì, ìîäåëè), òî ïðè ýòîé íóëåâîé ãèïîòåçå ïàðàìåòð β5 ëèíåéíîñòü íåèäåíòèôèöèðóåì. Ïðèìåð 2. Ðàññìîòðèì ñëåäóþùóþ ðàçíîâèäíîñòü ARCH-M ìîäåëè : yt = β0 + x0t β1 + γσt2 + et , E[et |It−1 ] = 0, E[e2t |It−1 ] = σt2 = α0 + α1 e2t−1 . Åñëè íóëåâàÿ ãèïîòåçà ñîñòîèò â îòñóòñòâèè ARCH ýôôåêòà, ò.å. ïðè íóëåâîé ãèïîòåçå ïàðàìåòð γ H0 : α1 = 0, òî íåèäåíòèôèöèðóåì, òàê êàê óñëîâíàÿ äèñïåðñèÿ ïîñòîÿííà è å¼ âëèÿíèå ïîãëîùàåòñÿ ñâîáîäíûì ÷ëåíîì β0 .  òàêèõ ñèòóàöèÿõ ñòàíäàðòíàÿ òåñòîâàÿ ñòàòèñòèêà (íàïðèìåð, t èëè Âàëüäîâñêàÿ) àñèìïòîòè÷åñêè ðàñïðåäåëåíà íå òàê, êàê ìû ïðèâûêëè, ò.å. íå êàê ñòàíäàðòíî íîðìàëüíàÿ èëè õè-êâàäðàò ñëó÷àéíàÿ âåëè÷èíà. Âîò êàê îáû÷íî ðåøàåòñÿ ïîäîáíàÿ ïðîáëåìà. Ïóñòü β = (β10 , β20 )0 , ãäå β1 èäåíòèôèöèðóåòñÿ ïðè íóëåâîé ãèïîòåçå, à íåò. Ïîñòðîèì Âàëüäîâñêóþ ñòàòèñòèêó W (β2 ) äëÿ âñåõ âîçìîæíûõ çíà÷åíèé β2 β2 . Òîãäà ñóï-Âàëüäîâñêàÿ ñòàòèñòèêà sup W = supW (β2 ) β2 ñõîäèòñÿ ê íåêîòîðîìó íåñòàíäàðòíîìó ðàñïðåäåëåíèþ, êîòîðîå ïîëó÷àþò ñ ïîìîùüþ ñèìóëÿöèé. Ïîìèìî ïðèâåä¼ííûõ âûøå, ïðèìåðàìè ÿâëÿþòñÿ òåñòèðîâàíèå íà ëèíåéíîñòü ñàìîâîçáóæäàþùèõñÿ ïîðîãîâûõ àâòîðåãðåññèé è òåñòèðîâàíèå íà îòñóòñòâèÿ ñòðóêòóðíûõ ñäâèãîâ. 60