Байесовские методы
реклама
Ãëàâà 9 Áàéåñîâñêèå ìåòîäû Öåëü ãëàâû: Ïîñëå èçó÷åíèÿ äàííîé ãëàâû âû ñìîæåòå: • Îïèñûâàòü îöåíêó ïðèáëèæåíèÿ ïî Áàéåñó • Ïîëüçîâàòüñÿ ôîðìóëîé Áàéåñà äëÿ ðàñ÷åòà ïðîñòûõ âåðîÿòíîñòåé • Ïîíèìàòü âçàèìîîòíîøåíèÿ ìåæäó àïðèîðíûì ðàñïðåäåëåíèåì ïàðàìåòðà, ôóíêöèåé ïðàâäîïîäîáèÿ è àïîñòåðèîðíûì ðàñïðåäåëåíèåì • Îïðåäåëÿòü àïîñòåðèîðíîå ðàñïðåäåëåíèå â ïðîñòûõ ñëó÷àÿõ • Îïèñûâàòü è ïîëüçîâàòüñÿ íàèáîëåå îáùèìè òèïàìè ôóíêöèè óùåðáà • Ïðèìåíÿòü Áàéåñîâñêèå ìåòîäû äëÿ îïðåäåëåíèÿ òî÷åê è èíòåðâàëîâ îöåíêè ïàðàìåòðîâ 1 Ââåäåíèå Äî ñèõ ïîð ìû ðàññìàòðèâàëè êëàññè÷åñêóþ îöåíêó ñòàòèñòè÷åñêîãî ïðèáëèæåíèÿ.  ýòîé ãëàâå ìû ðàññìîòðèì Áàéåñîâñêèå ìåòîäû ïðåäîñòàâëÿþùèå àëüòåðíàòèâíóþ îöåíêó ïðèáëèæåíèÿ. Ìû áóäåì ïîëüçîâàòüñÿ Áàéåñîâñêèì ïîäõîäîì â Ãëàâå 6 (Òåîðèÿ Äîñòîâåðíîñòè (âåðîÿòíîñòè)). Ñîäåðæàíèå ãëàâû Ñore reading ââîäèò íàñ â îñíîâíûå èäåè Áàéåñîâñêîé 230 ñòàòèñòèêè. Çàòåì â íåé ôîðìóëèðóåòñÿ Òåîðåìà Áàéåñà è ïðèâîäÿòñÿ ïðèìåðû åå ïðèìåíåíèÿ.  ïîñëåäóþùèõ ÷àñòÿõ ðàññìàòðèâàþòñÿ àïðèîðíîå è àïîñòåðèîðíîå ðàñïðåäåëåíèÿ è ïðèìåíåíèå ðàçëè÷íûõ ôóíêöèé óùåðáà.  ôèíàëüíîé ÷àñòè äåìîíñòðèðóåòñÿ ïðèìåíåíèå áåòà/áèíîìèàëüíîé ìîäåëè â Áàéåñîâñêîé ñòàòèñòèêå. 2 Ïîäõîäû ê ñòàòè÷åñêèì âûâîäàì 2.1 Êëàññè÷åñêèé ïîäõîä ×àñòî èññëåäîâàòåëè, èçó÷àþùèå íåèçâåñòíûé ïàðàìåòð ãåíåðàëüíîé ñîâîêóïíîñòè, ïîëó÷àþò èíôîðìàöèþ èç äðóãèõ èñòî÷íèêîâ ïåðåä íà÷àëîì ðàáîòû ïðåäñòàâëÿþùèé ÷åòêèå ïðèçíàêè òåõ çíà÷åíèé ïàðàìåòðà, êîòîðûå îí âåðîÿòíî ìîæåò ïðèíèìàòü. Ýòà äîïîëíèòåëüíàÿ èíôîðìàöèÿ ìîæåò áûòü â òàêîé ôîðìå, ÷òî åå íåëüçÿ íåïîñðåäñòâåííî âñòàâèòü â ýòó ðàáîòó. Êëàññè÷åñêèé ñòàòèñòè÷åñêèé ïîäõîä íå ïðåäîñòàâëÿåò èíäèêàòîðîâ, ïî êîòîðûì èññëåäîâàòåëü ìîæåò ñäåëàòü âûâîä ìîæíî ëè ó÷èòûâàòü ýòó äîïîëíèòåëüíóþ èíôîðìàöèþ. Ïðèìåðîì ýòîãî ÿâëÿåòñÿ òî, êîãäà ñòðàõîâàÿ êîìïàíèÿ ïåðåñìàòðèâàåò ñòàâêè ñòðàõîâîãî âçíîñà äëÿ îòäåëüíîãî òèïà ñòðàõîâîãî ïîëèñà è ïðè ýòîì èìååò äîñòóï ê ðåçóëüòàòàì äðóãèõ ñòðàõîâûõ êîìïàíèé, â òîé æå ñòåïåíè êàê è ê äàííûì ñîáñòâåííûõ äåðæàòåëåé ñòðàõîâûõ ïîëèñîâ. Ýòè äàííûå íåëüçÿ ñðàâíèâàòü íåïîñðåäñòâåííî, ïîòîìó ÷òî ñðîêè è óñëîâèÿ ïîëèñîâ äðóãèõ êîìïàíèé ìîãóò ñëåãêà îòëè÷àòüñÿ. Îäíàêî â ýòèõ äîïîëíèòåëüíûõ äàííûõ ìîæåò ñîäåðæàòüñÿ ìíîãî ïîëåçíîé èíôîðìàöèè, êîòîðîé íå ñëåäóåò ïðåíåáðåãàòü. 2.2 Áàéåñîâñêèé ïîäõîä Áàéåñîâñêèé ìåòîä äàåò áîëåå ãèáêèé ïîäõîä, ïîçâîëÿþùèé èññëåäîâàòåëþ ñî÷åòàòü ëþáóþ äîñòóïíóþ àïðèîðíóþ èíôîðìàöèþ ñ ðåçóëüòàòàìè èññëåäîâàíèé äëÿ ñîçäàíèÿ ïîëíîé îáùåé êàðòèíû. Ñîãëàñíî áàéåñîâñêîìó ïîäõîäó ïàðàìåòðû ãåíåðàëüíîé ñîâîêóïíîñòè, êîòîðûå îáû÷íî íåèçâåñòíû, ñ÷èòàþòñÿ òàê, êàê åñëè áû îíè ÿâëÿëèñü ñëó÷àéíûìè âåëè÷èíàìè, ò.å. îíè ìîäåëèðóþòñÿ, èñïîëüçóÿ âåðîÿòíîñòíóþ ôóíêöèþ èëè ôóíêöèþ ïëîòíîñòè ðàñïðåäåëåíèÿ âåðîÿòíîñòè, 231 îòðàæàþùèå ñòåïåíü âåðîÿòíîñòè, ñ êîòîðîé îíè ìîãóò ïðèíèìàòü îïðåäåëåííûå çíà÷åíèÿ, îïèðàÿñü íà äîñòóïíóþ èíôîðìàöèþ. Áàéåñîâñêèé ïîäõîä âêëþ÷àåò ñëåäóþùèå øàãè: Øàã 1 (âûáîð ïàðàìåòðà àïðèîðíîãî ðàñïðåäåëåíèÿ) Êàæäûé íåèçâåñòíûé ïàðàìåòð ïåðâîíà÷àëüíî ïîäðàçóìåâàåòñÿ, ÷òî îí ïîëó÷àåòñÿ èç îòäåëüíîãî àïðèîðíîãî ðàñïðåäåëåíèÿ, âûáðàííîãî äî òîãî, êàê èññäåëîâàíèå áûëî ñäåëàíî. Âûáðàííîå àïðèîðíîå ðàñïðåäåëåíèå îòðàæàåò ïåðâîíà÷àëüíîå "ìíåíèå"èññëåäîâàòåëÿ îòíîñèòåëüíî ïàðàìåòðà, îñíîâàííîå íà ëþáîé äîñòóïíîé äîñòîâåðíîé êëþ÷åâîé èíôîðìàöèè. Øàã 2(îïðåäåëåíèå ôóíêöèè ïðàâäîïîäîáèÿ) Çàòåì ïðîâîäèòñÿ èññëåäîâàíèå/ýêñïåðèìåíò äëÿ ïîëó÷åíèÿ äîïîëíèòåëüíûõ äàííûõ î íåèçâåñòíîì ïàðàìåòðå. Äëÿ ëþáîãî óêàçàííîãî çíà÷åíèÿ ïàðàìåòðà ìîæåò áûòü îïðåäåëåíà ôóíêöèÿ ïðàâäîïîäîáèÿ ïîëó÷åíèÿ îòäåëüíîãî ðåçóëüòàòà â èññëåäîâàíèè. Øàã 3 (îïðåäåëåíèå àïîñòåðèîðíîãî ðàñïðåäåëåíèÿ ïàðàìåòðà) Àïîñòåðèîðíîå ðàñïðåäåëåíèå ïàðàìåòðà äëÿ íåèçâåñòíûõ ïàðàìåòðîâ îïðåäåëÿåòñÿ äàëåå ñî÷åòàÿ àïðèîðíîå ðàñïðåäåëåíèå ïàðàìåòðà ñ ôóíêöèåé ïðàâäîïîäîáèÿ ðåçóëüòàòîâ. Àïîñòåðèîðíîå ðàñïðåäåëåíèå îòðàæàåò ìíåíèå èññëåäîâàòåëÿ îòíîñèòåëüíî ïàðàìåòðà ïîñëå ïðîâåäåíèÿ èññëåäîâàíèÿ. Øàã 4 (âûáîð ôóíêöèè óùåðáà) Âûáèðàåòñÿ ôóíêöèè óùåðáà, êîòîðàÿ îòðàæàåò íàñêîëüêî "ñåðüåçíû"ëþáûå ðàñõîæäåíèÿ ìåæäó îöåíèâàåìûì çíà÷åíèåì ïàðàìåòðà è äåéñòâèòåëüíûì çíà÷åíèåì ïàðàìåòðà. Øàã 5 (îöåíêà íåèçâåñòíîãî ïàðàìåòðà) Çàòåì àïîñòåðèîðíîå ðàñïðåäåëåíèå ñî÷åòàåòñÿ ñ ôóíêöèåé ïîòåðè äëÿ ïîëó÷åíèÿ îöåíêè íåèçâåñòíîãî ïàðàìåòðà. 1 1 Òîìàñ Áåéåñ Thomas Bayes (1702-1761) àíãëèéñêèé òåîëîã è èññëåäîâàòåëü òåîðèè âåðîÿòíîñòè. 232 3 Ôîðìóëà Áàéåñà Îäíèì èç êëþ÷åâûõ øàãîâ â Áàéåñîâñêîì ïîäõîäå ÿâëÿåòñÿ ñî÷åòàíèå àïðèîðíîãî ðàñïðåäåëåíèÿ ïàðàìåòðà ñ ôóíêöèåé ïðàâäîïîäîáèÿ äëÿ îïðåäåëåíèÿ àïîñòåðèîðíîãî ðàñïðåäåëåíèÿ ïàðàìåòðà. Ýòî îñóùåñòâëÿåòñÿ c èñïîëüçîâàíèåì ðåçóëüòàòîâ òåîðèè âåðîÿòíîñòè, èçâåñòíûõ êàê Ôîðìóëà Áàéåñà, êîòîðàÿ ìîæåò áûòü ñôîðìóëèðîâàíà òàê: Ôîðìóëà Áàéåñà (äèñêðåòíàÿ ôîðìà) Ïðåäïîëîæèì, ÷òî ó íàñ åñòü íàáîð âçàèìîèñêëþ÷àþùèõ è ñîñòàâëÿþùèõ ïîëíóþ ãðóïïó ñîáûòèé, òàê ÷òî A1, A2, ..., Am è äðóãîå ñîáûòèå B òàêîå ÷òî P (B) 6= 0. Òîãäà ìû ìîæåì âû÷èñëèòü P (Ai |B)ñëåäóþùèì îáðàçîì: P (Ai |B) = P (B|Ai )P (Ai ) Σi P (B|Ai )P (Ai ) Äîêàçàòåëüñòâî Ðåçóëüòàò ïîëó÷àåòñÿ ñðàçó, êàê òîëüêî ìû âñòàâëÿåì ïðîìåæóòî÷íûé øàã: P (Ai |B) = P (Ai ∧B) P (B) = P (B|Ai )P (Ai ) Σi P (B|Ai )P (Ai ) Ïåðâîå ðàâåíñòâî ñëåäóåò èç îïðåäåëåíèÿ óñëîâíîé âåðîÿòíîñòè P (Ai |B). Âòîðîå ðàâåíñòâî ñëåäóåò èç îïðåäåëåíèÿ P (B|Ai ) â ÷èñëèòåëå è ïðèâåäåíèÿ êàæäîãî èç âîçìîæíûõ ñîáûòèé Ai â çíàìåíàòåëå.  ñèòóàöèè, êîãäà ôîðìóëà Áàéåñà èñïîëüçóåòñÿ òàì, ãäå åñòü íàáîð óñëîâíûõ âåðîÿòíîñòåé, êîòîðûå ìû äîëæíû ïðèâåñòè "ðàçâåðíóòîìó âèäó". Ï ð è ì å ð 9.1 80% ñâîèõ êîìïëåêòóþùèõ ó ïîñòàâùèêà X è 20% ó ïîñòàâùèêà Y .  ïðîøëîì ãîäó 5% êîìïëåêòóþùèõ ïîëó÷åííûõ îò ïîñòàâùèêà X áûëè ñ äåôåêòîì è 1% êîìïëåêòóþùèõ îò ïîñòàâùèêà Y ÿâëÿëèñü äåôåêòíûìè.  êàêèõ ïðîïîðöèÿõ äåôåêòíûå êîìïîíåíòû áûëè ïîñòàâëåíû ïîñòàâùèêîì X ? Ïðîèçâîäñòâåííàÿ êîìïàíèÿ ïîêóïàåò  ýòîì, íàì ãîâîðèòñÿ, ÷òî âåðîÿòíîñòü òîãî, ÷òî êîìïîíåíò ïîëó÷åííûé îò îòäåëüíîãî ïîñòàâùèêà îêàæåòñÿ äåôåêòíûì, è íàì òðåáóåòñÿ îáðàòèòü ýòî äëÿ íàõîæäåíèÿ âåðîÿòíîñòè òîãî, ÷òî ýòîò êîìïîíåíò áûë ïîëó÷åí îò äàííîãî êîíêðåòíîãî ïîñòàâùèêà. Ìû ìîæåì ðåøèòü ýòî ïðèìåíÿÿ ôîðìóëó Áàéåñà êàê îïèñàíî íèæå: 233 Ðåøåíèå Ìåòîä 1. Åñëè ìû îïðåäåëèì ñëåäóþùèå ñîáûòèÿ: AX : Ïîñòàâùèê X ïîñòàâèë îòäåëüíûé êîìïîíåíò AY : Ïîñòàâùèê Y ïîñòàâèë îòäåëüíûé êîìïîíåíò D : Îòäåëüíûé êîìïîíåíò ÿâëÿåòñÿ äåôåêòíûì Òîãäà âîïðîñ ãîâîðèò íàì î ñëåäóþùèõ âåðîÿòíîñòÿõ: P (D|AX ) = 0.05 P (AX ) = 0.80 P (D|AY ) = 0.01 P (AY ) = 0.20 Ìû õîòèì íàéòè âåðîÿòíîñòü òîãî, ÷òî êîìïîíåíò, îêàçàâøèéñÿ äåôåêòíûì, ïðèøåë îò ïîñòàâùèêà P (AX |D) = X. Èñïîëüçóÿ ôîðìóëó Áàéåñà, ïîëó÷àåì: P (D|AX )P (AX ) 00.5 ∗ 0.80 = = 0.952 P (D|AX )P (AX ) + P (D|AY )P (AY ) 0.05 ∗ 0.80 + 0.01 ∗ 0.20 Èòàê, òðåáóåìàÿ âåðîÿòíîñòü ðàâíà Ìû òàêæå ìîãëè áû ðåøèòü ýòó 95.2%. ïðîáëåìó èñïîëüçóÿ ñëåäóþùèé áîëåå èíòóèòèâíûé ïîäõîä: 1000 Ìåòîä 2. Ïðåäïîëîæèì, ÷òî ïðîèçâîäñòâåííàÿ êîìïàíèÿ êóïèëà X Y. êîìïîíåíòîâ â ïðîøëîì ãîäó. Òàê êàê ïîñòàâùèê çíàåì, ÷òî Ñðåäè 800 800 ïðèáûëè îò X, è 200 ïðèáûëè îò êîìïîíåíòîâ, ïîñòóïèâøèõ îò X 5 ñíàáæàåò %, ò.å. 40 80% âñåãî èç íèõ, ìû áûëè äåôåêòíû è ò.ä. Òàê ÷òî ìû ìîæåì ïîëó÷èòü ñëåäóþùèé òàáëèöó: Äåôåêòíûõ Áåç äåôåêòà Âñåãî Ïîñòàâùèê X 40 760 800 Ïîñòàâùèê Y 2 198 200 42 958 1000 Âñåãî Òàêèì îáðàçîì, îò ïîñòàâùèêà 40 èç 42, ò. å. 95.2 % äåôåêòíûõ êîìïîíåíòîâ ïðèáûëè X. Îáðàòèòå âíèìàíèå, ÷òî â èñïîëüçîâàíèè ýòîãî ïîäõîäà îáùåå êîëè÷åñòâî, ìû åãî ïðèíÿëè ðàâíûì 1000, ïðîèçâîëüíî, ò.ê. âñå ïðîïîðöèîíàëüíî. Ýòîò ôàêò 234 ïîçâîëèò íàì èñïîëüçîâàòü ñîêðàùåíèÿ, ÷òîáû îïðåäåëèòü àïîñòåðèîðíîå âåðîÿòíîñòíîå ðàñïðåäåëåíèå. Íà êîíôåðåíöèè ïðèñóòñòâóþò 100 àêòóàðèåâ è 200 áóõãàëòåðîâ. 60% àêòóàðèåâ è 40% áóõãàëòåðîâ ìîãóò ñäåëàòü ïðîñòóþ óìñòâåííóþ àðèôìåòèêó ïðàâèëüíî. Âî âðåìÿ îáåäà âû ïîäñëóøèâàåòå îäíî èç âûñêàçûâàíèé ïðåäñòàâèòåëåé "Òðè èç ìîèõ ÷åòûðåõ äåòåé, áûëè ðîæäåíû íà Ðîæäåñòâî, è áëèçíåöû áûëè ðîæäåíû â íîâîãîäíèé äåíü. "Êàêîâà âåðîÿòíîñòü, ÷òî ýòîò ïðåäñòàâèòåëü ÿâëÿåòñÿ àêòóàðèåì? Âîïðîñ äëÿ ñàìîïîäãîòîâêè 9.1. Ñëåäóþùåå óïðàæíåíèå ïîêàçûâàåò, ÷òî ìû ìîæåì òàêæå ïðèìåíèòü ôîðìóëó Áàåñà, êîãäà ñëó÷àé B ñîîòâåòñòâóåò íåïðåðûâíîé ñëó÷àéíîé âåëè÷èíå, ïðèíèìàþùåé îïðåäåëåííûå çíà÷åíèÿ. Èñêè, ïðèøåäøèå èç îïðåäåëåííîãî êëàññà îáùåãî ñòðàõîâàíèÿ, ìîãóò êëàññèôèöèðîâàòüñÿ â òðè âçàèìíî èñêëþ÷àþùèõ òèïà: S , M è L. Ðàçìåðû èñêîâ â êàæäîé êàòåãîðèè ðàâíû ñîîòâåòñòâåííî 80 %, 15 % è 5 %. Ðàñïðåäåëåíèå êîëè÷åñòâà èíäèâèäóàëüíûõ èñêîâ â êàæäîé êàòåãîðèè ìîæåò áûòü ñìîäåëèðîâàíî ñ ïîìîùüþ ôóíêöèè ïëîòíîñòè fx (x) = 2θ2 /x3 , (x > θ), ãäå X ÿâëÿåòñÿ ðàçìåðîì èíäèâèäóàëüíîãî èñêà. Ïàðàìåòðû äëÿ ýòèõ òðåõ êàòåãîðèé - θS =$100,θM =$1000 è θL =$2500 Ó÷èòûâàÿ , ÷òî èíäèâèäóàëüíûé èñê áûë ðàâåí $5000, íàéòè âåðîÿòíîñòü òîãî, ÷òî ýòîò èñê ïðèíàäëåæèò êàæäîé èç ýòèõ òðåõ êàòåãîðèé. Âîïðîñ äëÿ ñàìîïîäãîòîâêè 9.2. Åñëè ïðåäïîëîæèòü, ÷òî ïàðàìåòð θ â ïîñëåäíåì ïðèìåðå ÿâëÿåòñÿ íåïðåðûâíîé âåëè÷èíîé, â îòëè÷àå îò òðåõ äèñêðåòíûõ ïåðåìåííûõ, êîòîðûå ìû èñïîëüçîâàëè, ìû ïîëó÷àåì íåïðåðûâíóþ ôîðìó ôîðìóëû Áàéåñà: Ôîðìóëà Áàéåñà(íåïðåðûâíàÿ ôîðìà) Ïðåäïîëîæèì, ÷òî ìû èìååì ñëó÷àéíóþ âåëè÷èíó θ ñ ôóíêöèåé ðàñïðåäåëåíèÿ f (θ) è ñëó÷àåì B , òàêîé ÷òî P (B) 6= 0. Òîãäà, ìû ìîæåì âû÷èñëèòü óñëîâíóþ ôóíêöèþ ðàñïðåäåëåíèÿ θ äàííîãî B ñëåäóþùèì îáðàçîì: P (B|θ)f (θ) f (θ|B) = R f (θ|B)f (θ)dθ 235 4 Ïîëó÷åíèå àïîñòåðèîðíîãî ðàñïðåäåëåíèÿ 4.1 Äèñêðåòíîå àïðèîðíîå ðàñïðåäåëåíèå Ñëåäóþùèé ïðèìåð ïîêàçûâàåò, êàê ìû ìîæåì ïîëó÷èòü àïîñòåðèîðíîå ðàñïðåäåëåíèå. Ï ð è ì å ð 9.2 Âû êóïèëè êîðîáêó ëàìïî÷åê íà ðûíêå íåñêîëüêî ìåñÿöåâ íàçàä. Âû çíàåòå, ÷òî ëàìïî÷êè èìåþò ëèáî ìàëåíüêóþ ñðåäíþþ ïðîäîëæèòåëüíîñòü ðàáîòû 500 ÷àñîâ ëèáî áîëüøóþ - 2 500 ÷àñîâ, íî âû íå ìîæåòå ñêàçàòü òî÷íî, ïîòîìó ÷òî íà êîðîáêå íå áûëî ÿðëûêà. Ïîñêîëüêó âû áûâàëè íà ýòîì ðûíêå ïðåæäå, âû ïåðâîíà÷àëüíî íå èìååòå íèêàêîãî ìíåíèÿ îòíîñèòåëüíî òîãî, ìîãëè ëè âàñ îáìàíóòü. Ïðèáëèçèòåëüíî ïîñëå 300 ÷àñîâ, ýòè 5 ëàìïî÷åê , êîòîðûå âû èñïîëüçîâàëè, âñå åùå íå ïåðåãîðåëè. Ïðèíèìàÿ, âðåìÿ ðàáîòû îòäåëüíîé ëàìïî÷êè èìååò ïîêàçàòåëüíîå ðàñïðåäåëåíèå, îöåíèòå âåðîÿòíîñòü ÷òî, âû êóïèëè ëàìïî÷êè ñ áîëüøîé ïðîäîëæèòåëüíîñòüþ ðàáîòû. Ðåøåíèå  ýòîì ïðèìåðå, ìû ïåðâîíà÷àëüíî ñ÷èòàåì àëüòåðíàòèâû ðàâíî- âåðîÿòíûìè, òîãäà àïðèîðíîå ðàñïðåäåëåíèå äëÿ λ 2 , ïàðàìåòðà ðàñïðåäåëåíèÿ ñðîêîâ ñëóæáû ëàìïî÷êè, ÿâëÿåòñÿ äèñêðåòíûì ðàñïðåäåëåíèåì: λ= 1/500, ñ âåðîÿòíîñòüþ 1/2 1/2500, ñ âåðîÿòíîñòüþ 1/2 λ (ìàòåìà1/λ)áóäåò ðàáîòàòü áîëåå 300 ÷àñîâ ðàâíà: Âåðîÿòíîñòü, ÷òî îòäåëüíàÿ ëàìïî÷êà ñ ïàðàìåòðîì ðàñïðåäåëåíèÿ òè÷åñêîå îæèäàíèå âðåìåíè ðàáîòû Z∞ λe−λx dx = e−300λ 300 Òàêèì îáðàçîì, ôóíêöèÿ ïðàâäîïîäîáèÿ òîãî, ÷òî âñå 5 ëàìïî÷åê áóäóò ðàáîòàòü â ýòîò ìîìåíò ðàâíà: e−300λ 5 = e−1500λ Èòàê ìû èìååì: P (5 P (5 = 1/500) = e−1500/500 = e−3 = 0.04979 −1500/2500 = e−0.6 = 0.54881 |λ = 1/2500) = e ðàáîòàþò |λ ðàáîòàþò Ïðèìåíÿÿ ôîðìóëó Áàéåñà, ïîëó÷àåì: 2 Ò.ê. ìíîãèå ñòóäåíòû ïëîõî âîñïðèíèìàþò çàãëàâíûå ãðå÷åñêèå áóêâû, â ýòîé ãëàâå àâòîð èñïîëüçóåò ñòðî÷íûå äëÿ îáîçíà÷åíèÿ ñëó÷àéíûõ âåëè÷èí. 236 P (λ = 1/500|5 ðàáîòàþò) = P (5 ðàáîòàþò|λ=1/500)P (λ=1/500) P (5 ðàáîòàþò|λ=1/500)P (λ=1/500)+P (5 ðàáîòàþò|λ=1/2500)P (λ=1/2500) = 0.04979∗1/2 0.04979∗1/2+0.54881∗1/2 = 0.08318 Îáðàòèòå âíèìàíèå, ÷òî çíàìåíàòåëè äëÿ îáåèõ âåðîÿòíîñòåé äëÿ àïîñòåðèîðíîãî ðàñïðåäåëåíèÿ áûëè òå æå ñàìûå. Òàê ÷òî ìû, òîëüêî ÷òî âû÷èñëèëè íóìåðàòîðû è çàòåì èñïîëüçîâàëè ôàêò, ÷òî àïîñòåðèîðíûå âåðîÿòíîñòè äîëæíû ðàâíÿòüñÿ 1, ÷òîáû íàéòè ôàêòè÷åñêèå âåðîÿòíîñòè. Åñëè ìû ñìîòðèì íà íóìåðàòîð, ìû âèäèì, ÷òî ýòî - òîëüêî ôóíêöèÿ ïðàâäîïîäîáèÿ P (5 ðàáîòàþò|λ = 1/500) ìîìåíòîâ âðåìåíè, êîãäà P (λ = 1/500). Ýòî âåäåò íàñ ê ñëåäóþùåìó ðåçóëüòàòó: Íàõîæäåíèå àïîñòåðèîðíîãî ðàñïðåäåëåíèÿ Àïîñòåðèîðíîå ðàñïðåäåëåíèå ∝ Àïðèîðíîå ðàñïðåäåëåíèå ∗ Ôóíêöèÿ ïðàâäîïîäîáèÿ (∝) ãäå çíàê ïðîïîðöèîíàëüíîñòè óêàçûâàåò, ÷òî ëþáûå ôàêòîðû, êîòîðûå íå çàâèñÿò îò íåèçâåñòíûõ ïàðàìåòðîâ, ìîæíî ðàññìîòðåòü êàê êîíñòàíòû è ñëåäîâàòåëüíî îïóùåííûìè. Òàêèì îáðàçîì, ìîæíî ðåøèòü çàäà÷ó áîëåå ïðîñòûì îáðàçîì: Àïðèîðíîå äåëåíèå ∗ ðàñïðåÔóíêöèÿ ∝ Àïîñòåðèîðíîå ðàñ- ïðåäåëåíèå ïðàâäîïîäîáèÿ Ôàêòè÷åñêîå àïîñòåðèîðíîå ðàñïðåäåëåíèå λ = 1/500: 1/2 e−1500/500 0.04979 = 0.02490 0.08319 λ = 1/500 1/2 e−1500/2500 0.54881 = 0.27441 0.91681 0.29931 1.00000 Âñåãî Ðåçóëüòàòû ïîñëåäíåé êîëîíêè áûëè ïîëó÷åíû äåëåíèåì ïðåäûäóùåé êîëîíêè íà 0.29931. 237 Âîïðîñ äëÿ ñàìîïîäãîòîâêè 9.3. Ôîêóñíèê ñìåøàë 5 êîëîä êàðò òàê, ÷òî â êàæäîé êîëîäå ñîäåðæèòñÿ 52 êàðòû è êîëîäû ñîäåðæàò 0, 13, 26, 39 è 52 êðàñíûå êàðòû ñîîòâåòñòâåííî. Âàì ïðåäëîæèëè âûáðàòü îäíó êîëîäó è èç íåå âûáðàòü 3 êàðòû (âû íå çíàåòå êàêèå êàðòû ñîäåðæàòñÿ â êàæäîé êîëîäå). Ñðåäè âûáðàííûõ êàðò îêàçàëèñü 1 êðàñíàÿ è 2 ÷åðíûå êàðòû. Ïðåäïîëàãàÿ. ×òî ôîêóñíèê ãîâîðèò ïðàâäó, îïðåäåëèòü àïîñòåðèîðíóþ âåðîÿòíîñòü, ÷òî âû âûáðàëè êàæäóþ èç êîëîä. 4.2 Íåïðåðûâíîå àïðèîðíîå ðàñïðåäåëåíèå Òå æå ðàññóæäåíèÿ ïðèìåíÿþòñÿ â ñëó÷àå, ãäå íåèçâåñòíûé ïàðàìåòð èìååò íåïðåðûâíîå ðàñïðåäåëåíèå. Òàê, ñíîâà, ìû ìîæåì èñïîëüçîâàòü ôîðìóëó "Àïîñòåðèîðíîå ðàñïðåäåëåíèå∝ Àïðèîðíîå ðàñïðåäåëåíèå ∗ Ôóíêöèÿ ïðàâäîïîäîáèÿ ÷òîáû íàéòè ðàñïðåäåëåíèå àïîñòåðèîðíîãî ïàðàìåòðà. Àëãîðèòì íàõîæäåíèÿ àïîñòåðèîðíîãî ðàñïðåäåëåíèÿ ñëåäóþùèé: Øàã 1(âûáîð àïðèîðíîãî ðàñïðåäåëåíèÿ) Çàïèøèòå àïðèîðíîå ðàñïðåäåëåíèå íåèçâåñòíîãî ïàðàìåòðà. Ïîìíèòå, ÷òî íåèçâåñòíûé ïàðàìåòð áåðåò ìåñòî "x"â ôóíêöèè ðàñïðåäåëåíèÿ. Øàã 2(îïðåäåëåíèå ðàñïðåäåëåíèÿ) Çàïèøèòå (îáúåäèíåííóþ) ôóíêöèþ ïðàâäîïîäîáèÿ äëÿ íàáëþäåíèÿ(é). Øàã 3(îïðåäåëåíèå ðàñïðåäåëåíèÿ àïîñòåðèîðíîãî ïàðàìåòðà) Óìíîæèòå àïðèîðíîå ðàñïðåäåëåíèå ïàðàìåòðà è ôóíêöèþ ïðàâäîïîîáèÿ, ÷òîáû íàéòè ôîðìó àïîñòåðèîðíîãî ðàñïðåäåëåíèÿ ïàðàìåòðà. Âû ìîæåòå ïðîèãíîðèðîâàòü ëþáûå ìíîæèòåëè, êîòîðûå íå ñîäåðæàò íåèçâåñòíûé ïàðàìåòð. Îíè áóäóò "ïîãëîùåíû"â îòíîøåíèè ïðîïîðöèîíàëüíîñòè. Øàã 4(èäåíòèôèêàöèÿ ðàñïðåäåëåíèÿ àïîñòåðèîðíîãî ïàðàìåòðà) Èëè ïðîñìîòðèòå ñòàíäàðòíûå ðàñïðåäåëåíèÿ, êîòîðûå èìåþò ôóíêöèè ðàñïðåäåëåíèÿ ñ ïîäîáíîé àëãåáðàè÷åñêîé ôîðìîé è äèàïàçîíîì çíà÷åíèé êàê è íàéäåííàÿ âàìè ôóíêöèÿ ðàñïðåäåëåíèÿ,ò.å ñðàâíèòå ñ ôóíêöèÿìè ðàñïðåäåëåíèÿ â òàáëèöàõ. 238 Èëè (åñëè íàéäåííîå ðàñïðåäåëåíèå íå ïîõîæå íè íà îäíî èç ñòàíäàðòíûõ ðàñïðåäåëåíèé)ïðîèíòåãðèðóéòå èëè ïðîñóììèðóéòå íåèçâåñòíûé ïàðàìåòð, ÷òîáû íàéòè íîðìàëèçîâàííóþ êîíñòàíòó àïîñòåðèîðíîé ôóíêöèè ðàñïðåäåëåíèÿ. Ï ð è ì å ð 9.3 âàòåëüíîñòè èç p Ïðåäïîëîæèì n X - ÷èñëî óñïåõîâ, äîñòèãíóòûõ â ïîñëåäî- èñïûòàíèé ñ ïîñòîÿííîé íåèçâåñòíîé âåðîÿòíîñòüþ óñïåõà ,è ÷òî àïðèîðíàÿ ôóíêöèÿ ðàñïðåäåëåíèÿ äëÿ àïîñòåðèîðíîå ðàñïðåäåëåíèå Ðåøåíèå p - Beta(α, β). Îïðåäåëèòü p. Ôîðìóëà àïðèîðíîé ôóíêöèè ðàñïðåäåëåíèÿ äëÿ èñêëþ÷àÿ ìíîæåòèëè, íå ñîäåðæàùèå p, p - Beta(α, β), ñëåäóþùàÿ: pα−1 (1 − p)β−1 ,0 < p < 1 X èìååò Beta(n, p) ðàñïðåäåëåíèå, ñëåäîâàòåëüíî ôóíêöèÿ ïðàâäîïîäîáèÿ, èñp, ñëåäóþùàÿ: êëþ÷àÿ ìíîæåòèëè, íå ñîäåðæàùèå px (1 − p)n−x Ñóììèðóÿ ïîëó÷àåì, ÷òî àïîñòåðèîðíîå ðàñïðåäåëåíèå ïðîïîðöèîíàëüíî px+α−1 (1 − p)n−x+β−1 , 0 < p < 1 Ñðàâíèâàÿ ïîëó÷åííóþ ôîðìóëó ñ ôîðìóëàìè ðàñïðåäåëåíèé èç òàáëèöû, âèäèì, ÷òî òàêóþæå ôîðìóëó è äèàïàçîí çíà÷åíèé èìååò Beta- ðàñïðåäåëåíèå (ïîìíèì, ÷òî p x + α è n − x + β. p - Beta(x + α, n − x + β) - ñëó÷àéíàÿ âåëè÷èíà)ñ ïàðàìåòðàìè Èòàê, àïîñòåðèîðíîå ðàñïðåäåëåíèå Åñëè x1 , x2 , ..., xn ñëó÷àéíàÿ âûáîðêà Exp(λ) ðàñïðåäåëåíèÿ,ãäå ïàðàìåòð λ íåèçâåñòåí, íàéòè àïîñòåðèîðíîå ðàñïðåäåëåíèå äëÿ λ, ïðåäïîëàãàÿ, ÷òî àïðèîðíîå ðàñïðåäåëåíèå Exp(λ0 ). Âîïðîñ äëÿ ñàìîïîäãîòîâêè 9.4. Òàáëèöà â êîíöå ýòîé ãëàâû ïîêàçûâàåò íåêîòîðûå àïîñòåðèîðíûå ðàñïðåäåëåíèÿ ïàðàìåòðîâ äëÿ ÷àñòî âñòðå÷àþùèõñÿ êîìáèíàöèé ôóíêöèè ïðàâäîïîäîáèÿ è àïðèîðíûõ ðàñïðåäåëåíèé. Íåò íåîáõîäèìîñòè çàïîìèíàòü ýòó òàáëèöó. Îäíàêî, ðåêîìåíäóåòñÿ ïðîâåðèòü ðåçóëüòàòû, êîòîðûå âû ìîæåòå ïîëó÷èòü èç òàáëèöû, ðàçáèðàÿ ïðèìåð 5.3. 4.3 Ñîïðÿæåííûå ðàñïðåäåëåíèÿ (l2) Îáúÿñíåíèå òîãî, ÷òî ïîäðàçóìåâàþò ïîä ñîïðÿæåííûì àïðèîðíûì ðàñïðåäåëåíèåì. 239 Èíîãäà àïðèîðíîå ðàñïðåäåëåíèå è àïîñòåðèîðíîå ðàñïðåäåëåíèå ïðèíàäëåæàò ê îäíîìó ñåìåéñòâó ðàñïðåäåëåíèé, íàïðèìåð îáà ìîãëè áû áûòü ãàììà-ðàñïðåäåëåíèÿìè. Òîãäà ãîâîðÿò, ÷òî îíè ôîðìèðóþò ñîïðÿæåííóþ ïàðó.  òàáëèöå ñîïðÿæåííûå ðàñïðåäåëåíèÿ áûëè îòìå÷åíû ñî çâåçäî÷êîé. Ôóíêöèÿ ïðàâäîïîäîáèÿ îïðåäåëÿåò, êàêîå ñåìåéñòâî ðàñïðåäåëåíèé ïðèâåäåò ê ñîïðÿæåííîé ïàðå. Ñîïðÿæåííûå ðàñïðåäåëåíèÿ ìîãóò áûòü íàéäåíû ñ ïîìîùüþ âûáîðà ñåìåéñòâà ðàñïðåäåëåíèé, êîòîðûå èìåþò îäèíàêîâûå ôîðìóëû ôóíêöèè ïðàâäîïîäîáèÿ, ðàññìàòðèâàÿ íåèçâåñòíûé ïàðàìåòð êàê ñëó÷àéíóþ âåëè÷èíó. Ï ð è ì å ð 9.4 x1 , x2 , ..., xn íàáëþäåíèÿ, èìåþùèå - íåçàâèñèìûå îäèíàêîâî ðàñïðåäåëåííûå (ÍÎÐÍ) Geo(p) ðàñïðåäåëåíèå, ãäå p íåèçâåñòíî. Íàéòè ñå- ìåéñòâî ðàñïðåäåëåíèé, êîòîðîìó ïðèíàäëåæàò ñîïðÿæåííûå àïðèîðíîå è àïîñòåðèîðíîå ðàñïðåäåëåíèÿ. Ðåøåíèå Ôóíêöèÿ ïðàâäîïîäîáèÿ èìååò âèä n Q p(1−p)xi −1 = pn (1−p)Σxi −n i=1 Èòàê, íàì íåîáõîäèìî íàéòè ñåìåéñòâî ôóíêöèé âèäà ãäå 0 < p < 1, p÷òî-òî (1 − p)÷òî-òî , ò.å. íóæíî èñïîëüçîâàòü beta-ðàñïðåäåëåíèå. Èñïîëüçîâàíèå ñîïðÿæåííûõ ðàñïðåäåëåíèé ÷àñòî äåëàåò Áàéåñîâñêèå âû÷èñëåíèÿ áîëåå ïðîñòûìè. Îíè òàêæå ïîäõîäÿò äëÿ èñïîëüçîâàíèÿ â ñëó÷àå ñåìåéñòâà ðàñïðåäåëåíèé, êîòîðûå ìîãëè áû áûòü îïðåäåëåíû äëÿ îáåñïå÷åíèÿ "åñòåñòâåííîé"ìîäåëè äëÿ íåèçâåñòíîãî ïàðàìåòðà, íàïðèìåð, â ïðåäûäóùåì ïðèìåðå, ãäå ïàðàìåòð p ïðèíèìàåò çíà÷åíèÿ â äèàïàçîíå 0 < p < 1. 4.4 Íåïîäõîäÿùèå àïðèîðíûå ðàñïðåäåëåíèÿ Èíîãäà ïîëåçíî èñïîëüçîâàòü íåèíôîðìàòèâíîå àïðèîðíîå ðàñïðåäåëåíèå, êîòîðîå ïðåäïîëàãàåò, ÷òî íåèçâåñòíûé ïàðàìåòð îäèíàêîâî âåðîÿòíî ïðèìåò ëþáîå çíà÷åíèå. Íàïðèìåð, ìû ìîãëè áû èìåòü ïëîòíîñòü íîðìàëüíîãî ðàñïðåäåëåíèÿ ñ ìàòåìàòè÷åñêèì îæèäàíèåì µ, ãäå ìû íè÷åãî íå çíàåì î µ.Ýòî âåäåò ê ïðîáëåìå â ýòîì ïðèìåðå, ïîòîìó ÷òî ìû áûëè áû äîëæíû ïðèíÿòü U (∞, ∞) çà ôóíêöèþ ðàñïðåäåëåíèÿ äëÿ µ, ÷òî íå èìååò ñìûñëà, òàê êàê ôóíêöèÿ ðàñïðåäåëåíèÿ äëÿ ýòîé ïëîòíîñòè áûëà áû âñþäó ðàâíà 0 . Ìû ìîæåì ëåãêî îáîéòè ýòó ïðîáëåìó, èñïîëüçóÿ ðàñïðåäåëåíèå U (−N, N ), ãäå N - ïðèíèìàåò î÷åíü áîëüøèå çíà÷åíèÿ, è çàòåì óñòðåìèòü N ê áåñêîíå÷íîñòè. Òîãäà ôóíêöèÿ ðàñïðåäåëåíèÿ - 1/2N , ÿâëÿåòñÿ 240 êîíñòàíòîé. Åñëè ìû èñïîëüçóåì "ïðîïîðöèîíàëüíûé"ìåòîä, îïèñàííûé âûøå, ñ àïðèîðíûì ðàñïðåäåëåíèåì, ïðîïîðöèîíàëüíûì 1, âñå óäàåòñÿ ëåãêî âû÷èñëèòü, äàæå ïðè òîì, ÷òî äèàïàçîí çíà÷åíèé â ýòîì ñëó÷àå áåñêîíå÷íûé. 241 Ôóíêöèÿ ïðàâäîïîäîáèÿ âûáîðêè ÍÎÐÑ âåëè÷èí X1 , ..., Xn Íåèçâåñòíûé ïàðàìåòð P osson(λ) λ>0 Ôóíêöèÿ ðàñïðåäåëåíèÿ ïàðàìåòðà àïðèîðíàÿ Exp(λ0 ) àïîñòåðèîðíàÿ Gamma(Σx + 1, n + λ0 ) Exp(λ) Gamma(n + 1, Σx + λ0 ) Gamma(α, λ) Gamma(αn + 1, Σx + λ0 ) Exp(λ) Gamma(α0 , λ0 ) Gamma(n + α0 , Σx + λ0 ) * λ>0 Gamma(αn + α0 , Σx + λ0 ) * Gamma(α, λ) B(m, p) Beta(α0 , β 0 ) 0<p<1 Beta(n + α0 , Σx − n + β 0 ) * Geo(p) 2 N (µ, σ ) LogN (µ, σ 2 ) −∞ < µ < ∞ −∞ < µ < ∞ 0 02 N (µ , σ ) U (−∞, ∞) N , 1 n 2+ σ 1 σ 02 * 2 N ( n1 Σ log x, σn ) 2 U (0, ∞) λ>0 Gamma(α, λ) Geo(p) 0 + µ02 σ2 σ n + 102 σ2 σ Σx N ( n1 Σx, σn ) N (µ, σ 2 ) Exp(λ) Beta(Σx + α0 , nm − Σx + β 0 ) * Gamma(n + 1, Σx) Gamma(αn + 1, Σx+) 0<p<1 U (0, 1) Beta(n + 1, nm − Σx − n + 1) B(m, p) Beta(Σx + 1, nm − Σx + 1) N B(K, p) Beta(nk + 1, nm − Σx + 1) 242 5 Ôóíêöèÿ óùåðáà è Áàéåñîâñêèå îöåíêè ×òîáû ïðèìåíÿòü ìåòîä Áàéåñà äëÿ ïîëó÷åíèÿ âûâîäîâ î íåèçâåñòíûõ ïàðàìåòðàõ, ìû äîëæíû âûáðàòü ôóíêöèþ óùåðáà. Ôóíêöèÿ óùåðáà ïîêàçûâàåò íàñêîëüêî ñåðüåçíîé áûëà áû "îøèáêà åñëè áû âìåñòî èñòèííîãî ïàðàìåòðà θ ïðèíÿëè θ . Ìû ìîæåì èñïîëüçîâàòü àïîñòåðèîðíîå ðàñïðåäåëåíèå äëÿ ïàðàìåòðà, ÷òîáû íàéòè îæèäàåìóþ ïîòåðþ, åñëè ìû èñïîëüçóåì â êà÷åñòâå îöåíêè θ. Åñëè ôóíêöèÿ ðàâíÿåòñÿ Loss(θ, θ) , òî îæèäàåìàÿ ïîòåðÿ áóäåò ðàâíà: Z∞ Loss(θ, θ)fpost (θ)dθ E[Loss(θ, θ)] = −∞ Îöåíêà Áàéåñà ïðîõîäèò ñëåäóþùèì îáðàçîì: Íàõîæäåíèå îöåíêè Áàéåñà Áàéåñîâñêàÿ îöåíêà íåèçâåñòíîãî ïàðàìåòðà - çíà÷åíèå ïàðàìåòðà, êîòîðîå ìèíèìèçèðóåò îæèäàåìûå ïîòåðè, áàçèðóþùååñÿ íà àïîñòåðèîðíîé ôóíêöèè ðàñïðåäåëåíèÿ. N (µ, σ 2 ) ðàñïðåäåëåíèå, ãäå µ íåèçâåñòíî, à µ èçâåñòíî. àïðèîðíîå ðàñïðåäåëåíèå µ - U (∞, ∞). Íàéòè âûðàæåíèå äëÿ îæèäàåìûõ ïîòåðü, åñëè ïîòåðè ïðè îöåíêå µ ñ ïîìîùüþ µ ðàâíû (µ − µ)2 . Íàéäèòå çíà÷åíèå µ, êîòîðîå ìèíèìèçèðóåò îæèäàåìûå ïîòåðè. Ï ð è ì å ð 9.5 x1 , x2 , ..., xn Ðåøåíèå - ÍÎÐÍ, èìåþùèå Èç òàáëèöû ñëåäóåò, ÷òî àïîñòåðèîðíîå ðàñïðåäåëåíèå äëÿ N (x, σ 2 /n) Èñïîëüçóÿ ôóíêöèþ óùåðáà (µ − µ - µ)2 , îæèäàåìûå ïîòåðè ðàâíû: E[(µ − µ)2 ] = µ2 − 2µE(µ) + E(µ2 ) = µ2 − 2µx + x2 + Îæèäàåìûå ïîòåðè ïðèìóò íàèìåíüøåå çíà÷åíèå, êîãäà σ2 σ2 = (µ − x)2 + n n µ = x.  ýòîì ïðèìåðå ïðè èñïîëüçîâàíèè êâàäðàòè÷íàÿ ôóíêöèè óùåðáà Áàéåñîâñêàÿ îöåíêà µ îêàçàëàñü ðàâíà x. Íà ïðàêòèêå, îáû÷íî èñïîëüçóþòñÿ òðè òèïà ôóíêöèè óùåðáà, îêàçûâàåòñÿ, êàæäàÿ èç ýòèõ ôóíêöèé äàåò ïðîñòóþ Áàéåñîâñêóþ îöåíêó, áàçèðóþùóþñÿ íà àïîñòåðèîðíîé ôóíêöèè ðàñïðåäåëåíèÿ. Ýòî ïîêàçàíî â ñëåäóþùåé òàáëèöå: 243 Ôóíêöèÿ óùåðáà Áàéåñîâñêàÿ îöåíêà θ Êâàäðàòè÷íàÿ îøèáêà óùåðáà (θ − θ)2 ìàòåìàòè÷åñêîå îæèäàíèå àïîñòåðèîðíîé ôóíêöèè âåðîÿòíîñòè Àáñîëþòíàÿ îøèáêà óùåðáà |θ − θ| ìåäèàíà àïîñòåðèîðíîé ôóíêöèè âåðîÿòíîñòè Áèíàðíàÿ îøèáêà óùåðáà I[θ 6= θ] ìîäà àïîñòåðèîðíîé ôóíêöèè âåðîÿòíîñòè Áèíàðíàÿ îøèáêà óùåðáà îïðåäåëåíà ÷åðåç ôóíêöèþ-èíäèêàòîð I[θ 6= θ], êîòîðàÿ ïðèíèìàåò çíà÷åíèå 0, åñëè ïðèñóòñòâóåò îøèáêà, è 1 â ïðîòèâíîì ñëó÷àå. Ï ð è ì å ð 9.6 Ïîêàçàòü, ÷òî ïðè èñïîëüçîâàíèè êâàäðàòè÷íîé ôóíêöèè óùåðáà, íåïðåðûâíûé ïàðàìåòð θ äîëæåí áûòü îöåíåí ñ ïîìîùüþ ìàòåìàòè- ÷åñêîãî îæèäàíèÿ àïîñòåðèîðíîé ôóíêöèè. Ðåøåíèå Ìû äîëæíû âûáðàòü òàêîå E = E[(θ − θ, êîòîðîå ìèíèìèçèðóåò îæèäàåìûå ïîòåðè θ)2 ]. Ìû ìîæåì ðàñêðûòü ýòî âûðàæåíèå 2 E = θ − 2θE[Θ] + E[Θ2 ] Äëÿ íàõîæäåíèÿ ìèíèìóìà, ïðîäèôôåðåíöèðóåì ïî θ dE = 2θ − 2E[Θ] dθ Âûðàæåíèå ïðèíèìàåò çíà÷åíèå 0 ïðè θ = E[Θ], ò.å. θ ÿâëÿåòñÿ ìàòåìàòè÷å- ñêîå îæèäàíèåì àïîñòåðèîðíîé ôóíêöèè ðàñïðåäåëåíèÿ. Äîêàçàòåëüñòâîì, ÷òî ìû ïîëó÷èëè ìèíèìóì ôóíêöèè ÿâëÿåòñÿ: d2 E dθ 2 =2>0 Ïîêàçàòü,÷òî èñïîëüçóÿ ôóíêöèþ áèíàðíîé îøèáêè óùåðáà, äèñêðåòíûé ïàðàìåòð θ äîëæåí áûòü îöåíåí ñ ïîìîùüþ ìîäû àïîñòåðèîðíîé ôóíêöèè. Âîïðîñ äëÿ ñàìîïîäãîòîâêè 9.5. 244 Ïîêàçàòü,÷òî èñïîëüçóÿ ôóíêöèþ àáñîëþòíîé îøèáêè óùåðáà, íåïðåðûâíûé ïàðàìåòð θ äîëæåí áûòü îöåíåí ñ ïîìîùüþ ìåäèàíû àïîñòåðèîðíîé ôóíêöèè. Âîïðîñ äëÿ ñàìîïîäãîòîâêè 9.6. Ïîëó÷åííûå ðåçóëüòàòû óïðîùàþò íàõîæäåíèå Áàéåñîâñêîé îöåíêè. Ï ð è ì å ð 9.7 x1 , x2 , ..., xn ãäå θ λ íåèçâåñòíà, à α Gamma(α, λ) ðàñïðåäåëåíèå, ðàñïðåäåëåíèå λ - Exp(θ), ãäå îöåíêó λ, èñïîëüçóÿ áèíàðíóþ - ÍÎÐÍ, èìåþùèå èçâåñòíà. Àïðèîðíîå èçâåñòíàÿ êîíñòàíòà. Íàéòè Áàéåñîâñêóþ îøèáêó óùåðáà Ðåøåíèå Ïðåäøåñòâóþùàÿ ôóíêöèÿ ðàñïðåäåëåíèÿ λ : e−θλ Ôóíêöèÿ ïðàâäîïîäîáèÿ ïðîïîðöèîíàëüíà: n Y λα e−λxi = λnα e−λΣxi i=1 Òîãäà àïîñòåðèîðíîå ðàñïðåäåëåíèå ïðîïîðöèîíàëüíî : λnα e−λΣxi ∗ e−θλ = λnα e−λ(Σxi +θ) ÷òî ñîîòâåòñòâóåò ðàñïðåäåëåíèþ Gamma(nα + 1, Σxi + θ) Èñïîëüçóÿ áèíàðíóþ îøèáêó óùåðáà, íåèçâåñòíûé ïàðàìåòð îöåíèâàåòñÿ ìîäîé àïîñòåðèîðíîãî ðàñïðåäåëåíèÿ Ïîñëå äèôôåðåíöèðîâàíèÿ ëîãàðèôìà îò ôóíêöèè ðàñïðåäåëåíèÿ è ïðèðàâíèâàíèÿ âûðàæåíèÿ ê 0, íàõîäèì ìîäó ðàñïðåäåëåíèÿ ðàâíà Gamma(α, λ). Îíà α−1 λ Òîãäà Áàéåñîâñêàÿ îöåíêà λ èìååò âèä: λ= nα Σxi + θ Äåñÿòü ÍÎÐÍ, èìåþùèõ ðàñïðåäåëåíèå P oisson(λ), ðàâíÿþòñÿ 3,4,3,1,5,5,2,3,3,2. Ïðåäïîëàãàÿ, ÷òî àïðèîðíîå ðàñïðåäåëåíèå λ - Exp(0.2), íàéòè Áàéåñîâñêóþ îöåíêó λ, èñïîëüçóÿ êâàäðàòè÷íóþ îøèáêó óùåðáà. Âîïðîñ äëÿ ñàìîïîäãîòîâêè 9.7. 6 Îöåíêà ìåòîäà Áàéåñîâñêèõ îöåíîê Àíàëîãè÷íûå ïðîöåäóðû, èñïîëüçóþùèåñÿ äëÿ îöåíêè ýôôåêòèâíîñòè (MLE), ìîãóò áûòü ïðèìåíåíû è ê Áàéåñîâñêèì îöåíêàì. Ìû ìîæåì 245 ðàññìîòðåòü ìàòåìàòè÷åñêîå îæèäàíèå êâàäðàòè÷íîé îøèáêè ïîëó÷àåìûõ îöåíîê è îöåíèòü íà ñîñòîÿòåëüíîñòü,ýôôåêòèâíîñòü è îòêëîíåíèå. Ï ð è ì å ð 9.8 Åäèíè÷íîå íàáëþäåíèå èñïîëüçóåòñÿ äëÿ îöåíêè ïàðàìåòðà áèíîìèàëüíîãî ðàñïðåäåëåíèÿ B(n, θ) 1. Ïîêàæåì, ÷òî MLE ðàâíî x n θ= 2. Ïîêàæåì, ÷òî Áàéåñîâñêàÿ îöåíêà, èñïîëüçóþùàÿ íåèíôîðìàòèâíîå θe = ïðåäûäóùåå ðàñïðåäåëåíèå, ðàâíà x+1 n+2 3. Íàéäåì ìàòåìàòè÷åñêîå îæèäàíèå êâàäðàòè÷íûõ îøèáîê îáåèõ îöåíîê è ñðàâíèì èõ ýôôåêòèâíîñòü â ñëó÷àå Ðåøåíèå n = 100. (1) Ôóíêöèÿ ïðàâäîïîäîáèÿ ðàâíà L(θ) = n k θx (1 − θ)n−x Òîãäà ïðîëîãîðèôìèðîâàâ, ïîëó÷èì log L = constant + x log θ + (n − x) log(1 − θ) Ïðîäèôôåðåíöèðóåì ïî θ d x n−x log L = − dθ θ 1−θ Ïðèðàâíèâàÿ ïîëó÷åííîå ê 0 è óïðîñòèâ âûðàæåíèå, ïîëó÷èì: θ= x n Èñïîëüçóÿ ïðåäûäóùóþ ôóíêöèþ ðàñïðåäåëåíèÿ, êîòîðàÿ îäíîðîäíà íà (0,1), ïîëó÷àåì: P ost(θ) = constant ∗ θx (1 − θ)n−x , 0 6 θ 6 1 Ïîëó÷èëè ôîðìóëó beta-ðàñïðåäåëåíèÿ ñ ïàðàìåòðàìè λ = x+1 è β = n−x+1. Òàêèì îáðàçîì, Áàéåñîâñêàÿ îöåíêà ñ èñïîëüçîâàíèåì êâàäðàòè÷íîé îøèáêè óùåðáà ÿâëÿåòñÿ ìàòåìàòè÷åñêèì îæèäàíèåì beta-ðàñïðåäåëåíèÿ: θe = α x+1 x+1 = = α+β x+1+n−x+1 n+2 (3) Ìàòåìàòè÷åñêîå îæèäàíèå è äèñïåðñèÿ íàáëþäåíèé áèíîìèàëüíîãî ðàñïðåäåëåíèÿ B(n, θ) θ èìååì: Òîãäà äëÿ ðàâíû E(X) = nθ E(θ) = è V ar(X) = nθ(1 − θ) 1 E(X) = θ n 246 ñîîòâåòñòâåííî. Òîãäà θ íå èñêàæåíî äëÿ θ è ìàòåìàòè÷åñêîå îæèäàíèå êâàäðàòè÷íîé îøèáêè ðàâíî: V ar(θ) = Äëÿ 1 1 θ(1 − θ) V ar(X) = 2 nθ(1 − θ) = 2 n n n θe èìååì: e =x E(θ) Òîãäà θe èìååò X +1 n+2 = nθ + 1 6= θ n+2 èñêàæåíèå ðàâíîå: nθ + 1 1 − 2θ −θ = n+2 n+2 θe : X +1 1 − 2θ 2 2 e e e M SE(θ) = V ar(θ) + [Bias(θ)] = V ar + n+2 n+2 1 − 2θ 2 1 + (n − 4)θ − (n − 4)θ2 1 V ar(X) + = = (n + 2)2 n+2 (n + 2)2 Òîãäà ìàòåìàòè÷åñêîå îæèäàíèå êâàäðàòè÷íîé îøèáêè Ïðè n = 100 MSE ðàâíû: M SE(θ) = θ(1 − θ) 100 Ìû ìîæåì íàéòè çíà÷åíèå θ. è 2 e = 1 + 96θ − 96θ M SE(θ) 1022 äëÿ êîòîðîãî M SE(θ) ìåíüøå : θ(1 − θ) 1 + 96θ − 96θ2 6 ⇒ 1000 − 804θ + 804θ2 > 0 100 1022 Ðåøèâ êâàäðàòíîå íåðàâåíñòâî, ïîëó÷èì: θ 6 0.146 Òàêèì îáðàçîì, äëÿ áîëüøèõ è ìàëåíüêèõ çíà÷åíèé θ θ èëè θ > 0.854. θ (θ 6 0.146 èëè θ > 0.854), èìååò ìåíüøåå MSE è ÿâëÿåòñÿ áîëåå ýôôåêòèâíîé îöåíêîé. Äëÿ çíà÷åíèé ìåæäó 0.146 è 0,854, θe èìååò ìåíüøåå MSE è ÿâëÿåòñÿ áîëåå ýôôåêòèâíîé îöåíêîé. 7 Áàéåñîâñêèå äîâåðèòåëüíûå èíòåðâàëû Ìû èñïîëüçîâàëè àïîñòåðèîðíîå ðàñïðåäåëåíèå, ÷òîáû íàéòè òî÷êè îöåíêè ïàðàìåòðà ðàñïðåäåëåíèÿ, èñïîëüçóÿ ìàòåìàòè÷åñêîå îæèäàíèå, ìåäèàíó èëè ìîäó àïîñòåðèîðíîãî ðàñïðåäåëåíèÿ. Ìû ìîæåì òàêæå èñïîëüçîâàòü àïîñòåðèîðíîå ðàñïðåäåëåíèå, ÷òîáû íàéòè îöåíêó èíòåðâàëà çíà÷åíèé ïàðàìåòðà, èñïîëüçóÿ ñòàíäàðòíûé 247 ïîäõîä ïðèìåíåíèÿ äîâåðèòåëüíûõ èíòåðâàëîâ. Äåéñòâèòåëüíî, âûðàæåíèÿ òèïà P (1.54 < θ < 2.68) = 0.95, ÿâëÿþòñÿ òåïåðü çíà÷àùèìè, òàê êàê ìû ðàññìàòðèâàåì θ êàê ñëó÷àéíóþ âåëè÷èíó, òîãäà êàê èñïîëüçóÿ òðàäèöèîííûé ïîäõîä çíà÷åíèå θ áûëà ôèêñèðîâàííîé, íî íåèçâåñòíîé. Âîïðîñ äëÿ ñàìîïîäãîòîâêè 9.8. Èñïîëüçóÿ äàííûå çàäà÷è 5.7, íàéòè ïðèáëèçèòåëüíûé íà 95% Áàéåñîâñêèé äîâåðèòåëüíûé èíòåðâàë äëÿ λ Èç LogN (µ, 8) ðàñïðåäåëåíèÿ áûë âçÿòà âûáîðêà îáúåìîì, ðàâíûì 10. Èç âûáîðêè ñëåäóåò, ÷òî Σ log xi = 49.32. Èñïîëüçóÿ ìåòîä Áàéåñîâñêîãî àíàëèçà ñ íåèíôîðìàòèâíîé àïðèîðíîé ôóíêöèåé, íàéòè 95% äîâåðèòåëüíûé èíòåðâàë äëÿ µ. Âîïðîñ äëÿ ñàìîïîäãîòîâêè 9.9.  çàêëþ÷åíèè ýòîé ãëàâû ïðèâåäåì ïðèìåð òèïè÷íîãî âîïðîñà íà ýêçàìåíå ïî òðåòüåé ãëàâå. Ï ð è ì å ð 9.9 Ïóñòü X1 , ..., Xn - ñëó÷àéíàÿ âûáîðêà, èìåþùàÿ ýêñïîíåí- öèàëüíîå ðàñïðåäåëåíèå ñ ïàðàìåòðîì θ > 0, èìåþùàÿ ïëîòíîñòü ðàñïðåäåëå- íèÿ: f (x|θ) = θe−θx , x > 0 1. à Ïîêàæèòå, ÷òî ñîïðÿæåííàÿ ïðåäûäóùàÿ ôóíêöèÿ ðàñïðåäåëåíèÿ äëÿ - Gamma(α, λ), è ñëåäîâàòåëüíî îïðåäåëèòå ïîëíîñòüþ àïî- ñòåðèîðíîå ðàñïðåäåëåíèå θ. á  ÷àñòíîì ñëó÷àå ìàòåìàòè÷åñêîå îæèäàíèå è ñòàíäàðòíîå îòêëîíåíèå ïðåäûäóùåé ôóíêöèè ðàâíî 2.0 è 0.2, ñîîòâåòñòâåííî. Çàïèøèòå ñîîòâåòñòâóþùóþ ïðåäûäóùóþ Gamma ôóíêöèþ. 2. à Ìàòåìàòè÷åñêîå îæèäàíèå ñëó÷àéíîé âûáîðêè îáúåìà 50 ðàâíî x = 0.48. Èñïîëüçóÿ ïðåäûäóùóþ ôóíêöèþ èç ÷àñòè (1)(á), ïî- ëó÷èòå àïîñòåðèîðíóþ ôóíêöèþ ðàñïðåäåëåíèÿ îïðåäåëèòå Áàéåñîâñêóþ îöåíêó θ è ñëåäîâàòåëüíî θ, èñïîëüçóÿ êâàäðàòè÷íóþ îøèá- êó óùåðáà. á Îáúÿñíèòå, ïî÷åìó àïîñòåðèîðíîå ðàñïðåäåëåíèå ìîæåò áûòü àïïðîêñèìèðîâàíî ïîäõîäÿùèì íîðìàëüíûì ðàñïðåäåëåíèåì. â Èñïîëüçóéòå íîðìàëüíóþ àïïðîêñèìàöèþ äëÿ îïðåäåëåíèÿ 95% Áàéåñîâñêîãî èíòåðâàëà äëÿ Ðåøåíèå θ. (1)(à) Ôóíêöèÿ ïðàâäîïîäîáèÿ ðàâíà: L(θ) = θe−θx1 θe−θx2 ...θe−θxn = θn e−θ 248 P xi Ðàññìàòðèâàÿ íåèçâåñòíûé ïàðàìåòð θ êàê ñëó÷àéíóþ âåëè÷èíó, ïîëó÷àåì âûðàæåíèå â ôîðìå Gamma - ðàñïðåäåëåíèÿ. Ñëåäîâàòåëüíî Gamma - ðàñïðåäåëåíèå ÿâëÿåòñÿ ñîïðÿæåííûì àïðèîðíûì ðàñïðåäåëåíèåì â äàííîì ñëó÷àå. Gamma(α, λ) â êà÷åñòâå àïðèîðíîãî ðàñïðåäåëåíèÿ äëÿ θ, ïîëó÷èì Èñïîëüçóÿ àïîñòåðèîðíîå ðàñïðåäåëåíèå, ïðîïîðöèîíàëüíîå àïðèîðíîìó ðàñïðåäåëåíèþ, ïîìíîæåííîìó íà ôóíêöèþ ïðàâäîïîäîáèÿ: P P 1 α α−1 −λθ λ θ e ∗ θn e−θ xi ∝ θn+α−1 e−(λ+ xi )θ Ã(α) P Gamma-ðàñïðåäåëåíèå ñ ïàðàìåòðàìè n = α è λ + xi . P ost(θ) ∝ Ýòî äðóãîå (á) Èñïîëüçóÿ ôîðìóëó äëÿ ìàòåìàòè÷åñêîå îæèäàíèÿ è äèñïåðñèè, ïîëó÷àåì: α λ = 2.0 α λ2 = 0.22 Ðåøàÿ óðàâíåíèÿ ïîëó÷èì α = 100 λ = 50 è (2)(à) Èñïîëüçóÿ ïîëó÷åííûå ðåçóëüòàòû, èìååì àïîñòåðèîðíîå ðàñïðåäåëåíèå - Gamma-ðàñïðåäåëåíèå ñ ïàðàìåòðàìè: n + α = 150 è λ+ P xi = 74 Òîãäà Áàéåñîâñêàÿ îöåíêà θ - ìàòåìàòè÷åñêîå îæèäàíèå ñ èñïîëüçîâàíèåì êâàäðàòè÷íîé îøèáêè óùåðáà Gamma(150, 74). θ= 150 = 2.027 74 (á) Êîýôôèöèåíò àñèììåòðèè Gamma-ðàñïðåäåëåíèÿ ðàâåí ÿâëÿåòñÿ íåáîëüøèì äëÿ α. Ò.ê. α = 150 √ 2/ α, êîòîðûé è êîýôôèöèåíò ðàñïðåäåëåíèå ìàë, àïîñòåðèîðíîå ðàñïðåäåëåíèå ÿâëÿåòñÿ ñèììåòðè÷íûì. Ñëåäîâàòåëüíî õîðîøî ïîäõîäèò íîðìàëüíàÿ àïïðîêñèìàöèÿ.  êà÷åñòâå àëüòåðíàòèâû, ìîæíî ïðåäñòàâèòü ýòî Gamma-ðàñïðåäåëåíèå êàê ñóììà 150 ýêñïîíåíöèàëüíûõ ðàñïðåäåëåíèé, êàæäîå èç êîòîðûõ èìååò ïàðàìåòð λ = 74. Ò.ê. ìû ñóììèðóåì áîëüøîå êîëè÷åñòâî îäèíàêîâûõ ñëó÷àéíûõ âåëè÷èí, èç öåíòðàëüíîé ïðåäåëüíîé òåîðåìû ñëåäóåò, ÷òî è ðåçóëüòèðóþùåå ðàñïðåäåëåíèå òàêæå áóäåò íîðìàëüíûì. (â) 95% äîâåðèòåëüíûé èíòåðâàë äëÿ N (µ, σ 2 ) ðàñïðåäåëåíèÿ ðàâåí µ ± 1.96σ . Ìû èñïîëüçîâàëè íîðìàëüíîå ðàñïðåäåëåíèå ñ òàêèìè æå ìàòåìàòè÷åñêîå îæèäàíèåì è äèñïåðñèåé êàê è ó àïîñòåðèîðíîãî Gamma-ðàñïðåäåëåíèÿ, ò.å. µ = 2.027 è σ2 = 150 742 = 0.02739 249 Ñëåäîâàòåëüíî, Áàéåñîâñêèé èíòåðâàë äëÿ θ ðàâåí: √ 2.027 ± 1.96 0.02739 = (1.703, 2.351) 8 Êðàòêîå èçëîæåíèå Áàåñîâñêèé ïîäõîä ê ñòàòèñòè÷åñêîìó âûâîäó, êîòîðûé áàçèðóåòñÿ íà Áàåñîâñêîé ôîðìóëå, ïðåäïîëàãàåò àïðèîðíîå ðàñïðåäåëåíèå äëÿ íåèçâåñòíîãî ïàðàìåòðà. Ôóíêöèÿ ïðàâäîïîäîáèÿ â ýòîì ñëó÷àå îïðåäåëÿåòñÿ íà îñíîâå ìíîæåñòâà íàáëþäåíèé. Îáúåäèíÿÿ ïîëó÷åííîå, âûâîäèòñÿ àïîñòåðèîðíîå ðàñïðåäåëåíèå äëÿ íåèçâåñòíîãî ïàðàìåòðà. Âî ìíîãèõ ñèòóàöèÿõ åñòü åñòåñòâåííîå àïðèîðíîå ðàñïðåäåëåíèå, èñïîëüçîâàíèå êîòîðîãî âåäåò ê ñîïðÿæåííîìó àïðèîðíîìó è àïîñòåðèîðíîìó ðàñïðåäåëåíèþ. Ôóíêöèÿ óùåðáà, íàïðèìåð êâàäðàòè÷íàÿ îøèáêà óùåðáà, àáñîëþòíàÿ îøèáêà óùåðáà èëè áèíàðíàÿ îøèáêà óùåðáà, âûáèðàåòñÿ äëÿ îïðåäåëåíèÿ ñåðüåçíîñòè íåïðàâèëüíîé îöåíêè. 9 Ôîðìóëû Ôîðìóëà Áàéåñà P (B|Ai )P (Ai ) P (Ai |B) = P äèñêðåòíàÿ ôîðìà P (B|Ai )P (Ai ) i f (θ|B) = R P (B|θ)f (θ) íåïðåðûâíàÿ ôîðìà P (B|θ)f (θ)dθ Àïîñòåðèîðíîå ðàñïðåäåëåíèå Àïîñòåðèîðíîå ðàñïðåäåëåíèå ∝ Àïðèîðíîå ðàñïðåäåëåíèå ∗ Ôóíêöèÿ ïðàâäîïîäîáèÿ 250
