Âûñøàÿ øêîëà ýêîíîìèêè, 2011-12 ó÷åáíûé ãîä Ôàêóëüòåò ïðèêëàäíîé ïîëèòîëîãèè Àëãåáðà è àíàëèç È. À. Õîâàíñêàÿ, È. Â. Ùóðîâ, Þ. Ã. Êóäðÿøîâ, Ê. È. Ñîíèí (ÐÝØ) Ëåêöèÿ 7. Ñòàòèñòè÷åñêèå ïàðàäîêñû. Ýëåìåíòû àíàëèçà äàííûõ Àíàëèçèðóÿ òå èëè èíûå ñîáûòèÿ è òåíäåíöèè, ìû ÷àñòî îáðàùàåìñÿ ê ñòàòèñòè÷åñêèì äàííûì. Èñïîëüçóÿ äàííûå, ìû äåëàåì ïî íèì âûâîäû î ïðîèñõîäÿùåì ïîðîé âûâîäû ñ î÷åíü ñåðüåçíûìè ïîñëåäñòâèÿìè. Íàïðèìåð, åñëè ðå÷ü èäåò îá àíàëèçå ïîñëåäíåé êàêîé-òî êîíêðåòíîé ïðàâèòåëüñòâåííîé ïðîãðàììû (ïîòðà÷åíî ñòîëüêî-òî äåíåã, ïîêàçàòåëè ñìåíèëèñü ñ òàêèõ-òî íà òàêèå-òî), âûâîäû î ïðè÷èííîñëåäñòâåííûõ ñâÿçÿõ ìåæäó çàòðàòàìè è ïðåäïðèíÿòûìè óñèëèÿìè, ñ îäíîé ñòîðîíû, è èçìåíåíèåì ïîêàçàòåëåé ñ äðóãîé, áóäóò èãðàòü ñóùåñòâåííóþ ðîëü ïðè ïðèíÿòèè ðåøåíèé î áóäóùèõ ïðîåêòàõ. Íåñìîòðÿ íà òî, ÷òî äëÿ îáðàáîòêè äàííûõ íàóêà çíàåò òûñÿ÷è ìåòîäîâ, ìàòåìàòèêè è ýêîíîìèñòû ïèøóò ñòàòüè â äåñÿòêè íàó÷íûõ æóðíàëîâ, ïî âñåìó ìèðó ðàáîòàþò îãðîìíûå èññëåäîâàòåëüñêèå öåíòðû, ÷àñòî êàæåòñÿ, ÷òî âñå ýòî ëèøíåå. Ìíîãèì êàæåòñÿ, ÷òî äîñòàòî÷íî áåãëîãî è, óæ êîíå÷íî, äîñòàòî÷íî ïðèñòàëüíîãî âçãëÿäà íà äàííûå, ÷òîáû ïîíÿòü, êàêèå ñóùåñòâóþò ñâÿçè, êàêèå åñòü òåíäåíöèè, è ÷òî íóæíî äåëàòü. Äåéñòâèòåëüíî, çà÷àñòóþ òàêîé âçãëÿä íà äàííûå ïîçâîëÿåò ñäåëàòü âàæíûå, î÷åâèäíûå, íî, ê ñîæàëåíèþ, ñîâåðøåííî íåâåðíûå âûâîäû.  ýòîé ëåêöèè ìû ïðèâîäèì ïðèìåðû íåñêîëüêèõ ñîâåðøåííî ýëåìåíòàðíûõ ¾ñòàòèñòè÷åñêèõ ïàðàäîêñîâ¿ ñèòóàöèé, êîãäà ¾çäðàâûé ñìûñë¿ è ¾èíòóèöèÿ¿ ïîäñêàçûâàþò íàì ñîâñåì íå òî, ÷òî íàì ïûòàþòñÿ ðàññêàçàòü ðåàëüíûå äàííûå. Ýòà ëåêöèÿ íå íàó÷èò âàñ ìåòîäàì ñòàòèñòèêè äëÿ ýòîãî íåîáõîäèìû êàê ìèíèìóì ïîëíîöåííûé êóðñ àíàëèçà äàííûõ. Ýòà ëåêöèÿ äîëæíà íàó÷èòü âàñ îñòîðîæíîñòè. Ïàðàäîêñ Ñèìïñîíà Ðàññìîòðèì ïðèìåð, îïèñàííûé èçâåñòíûì ïîïóëÿðèçàòîðîì ìàòåìàòèêè Ìàðòèíîì Ãàðäíåðîì. Ïóñòü ìû èìååì ÷åòûðå íàáîðà êàìíåé. Âåðîÿòíîñòü âûòàùèòü ÷åðíûé êàìåíü èç íàáîðà 1 âûøå, ÷åì èç íàáîðà 2.  ñâîþ î÷åðåäü, âåðîÿòíîñòü âûòàùèòü ÷åðíûé êàìåíü èç íàáîðà 3 áîëüøå, ÷åì èç íàáîðà 4. Ýòî çíà÷èò, ÷òî â íàáîðå 1 ÷àùå 1 ÂØÝ, 2011-12, ¾Àëãåáðà è àíàëèç¿, È. À. Õîâàíñêàÿ, È. Â. Ùóðîâ, Þ. Ã. Êóäðÿøîâ, Ê. È. Ñîíèí (ÐÝØ) âñòðå÷àþòñÿ ÷åðíûå êàìíè, ÷åì â íàáîðå 2, à â íàáîðå 3 ÷àùå, ÷åì â íàáîðå 4. Îáúåäèíèì íàáîð 1 ñ íàáîðîì 3 (ïîëó÷èì íàáîð I ), à íàáîð 2 ñ íàáîðîì 4 (íàáîð II ). Ñîâåðøåííî î÷åâèäíî, ÷òî âåðîÿòíîñòü âûòàùèòü ÷åðíûé êàìåíü èç íàáîðà I áîëüøå, ÷åì èç íàáîðà II, âåäü â íàáîð I ïîïàëè òå íàáîðû, ãäå ÷åðíûå êàìíè áûëè ¾ãóùå¿! Îäíàêî, â îáùåì ñëó÷àå òàêîå óòâåðæäåíèå íåâåðíî, è ìû ñåé÷àñ ïðèâåäåì ïðèìåð ðàñïîëîæåíèÿ ÷åðíûõ è áåëûõ êàìíåé â íàáîðàõ, êîãäà ýòî ñîâñåðøåííî ¾î÷åâèäíîå¿ óñëîâèå íå âûïîëíèòñÿ. Ïóñòü â íàáîðå 1 6 ÷åðíûõ è 7 áåëûõ êàìíåé, â íàáîðå 4 4 ÷åðíûõ è 5 áåëûõ êàìíåé, â íàáîðå 3 6 ÷åðíûõ êàìíåé è 3 áåëûõ, â íàáîðå 4 9 ÷åðíûõ êàìíåé è 5 áåëûõ. Òîãäà â íàáîðå 1 ÷åðíûå êàìíè ¾ãóùå¿, âåðîÿòíîñòü âûòàùèòü ÷åðíûé êàìåíü èç ïåðâîãî íàáîðà âûøå. Äåéñòâèòåëüíî, â íàáîðå 1 âñåãî 13 êàìíåé, èç íèõ 6 ÷åðíûõ, çíà÷èò, âåðîÿòíîñòü âûíóòü ÷åðíûé êàìåíü ñîñòàâëÿåò 6/13.  íàáîðå 2 âñåãî 9 êàìíåé, èç íèõ 4 ÷åðíûõ, çíà÷èò, âåðîÿòíîñòü âûíóòü ÷åðíûé êàìåíü ñîñòàâëÿåò 4/9. Ìû âèäèì, ÷òî 6/13 > 4/9, çíà÷èò, âåðîÿòíîñòü âûíóòü ÷åðíûé êàìåíü èç íàáîðà 1 âûøå. Ñðàâíèì òåïåðü íàáîðû 3 è 4.  íàáîðå 3 6 ÷åðíûõ êàìíåé, à âñåãî êàìíåé 9, çíà÷èò âåðîÿòíîñòü âûáðàòü ÷åðíûé êàìåíü ñîñòàâëÿåò 6/9. Äëÿ íàáîðà 4 ýòà âåðîÿòíîñòü ðàâíà 9/14. Ìû âèäèì, ÷òî 6/9 > 9/14. Èòàê, íàáîðû 1, 2, 3 è 4 óäîâëåòâîðÿþò òåì òðåáîâàíèÿì, êîòîðûå ìû ïðåäúÿâèëè â ïîñòàíîâêå çàäà÷è. Òåïåðü ñìåøàåì íàáîðû 1 è 3 (ò. å. òå, ãäå ÷åðíûå êàìíè ëåæàò ¾ãóùå¿) è íàáîðû 2 è 4, ò. å. ¾ìåíåå ÷åðíûå¿ íàáîðû. Êàêîâî æå ñîîòíîøåíèå ÷åðíûõ è áåëûõ øàðîâ â íàáîðå II - ñìåñè ¾áîëåå ÷åðíûõ¿ íàáîðîâ 1 è 3? Òàì áóäåò 12 ÷åðíûõ è 10 áåëûõ êàìíåé, ò. å. âåðîÿòîíñòü âûíóòü ÷åðíûé êàìåíü ðàâíà 14/22. Âî íàáîðå II, ñîáðàííîì èç ¾ìåíåå ÷åðíûõ¿ íàáîðîâ 2 è 4 áóäåò 13 ÷åðíûõ è 10 áåëûõ øàðîâ, ò. å. âåðîÿòíîñòü âûíóòü ÷åðíûé øàð ñîñòàâèò 13/23. Èòàê, íàáîð II, ñîáðàíûé èç ¾ìåíåå ÷åðíûõ¿ íàáîðîâ 2 è 4 çàãàäî÷íûì îáðàçîì îêàçàëñÿ áîëåå ÷åðíûì! Åñëè ðàçîáðàíûé âûøå ïðèìåð âûãëÿäèò íåñêîëüêî çàãàäî÷íî, òî âòîðîé ïðèìåð ñäåëàåò ïàðàêîñ Ñèìïñîíà ïðîñòûì è ïîíÿòíûì. Ðàññìîòðèì îïÿòü 4 íàáîðà ÷åðíûõ è áåëûõ øàðîâ. Òîëüêî òåïåðü ñîîòíîøåíèå ÷åðíûõ è áåëûõ øàðîâ íàáîðàõ áóäåò òàêèì (ñì. òàáë. 1). Ìû âèäèì, ÷òî ñíîâà âûïîëíåíû âñå òðåáîâàíèÿ óñëîâèÿ çàäà÷è: íàáîð 1 ¾áîëåå ÷åðíûé¿, ÷åì íàáîð 2, íàáîð 3 ¾áîëåå ÷åðíûé¿, ÷åì íàáîð 4. Îäíàêî, íàáîð 4 âñå æå áîëåå ÷åðíûé è ÷åì íàáîð 2, è ÷åì íàáîð 1, è îí êóäà áîëüøå, ÷åì îáà ýòè íàáîðà. Ò. å. èìåííî ñîñòàâ íàáîðà 4 áóäåò ðåøàþùèì â ñìåñè íàáîðîâ 2 è 4. Èòàê, ìû âèäèì, ÷òî íàáîð I òåïåðü ñîñòîèò èç 25 ÷åðíûõ è 11 áåëûõ øàðîâ, âåðîÿòíîñòü âûíóòü ÷åðíûé øàð îòòóäà ñîñòàâëÿåò 25/36 = 0, 69444. Íàáîð II ñîñòîèò èç 4010 ÷åðíûõ è 1010 ÂØÝ, 2011-12, ¾Àëãåáðà è àíàëèç¿ ÂØÝ, 2011-12, ¾Àëãåáðà è àíàëèç¿, È. À. Õîâàíñêàÿ, È. Â. Ùóðîâ, Þ. Ã. Êóäðÿøîâ, Ê. È. Ñîíèí (ÐÝØ) ÷¼ðíûå øàðû áåëûå øàðû íàáîð 1 20 10 íàáîð 2 10 10 íàáîð 3 5 1 íàáîð 4 4000 1000 Òàáëèöà 1: Ðàñïðåäåëåíèå ÷¼ðíûõ è áåëûõ øàðîâ áåëûõ øàðîâ, è îí ãîðàçäî ¾áîëåå ÷åðíûé¿ âåðîÿòíîñòü âûíóòü èç ýòîãî íàáîðà ÷åðíûé øàð ñîñòàâëÿåò 4010/5020 = 0, 7988. Ôåíîìåí Óèëëà Ðîäæåðñà Ôåíîìåí Óèëëà Ðîäæåðñà áëèçîê ê ïàðàäîêñó Ñèìïñîíà, ôàêòè÷åñêè, â íåì îïèñûâàåòñÿ òîò æå ýôôåêò, òîëüêî â äðóãèõ òåìèíàõ. Íàçâàíèå ýòîãî ïàðàäîêñà îñíîâûâàåòñÿ íà ñëåäóþùåé öèòàòå, ïðèïèñûâàåìîé êîìåäèàíòó Óèëëó Ðîäæåðñó: ¾Êîãäà îêè ïîêèíóëè Îêëàõîìó è ïåðååõàëè â Êàëèôîðíèþ, îíè ïîâûñèëè ñðåäíèé èíòåëëåêò îáîèõ øòàòîâ¿ (îêè ïðåçðèòåëüíîå èëè ïðîñòîðå÷íîå íàçâàíèå æèòåëåé Îêëàõîìû). Èòàê, âîïðîñ. Ïóñòü åñòü äâà ìíîæåñòâà ÷èñåë À è Â, íàïðèìåð, íàáîðû IQ äâóõ êëàññîâ. Ìîæåò ëè òàêîå áûòü, ÷òî ïðè ïåðåìåùåíèè êàêèõ-òî ÷èñåë èç ìíîæåñòâà À â ìíîæåñòâî  ñðåäíåå çíà÷åíèå îáîèõ ýòèõ ìíîæåñòâ ïîâûñèòñÿ? Çàäóìàåìñÿ: äëÿ òîãî, ÷òîáû ïîñëå ïåðåìåùåíèÿ êîãî-òî èç À â  ñðåäíåå çíà÷åíèå À ïîâûñèëîñü, ìíîæåñòâó À íóæíî ¾èçáàâèòüñÿ¿ îò êàêîãî-íèáóäü ìàëåíüêîãî ÷èñëà, êëàññó À èçáàâèòüñÿ îò ïëîõèõ ó÷åíèêîâ. Ìîæåò ëè ïðè ýòîì ïîâûñèòüñÿ ñðåäíèé óðîâåíü êëàññà  ? Î÷åâèäíûé îòâåò íåò, íå ìîæåò ñíîâà íåâåðåí. Äåéñòâèòåëüíî, ðàññìîòðèì òàêèå ìíîæåñòâà: A = {10, 20, 30, 40, 50} è B = {1, 2, 3, 4, 5} Ñðåäíåå çíà÷åíèå ìíîæåñòâà À ñîñòàâëÿåò 10 + 20 + 30 + 40 + 50 = 30 5 ßñíî, ÷òî åñëè ìû âûêèíåì èç ìíîæåñòâà À ñàìîå ìàëåíüêîå ÷èñëî 10, òî ñðåäíåå ñòàíåò áîëüøå. Äåéñòâèòåëüíî, áåç 10 îíî ñîñòàâèò 20 + 30 + 40 + 50 = 35 4 Îäíàêî, äëÿ ìíîæåñòâà  ÷èñëî 10 íå ìàëåíüêîå, à íàîáîðîò áîëüøîå. Åñëè áåç íåãî ÂØÝ, 2011-12, ¾Àëãåáðà è àíàëèç¿ ÂØÝ, 2011-12, ¾Àëãåáðà è àíàëèç¿, È. À. Õîâàíñêàÿ, È. Â. Ùóðîâ, Þ. Ã. Êóäðÿøîâ, Ê. È. Ñîíèí (ÐÝØ) ñðåäíåå â ìíîæåñòâå  ñîñòàâëÿëî (1 + 2 + 3 + 4 + 5) /5 = 3, òî òåïåðü ñðåäíåå áóäåò áîëüøå: 1 + 2 + 3 + 4 + 5 + 10 1 =4 6 6 Èòàê, ïîâûøåíèå ñðåäíåãî â îáîèõ ìíîæåñòâàõ âîçìîæíî, è øóòêà Óèëëà Ðîäæåðñà (çà êîòîðóþ ìû íèêàê íå îòâå÷àåì) îçíà÷àåò, ÷òî æèòåëè øòàòà Êàëèôîðíèÿ ãëóïåå ñàìûõ ãëóïûõ îêè. Ïàðàäîêñ Áåðêñîíà Ïàðàäîêñ Áåðêñîíà èëè îøèáêà Áåðêñîíà ñîñòîèò â íåâåðíîì çàêëþ÷åíèè î çàâèñèìîñòè ñîáûòèé À è Â, åñëè ìû íàáëþäàåì òîëüêî òå èñõîäû, äëÿ êîòîðûõ âûïîëíÿåòñÿ õîòÿ áû îäíî èç ñîáûòèé À èëè Â. Ïóñòü â ãîðîäå À æèâåò 100 äåâóøåê, èç íèõ 10 êðàñàâèö è 10 óìíèö, ïðè÷åì ñîáûòèÿ ¾ñëó÷àéíî âûáðàííàÿ äåâóøêà óìíèöà¿ è ¾ñëó÷àéíî âûáðàííàÿ äåâóøêà êðàñàâèöà¿ íåçàâèñèìû, ò. å. ðîâíî îäíà äåâóøêà è óìíèöà, è êðàñàâèöà. Äåéñòâèòåëüíî, åñëè ñðåëè âñåõ äåâóøåê 1/10 ÷àñòü ñîñòàâëÿþò óìíèöû, òî äëÿ òîãî, ÷òîáû ýòè ñîáûòèÿ áûëè íåçàâèñèìû, ñðåäè êðàñàâèö òîæå äîëæíà áûòü 1/10 óìíèö, ò. å. óìíèöêðàñàâèö áóäåò (1/10) × 10 = 1. Ïîñìîòðèì òåïåðü íà ýòó æå ñèòóàöèþ ñ òî÷êè çðåíèÿ æèòåëÿ ñîñåäíåãî ãîðîäà, êîòîðîìó ðàññêàçûâàþò òîëüêî îá èíòåðåñóþùèõ åãî äåâóøêàõ: óìíèöàõ èëè êðàñàâèöàõ. Îí çíàåò î 19 äåâóøêàõ èç ýòîãî ãîðîäà: 10 óìíèö, 10 êðàñàâèö, íî åäèíñòâåííàÿ óìíèöà êðàñàâèöà ïîñ÷èòàíà è â òîì è â äðóãîì äåñÿòêå. Èòàê, ñ òî÷êè çðåíèÿ ýòîãî íàáëþäàòåëÿ, âåðîÿòíîñòü òîãî, ÷òî äåâóøêà óìíèöà ñîñòàâëÿåò 10/19, âåðîÿòíîñòü æå, ÷òî äåâóøêà óìíèöà, ïðè óñëîâèè, ÷òî îíà êðàñàâèöà, ñîñòàâëÿåò âñå òó æå 1/10. Èòàê, íà âçãëÿä ýòîãî íàáëþäàòåëÿ, ñîáûòèÿ çàâèñèìû, ó íèõ åñòü îáðàòíàÿ ñâÿçü ñðåäè êðàñàâèö ðåæå âñòðå÷àþòñÿ óìíèöû, äóìàåò îí, ÷åì ñðåäè âñåõ äåâóøåê. Òîò æå ýôôåêò íàáëþäàþò âðà÷è, áèîëîãè, ìíîãèå ñïåöèàëèñòû, êîòîðûå âïîëíå âñåðüåç íàèìàþòñÿ äàííûìè. Âðà÷ ñðàâíèâàåò ÷àñòîòó òåõ èëè èíûõ çàáîëåâàíèé ñðåäè òåõ, êòî ê íåìó îáðàùàåòñÿ, ò. å. ñðåäè òåõ, êòî ÷åì-òî áîëåí. Ïîäóìàéòå ñàìè â êàêèõ ñèòóàöèÿõ âû ñòàëêèâàëèñü ñ òåì, ÷òî äåëàþòñÿ ñëèøêîì ïîñïåøíûå âûâîäû î ïîäîáíîé çàâèñèìîñòè. ÂØÝ, 2011-12, ¾Àëãåáðà è àíàëèç¿