Îòáîð èíôîðìàòèâíûõ ïðèçíàêîâ â ìåòîäå îïîðíûõ âåêòîðîâ Òèêêà Àííà Àëåêñååâíà, ãð. 522 Ñàíêò-Ïåòåðáóðãñêèé ãîñóäàðñòâåííûé óíèâåðñèòåò Ìàòåìàòèêî-ìåõàíè÷åñêèé ôàêóëüòåò Êàôåäðà ñòàòèñòè÷åñêîãî ìîäåëèðîâàíèÿ Íàó÷íûé ðóêîâîäèòåëü: ê.ô.-ì.í., äîö. Êîðîáåéíèêîâ À.È. Ðåöåíçåíò: ê.ô.-ì.í., äîö. Àëåêñååâà Í.Ï. 2014ã. 1/16 Òèêêà Àííà Àëåêñååâíà Îòáîð èíôîðìàòèâíûõ ïðèçíàêîâ â SVM Ïîñòàíîâêà çàäà÷è êëàññèôèêàöèè ìíîæåñòâî íàáëþäåíèé Y = {−1, 1} áèíàðíàÿ êëàññèôèêàöèÿ (x1 , y1 ) , . . . , (xn , yn ) îáó÷àþùàÿ âûáîðêà, xi ∈ X, yi ∈ Y yi = g (xi ) , i = 1 . . . n, g : X → Y Çàäà÷à êëàññèôèêàöèè: àïïðîêñèìèðîâàòü çàâèñèìîñòü g íà âñåì ïðîñòðàíñòâå X X ⊂ Rd 2/16 Òèêêà Àííà Àëåêñååâíà Îòáîð èíôîðìàòèâíûõ ïðèçíàêîâ â SVM SVM. Ëèíåéíûé êëàññèôèêàòîð. Ìåòîä îïîðíûõ âåêòîðîâ (SVM) (Vapnik, 1995) Ðàçäåëÿþùàÿ ãèïåðïëîñêîñòü: f (x) = hw, xi + b = 0 sign(f (x)) Çàäà÷à îïòèìèçàöèè: y= 1 kwk2 → min w,b 2 yi (hw, xi i + b) ≥ 1, 3/16 i = 1...n Òèêêà Àííà Àëåêñååâíà Îòáîð èíôîðìàòèâíûõ ïðèçíàêîâ â SVM SVM. Íàðóøåíèå îãðàíè÷åíèé. ñòåïåíü íàðóøåíèÿ îãðàíè÷åíèé øòðàô çà íàðóøåíèå îãðàíè÷åíèé Çàäà÷à îïòèìèçàöèè: ξi ≥ 0 C n X 1 kwk2 + C ξi → min w,b,ξ 2 i=1 yi (hw, xi i + b) ≥1 + ξi ξi ≥ 0, 4/16 i = 1...n Òèêêà Àííà Àëåêñååâíà Îòáîð èíôîðìàòèâíûõ ïðèçíàêîâ â SVM Kernel trick. Ñïðÿìëÿþùåå ïðîñòðàíñòâî. Ñïðÿìëÿþùåå îòîáðàæåíèå: ϕ : X → H, H ãèëüáåðòîâî Ðåøåíèå èùåì â H, èñïîëüçóåòñÿ òîëüêî K(x, x0) K(x, x0 ) = hϕ(x), ϕ(x0 )iH ôóíêöèÿ ÿäðà Ïðèìåðû ÿäåð: ïîëèíîìèàëüíîå ÿäðî d K(x, x0 ) = (hx, x0 i + 1) , d ñòåïåíü ïîëèíîìà ðàäèàëüíàÿ áàçèñíàÿ ôóíêöèÿ 0 2 K(x, x0 ) = e−γ kx−x k , 5/16 Òèêêà Àííà Àëåêñååâíà γ>0 Îòáîð èíôîðìàòèâíûõ ïðèçíàêîâ â SVM Ïîäáîð ïàðàìåòðîâ. Ïðîáëåìà ïåðåîáó÷åíèÿ. Ïàðàìåòð C , ïàðàìåòðû ÿäðà Öåëü ïîäáîðà: óìåíüøèòü îøèáêó êëàññèôèêàöèè: n X [yi 6= f (xi )] i=1 à) Îïòèìàëüíîå ðàçäåëåíèå á) Íåäîîáó÷åíèå â) Ïåðåîáó÷åíèå Ðèñ.: Ïðèìåðû êëàññèôèêàòîðà äëÿ äâóõ ïðèçíàêîâ. 6/16 Òèêêà Àííà Àëåêñååâíà Îòáîð èíôîðìàòèâíûõ ïðèçíàêîâ â SVM Çàäà÷è Ïðèìåíèòü SVM ê ðåàëüíûì êàðäèîëîãè÷åñêèì äàííûì Ïðîáëåìà: Âîçíèêàåò ïåðåîáó÷åíèå: âñå íàáëþäåíèÿ ÿâëÿþòñÿ îïîðíûìè âåêòîðàìè, îøèáêà êëàññèôèêàöèè: 0 Ðàññìîòðåòü ðîáàñòûå ìîäèôèêàöèè ñòàíäàðòíîãî SVM Îòîáðàòü èíôîðìàòèâíûå ïðèçíàêè 7/16 Òèêêà Àííà Àëåêñååâíà Îòáîð èíôîðìàòèâíûõ ïðèçíàêîâ â SVM Îòáîð èíôîðìàòèâíûõ ïðèçíàêîâ Èñõîäíûå äàííûå ìîãóò ñîäåðæàòü íåèíôîðìàòèâíûå ïðèçíàêè, êîòîðûå óõóäøàþò òî÷íîñòü ïðåäñêàçàíèÿ èëè íå âëèÿþò íà ðåçóëüòàò êëàññèôèêàöèè Ýòî ìîæåò ïðèâåñòè ê óâåëè÷åíèþ îøèáêè êëàññèôèêàöèè, óâåëè÷åíèþ âðåìåíè âû÷èñëåíèé, ïåðåîáó÷åíèþ Ïîäõîäû ê ðåøåíèþ çàäà÷è 1. Ïîøàãîâûé ìåòîä Êðèòåðèé îòáîðà ïðîöåíò îøèáîê êëàññèôèêàöèè. 2. Îäíîâðåìåííûé îòáîð ïðèçíàêîâ SCAD SVM (Zhang, 2006), Elastic SCAD SVM (Becker, 2011) Êðèòåðèé îòáîðà âåñà ïðèçíàêîâ 8/16 Òèêêà Àííà Àëåêñååâíà Îòáîð èíôîðìàòèâíûõ ïðèçíàêîâ â SVM SVM êàê ìîäåëü ñî øòðàôîì Çàäà÷à SVM: n X 1 kwk2 + C ξi → min w,b,ξ 2 i=1 yi (hw, xi i + b) ≥1 + ξi ξi ≥ 0, i = 1...n f (x) = hw, xi + b p (w) = λ kwk2 øòðàôíàÿ ôóíêöèÿ Ýêâèâàëåíòíàÿ ôîðìóëèðîâêà: n 1X p (w) + [1 − yi f (xi )]+ → min w,b n i=1 9/16 Òèêêà Àííà Àëåêñååâíà Îòáîð èíôîðìàòèâíûõ ïðèçíàêîâ â SVM Øòðàôíûå ôóíêöèè p (w)L1 = λkwk1 |w| ≤ λ λ|w|, 2 (|w| −2aλ|w|+λ2 ) p (w)SCAD = − , λ < |w| ≤ aλ 2(a−1) 2 (a+1)λ , |w| > aλ 2 à) L1 10/16 á) L2 Òèêêà Àííà Àëåêñååâíà â) SCAD Îòáîð èíôîðìàòèâíûõ ïðèçíàêîâ â SVM Ñðàâíåíèå øòðàôíûõ ôóíêöèé L2 íå ìîæåò áûòü èñïîëüçîâàíà äëÿ îòáîðà ïðèçíàêîâ (Bradley, 1998) Øòðàôíàÿ ôóíêöèÿ ñ L1 íîðìîé ïîçâîëÿåò îòáèðàòü èíôîðìàòèâíûå ïðèçíàêè Ïðåèìóùåñòâà SCAD Ïðè ìàëûõ çíà÷åíèÿõ w ôóíêöèÿ SCAD ñîîòâåòñòâóåò L1 Ïðè áîëüøèõ çíà÷åíèÿõ w SCAD èñïîëüçóåò â êà÷åñòâå øòðàôà êîíñòàíòó, ÷òî ïîçâîëÿåò ïîëó÷èòü óñòîé÷èâîñòü ê âûäåëÿþùèìñÿ íàáëþäåíèÿì 11/16 Òèêêà Àííà Àëåêñååâíà Îòáîð èíôîðìàòèâíûõ ïðèçíàêîâ â SVM SCAD SVM. Elastic SCAD SVM. SCAD SVM q X n pλ (wj )SCAD + 1X [1 − yi (b + wxi )]+ → min w,b n i=1 j=1 Elastic SCAD SVM q X j=1 12/16 n 1X pλ1 (wj )SCAD +λ2 kwk1 + [1 − yi (b + wxi )]+ → min w,b n i=1 Òèêêà Àííà Àëåêñååâíà Îòáîð èíôîðìàòèâíûõ ïðèçíàêîâ â SVM Ïðèìåíåíèå ìåòîäîâ íà ìîäåëüíûõ äàííûõ à) á) à) 100 íàáëþäåíèé, 10 äîïîëíèòåëüíûõ ïðèçíàêîâ, îøèáêà êëàññèôèêàöèè: 0 á) 100 íàáëþäåíèé, 10 äîïîëíèòåëüíûõ ïðèçíàêîâ, îøèáêà êëàññèôèêàöèè SCAD SVM: 0.07, Elastic SCAD SVM: 0.06 Èíôîðìàòèâíûìè âûáðàíû èçíà÷àëüíûå ïðèçíàêè. 13/16 Òèêêà Àííà Àëåêñååâíà Îòáîð èíôîðìàòèâíûõ ïðèçíàêîâ â SVM Ïîñòïåðèêàðäèîòîìíûé ñèíäðîì (ÏÊÒÑ) 428 ïàöèåíòà, ïåðåíåñøèå îïåðàöèþ íà îòêðûòîì ñåðäöå 50 ïðèçíàêîâ îïèñûâàþò ñîñòîÿíèå ïàöèåíòîâ äî îïåðàöèè è âî âðåìÿ íåå Äâå ãðóïïû: 1.  ïîñëåîïåðàöèîííîì ïåðèîäå ðàçâèëñÿ ÏÊÒÑ 257 ÷åëîâåê 2. Íå âûÿâëåíî êëèíè÷åñêèõ ïðîÿâëåíèé ÏÊÒÑ 171 ÷åëîâåê Îòäåëüíî ðàññìàòðèâàþòñÿ: ïîäãðóïïà ìóæ÷èí, ïîäãðóïïà ìóæ÷èí ñ òèïîì îïåðàöèè êîðîíàðíîå øóíòèðîâàíèå 14/16 Òèêêà Àííà Àëåêñååâíà Îòáîð èíôîðìàòèâíûõ ïðèçíàêîâ â SVM Ðåçóëüòàòû. SCAD SVM. Ïîäãðóïïà ìóæ÷èí ñ òèïîì îïåðàöèè êîðîíàðíîå øóíòèðîâàíèå, îøèáêà êëàññèôèêàöèè: 0.27 Âðåìÿ ïåðåæàòèÿ àîðòû Ëåéêîöèòû íà 7 ñóòêè Äëèòåëüíîñòü Êîðîíîãðàôèÿ äðåíèðîâàíèÿ ðàíû Ýîçèíîôèëû Ãèïåðòîíè÷åñêàÿ áîëåçíü ÈÌÒ Ãèïåðãëèêåìèÿ ï/î Øóíòû Äëèòåëüíîñòü Ôðàêöèÿ âûáðîñà êàðäèîïëåãèè ÝÊÊ Òðàñèëîë Òåìïåðàòóðà Èíôåêöèîííûé ïðîöåññ â Âðåìÿ ðåïåðôóçèè ï/î ïåðèîäå 50 ïðèçíàêîâ → 16 ïðèçíàêîâ 15/16 Òèêêà Àííà Àëåêñååâíà Îòáîð èíôîðìàòèâíûõ ïðèçíàêîâ â SVM Ðåçóëüòàòû. Elastic SCAD SVM. Ïîäãðóïïà ìóæ÷èí ñ òèïîì îïåðàöèè êîðîíàðíîå øóíòèðîâàíèå, îøèáêà êëàññèôèêàöèè: 0.25 Âðåìÿ ïåðåæàòèÿ àîðòû Ëåéêîöèòû íà 7 ñóòêè Äëèòåëüíîñòü Êîðîíîãðàôèÿ äðåíèðîâàíèÿ ðàíû Ýîçèíîôèëû Ãèïåðòîíè÷åñêàÿ áîëåçíü ÈÌÒ Ãèïåðãëèêåìèÿ ï/î Øóíòû Äëèòåëüíîñòü Ôðàêöèÿ âûáðîñà êàðäèîïëåãèè ÝÊÊ Ëåéêîöèòû â 1 ñóòêè Òåìïåðàòóðà Âîçðàñò Âðåìÿ ðåïåðôóçèè ÑÎÝ 50 ïðèçíàêîâ → 17 ïðèçíàêîâ 16/16 Òèêêà Àííà Àëåêñååâíà Îòáîð èíôîðìàòèâíûõ ïðèçíàêîâ â SVM