Задача классификации. Статистический подход к обучению

реклама
Àííîòàöèÿ
Çàäà÷à êëàññèôèêàöèè
Ìåòîäû âîññòàíîâëåíèÿ
Çàäà÷à êëàññèôèêàöèè. Ñòàòèñòè÷åñêèé
ïîäõîä ê îáó÷åíèþ
Ì.Þ. Õà÷àé
mkhachay@imm.uran.ru
Èíñòèòóò ìàòåìàòèêè è ìåõàíèêè, Óðàëüñêîå îòäåëåíèå ÐÀÍ
Ñ.Êîâàëåâñêîé, 16, Åêàòåðèíáóðã, 620990, Ðîññèÿ
Øêîëà àíàëèçà äàííûõ
âåñåííèé ñåìåñòð 2013
Àííîòàöèÿ
Çàäà÷à êëàññèôèêàöèè
Ìåòîäû âîññòàíîâëåíèÿ
Àííîòàöèÿ
Ëåêöèÿ ïîñâÿùåíà îáçîðó îäíîãî èç êëàññè÷åñêèõ ïîäõîäîâ ê
ðåøåíèþ çàäà÷è êëàññèôèêàöèè (îáó÷åíèÿ ðàñïîçíàâàíèþ
îáðàçîâ), íàçûâàåìîãî ñòàòèñòè÷åñêèì.
Ïîäõîä îïèðàåòñÿ íà
ïîíÿòèå áàéåñîâñêîãî êëàññèôèêàòîðà
ðàçëè÷íûå ìåòîäû âîññòàíîâëåíèÿ (îöåíèâàíèÿ ïî âûáîðêå)
íåèçâåñòíûõ çàêîíîâ ðàñïðåäåëåíèÿ
Àííîòàöèÿ
Çàäà÷à êëàññèôèêàöèè
Ìåòîäû âîññòàíîâëåíèÿ
Ñîäåðæàíèå
1
2
Çàäà÷à êëàññèôèêàöèè
Ïîñòàíîâêà çàäà÷è
Áàéåñîâñêèé êëàññèôèêàòîð
Àëãîðèòì îáó÷åíèÿ, îñíîâàííûé íà ïðåäâàðèòåëüíîì
âîññòàíîâëåíèè çàêîíîâ ðàñïðåäåëåíèÿ
Ìåòîäû âîññòàíîâëåíèÿ çàêîíîâ ðàñïðåäåëåíèÿ
Àííîòàöèÿ
Çàäà÷à êëàññèôèêàöèè
Ìåòîäû âîññòàíîâëåíèÿ
Ñîäåðæàíèå
1
2
Çàäà÷à êëàññèôèêàöèè
Ïîñòàíîâêà çàäà÷è
Áàéåñîâñêèé êëàññèôèêàòîð
Àëãîðèòì îáó÷åíèÿ, îñíîâàííûé íà ïðåäâàðèòåëüíîì
âîññòàíîâëåíèè çàêîíîâ ðàñïðåäåëåíèÿ
Ìåòîäû âîññòàíîâëåíèÿ çàêîíîâ ðàñïðåäåëåíèÿ
Àííîòàöèÿ
Çàäà÷à êëàññèôèêàöèè
Ìåòîäû âîññòàíîâëåíèÿ
Çàäà÷à îáó÷åíèÿ ðàñïîçíàâàíèþ îáðàçîâ
(êëàññèôèêàöèè)
Çàäàíî ìíîæåñòâî D îáúåêòîâ, ïîäëåæàùèõ êëàññèôèêàöèè.
Èçâåñòíî, ÷òî D äîïóñêàåò ðàçáèåíèå íà k ïîäìíîæåñòâ
(êëàññîâ). Òðåáóåòñÿ âîññòàíîâèòü äàííîå íåèçâåñòíîå
ðàçáèåíèå D = D0 ∪ D1 ∪ . . . ∪ Dk−1 .
Çàäàíî íåîáÿçàòåëüíî âçàèìíî îäíîçíà÷íîå îòîáðàæåíèå
χ : D → X . Êëàññèôèêàöèÿ îáúåêòîâ d ∈ D äîëæíà áûòü
ïðîèçâåäåíà ïî ðåçóëüòàòàì íàáëþäåíèé xd = χ(d).
Çàäàíî ñåìåéñòâî ðåøàþùèõ ïðàâèë (êëàññèôèêàòîðîâ)
F = {f (·, α) : X → Y = {0, 1, . . . , k − 1} | α ∈ Λ},
â êîòîðîì òðåáóåòñÿ íàéòè êëàññèôèêàòîð íàèáîëåå òî÷íî
àïïðîêñèìèðóþùèé èñõîäíîå ðàçáèåíèå.
Àííîòàöèÿ
Ïîñòàíîâêà çàäà÷è
Çàäà÷à êëàññèôèêàöèè
Ìåòîäû âîññòàíîâëåíèÿ
Èçìåðèìàÿ ñòðóêòóðà
Çàäàäèìñÿ âåðîÿòíîñòíûì ïðîñòðàíñòâîì (X × Y, A, P):
èçìåðèìóþ ñòðóêòóðó îïðåäåëèì
A = AX × 2Y
äëÿ íåêîòîðîé σ-àëãåáðû AX ⊂ 2X
êàæäîìó y ∈ Y ñîïîñòàâèì ÷èñëî Py ∈ [0, 1] òàê, ÷òîáû
P
y∈Y Py = 1 è âåðîÿòíîñòíóþ ìåðó P(·|y) : AX → [0, 1]
òîãäà äëÿ êàæäîãî ñîáûòèÿ A ∈ A
Z
P(A) =
dP(x, y) =
(x,y)∈A
X
y∈Y
Z
1A (x, y) dP(x|y)
Py
X
(1)
Àííîòàöèÿ
Ïîñòàíîâêà çàäà÷è
Çàäà÷à êëàññèôèêàöèè
Ìåòîäû âîññòàíîâëåíèÿ
Ïðèìåðû
Íàïðèìåð
äèñêðåòíûé ñëó÷àé: X = {x1 , . . . , xN }, AX = 2X , ìåðà P(·|y)
çàäàåòñÿ ñîîòíîøåíèÿìè
P({xi }|y) = Πi (y), P(B|y) =
X
Πi (y)
xi ∈B
Òîãäà ñîîòíîøåíèå (1) ïðèìåò âèä
P(A) =
X
y∈Y
Py
X
xi ∈X
1A (xi , y)Πi (y)
Àííîòàöèÿ
Ïîñòàíîâêà çàäà÷è
Çàäà÷à êëàññèôèêàöèè
Ìåòîäû âîññòàíîâëåíèÿ
Ïðèìåðû (ctd)
"íåïðåðûâíûé" ñëó÷àé: X êîíòèíóàëüíîå ìíîæåñòâî, AX áîðåëåâñêàÿ σ-àëãåáðà, ìåðà P(·|y) çàäàåòñÿ ïëîòíîñòüþ ρy
Z
P(B|y) =
ρy (x) dx
B
 ýòîì ñëó÷àå (1) ïðèìåò âèä
P(A) =
X
y∈Y
Z
1A (x, y)ρy (x) dx
Py
X
Àííîòàöèÿ
Ïîñòàíîâêà çàäà÷è
Çàäà÷à êëàññèôèêàöèè
Ìåòîäû âîññòàíîâëåíèÿ
Äîïóñòèìûå êëàññèôèêàòîðû
Ðåøàþùèå ïðàâèëà (àëãîðèòìû êëàññèôèêàöèè, êëàññèôèêàòîðû)
F = {f (·, α) : X → Y = {0, 1, . . . , k − 1} | α ∈ Λ}
èçìåðèìû îòíîñèòåëüíî AX , ò.å., â ÷àñòíîñòè, äëÿ êàæäîãî y ∈ Y
Aα,y = {x : f (x, α) = y} ∈ AX è Āα,y = {x : f (x, α) 6= y} ∈ AX
Àííîòàöèÿ
Ïîñòàíîâêà çàäà÷è
Çàäà÷à êëàññèôèêàöèè
Ìåòîäû âîññòàíîâëåíèÿ
Êðèòåðèé îïòèìèçàöèè
Çàäàäèìñÿ ôóíêöèåé ïîòåðü Φ(x, y, α) : X × Y × Λ → R+ ,
øòðàôóþùåé íåâåðíóþ êëàññèôèêàöèþ îáúåêòà d ∈ D (êîòîðîìó
ñîîòâåòñòâóåò ïàðà (x, y)) ðåøàþùèì ïðàâèëîì f (·, α), è
îïðåäåëèì ôóíêöèîíàë ñðåäíåãî ðèñêà
Z
I(α|P) =
Φ(x, y, α) dP(x, y) =
X×Y
X
y∈Y
Z
Φ(x, y, α) dP(x|y)
Py
X
Çàäà÷à ðàñïîçíàâàíèÿ
Íàéòè òàêîé êëàññèôèêàòîð f (·, α∗ ), ÷òî
α∗ = arg min{I(α|P) : α ∈ Λ}
Àííîòàöèÿ
Ïîñòàíîâêà çàäà÷è
Çàäà÷à êëàññèôèêàöèè
Ìåòîäû âîññòàíîâëåíèÿ
Êðèòåðèé îïòèìèçàöèè
Çàäàäèìñÿ ôóíêöèåé ïîòåðü Φ(x, y, α) : X × Y × Λ → R+ ,
øòðàôóþùåé íåâåðíóþ êëàññèôèêàöèþ îáúåêòà d ∈ D (êîòîðîìó
ñîîòâåòñòâóåò ïàðà (x, y)) ðåøàþùèì ïðàâèëîì f (·, α), è
îïðåäåëèì ôóíêöèîíàë ñðåäíåãî ðèñêà
Z
I(α|P) =
Φ(x, y, α) dP(x, y) =
X×Y
X
y∈Y
Z
Φ(x, y, α) dP(x|y)
Py
X
Çàäà÷à ðàñïîçíàâàíèÿ
Íàéòè òàêîé êëàññèôèêàòîð f (·, α∗ ), ÷òî
α∗ = arg min{I(α|P) : α ∈ Λ}
Íà ïðîøëîé ëåêöèè ìû ïîêàçàëè, ÷òî çàäà÷à ð.î. ÿâëÿåòñÿ
÷àñòíûì ñëó÷àåì áîëåå îáùåé çàäà÷è ìèíèìèçàöèè ñðåäíåãî
ðèñêà
Àííîòàöèÿ
Ïîñòàíîâêà çàäà÷è
Çàäà÷à êëàññèôèêàöèè
Ìåòîäû âîññòàíîâëåíèÿ
Âèä ôóíêöèè ïîòåðü
Çàìåòèì, ÷òî ñòðóêòóðà ôóíêöèè Φ(x, y, α) ìîæåò áûòü î÷åíü
ñëîæíîé, íàïðèìåð, ó÷èòûâàòü
íåòðèâèàëüíóþ çàâèñèìîñòü îò α (òðóäîåìêîñòü, ôèíàíñîâûå
çàòðàòû, ñâÿçàííûå ñ èñïîëüçîâàíèåì ðàçëè÷íûõ
êëàññèôèêàòîðîâ)
çàâèñèìîñòü ïîòåðü îò íåâåðíîé êëàññèôèêàöèè îáúåêòîâ ñ
ðàçëè÷íûìè çíà÷åíèÿìè x
etc.
Âñþäó íèæå áóäåì èñïîëüçîâàòü ñëåäóþùèå âàðèàíòû
∆ : Y × Y → R+ , ∆(y, y) = 0:
Φ(x, y, α)|f (x,α)=ŷ ≡ ∆(y, ŷ) = ∆y,ŷ
∆ : Y → R+
Φ(x, y, α) =
∆(y) = ∆y ,
0,
åñëè f (x, α) 6= y,
â ïðîòèâíîì ñëó÷àå
Àííîòàöèÿ
Ïîñòàíîâêà çàäà÷è
Çàäà÷à êëàññèôèêàöèè
Ìåòîäû âîññòàíîâëåíèÿ
Âèä ôóíêöèè ïîòåðü
Çàìåòèì, ÷òî ñòðóêòóðà ôóíêöèè Φ(x, y, α) ìîæåò áûòü î÷åíü
ñëîæíîé, íàïðèìåð, ó÷èòûâàòü
íåòðèâèàëüíóþ çàâèñèìîñòü îò α (òðóäîåìêîñòü, ôèíàíñîâûå
çàòðàòû, ñâÿçàííûå ñ èñïîëüçîâàíèåì ðàçëè÷íûõ
êëàññèôèêàòîðîâ)
çàâèñèìîñòü ïîòåðü îò íåâåðíîé êëàññèôèêàöèè îáúåêòîâ ñ
ðàçëè÷íûìè çíà÷åíèÿìè x
etc.
Âñþäó íèæå áóäåì èñïîëüçîâàòü ñëåäóþùèå âàðèàíòû
∆ : Y × Y → R+ , ∆(y, y) = 0:
Φ(x, y, α)|f (x,α)=ŷ ≡ ∆(y, ŷ) = ∆y,ŷ
∆ : Y → R+
Φ(x, y, α) =
∆(y) = ∆y ,
0,
åñëè f (x, α) 6= y,
â ïðîòèâíîì ñëó÷àå
Àííîòàöèÿ
Ïîñòàíîâêà çàäà÷è
Çàäà÷à êëàññèôèêàöèè
Ìåòîäû âîññòàíîâëåíèÿ
Îêîí÷àòåëüíàÿ ôîðìóëèðîâêà
Ïî ïîñòðîåíèþ, äëÿ Aα,ŷ = {x ∈ X : f (x, α) = ŷ}
(ŷ1 6= ŷ2 ) ⇒ (Aα,ŷ ∩ Aα,ŷ = ∅) è ∪ŷ∈Y Aα,ŷ = X
1
2
 ïåðâîì ñëó÷àå
I(α|P) =
X
Z
X
y∈Y
=
X
y∈Y
Φ(x, y, α) dP(x|y)
Py
Py
X
Z
∆yŷ
dP(x|y) =
Aα,ŷ
ŷ∈Y
X
y∈Y
Py
X
∆yŷ P(Aα,ŷ |y)
ŷ∈Y
Âî âòîðîì I(α|P)
=
X
y∈Y
Z
Py ∆y
dP(x|y)
Āα,y
=
X
y∈Y
Py ∆y P(Āα,y |y)
Àííîòàöèÿ
Áàéåñîâñêèé êëàññèôèêàòîð
Çàäà÷à êëàññèôèêàöèè
Ìåòîäû âîññòàíîâëåíèÿ
Ïðåäïîñûëêè
Çàäà÷à ð.î.
min

X

min
Py
X
∆yŷ P(Aα,ŷ |y) : α ∈ Λ
y∈Y
ŷ∈Y

X


Py ∆y P(Āα,y |y) : α ∈ Λ


y∈Y


(2)

Óñëîâèÿ ïðèìåíèìîñòè
ìåðà P èçâåñòíà
ìíîæåñòâî F = {f (·, α) : α ∈ Λ} = [X → Y]
Ðåçóëüòàò
Ïðè äàííûõ óñëîâèÿõ îáå çàäà÷è ðàçðåøèìû, îïòèìàëüíîå
ðåøåíèå íàçûâàåòñÿ áàéåñîâñêèì êëàññèôèêàòîðîì
(3)
Àííîòàöèÿ
Áàéåñîâñêèé êëàññèôèêàòîð
Çàäà÷à êëàññèôèêàöèè
Ìåòîäû âîññòàíîâëåíèÿ
Ïðåäïîñûëêè
Çàäà÷à ð.î.
min

X

min
Py
X
∆yŷ P(Aα,ŷ |y) : α ∈ Λ
y∈Y
ŷ∈Y

X


Py ∆y P(Āα,y |y) : α ∈ Λ


y∈Y


(2)

Óñëîâèÿ ïðèìåíèìîñòè
ìåðà P èçâåñòíà
ìíîæåñòâî F = {f (·, α) : α ∈ Λ} = [X → Y]
Ðåçóëüòàò
Ïðè äàííûõ óñëîâèÿõ îáå çàäà÷è ðàçðåøèìû, îïòèìàëüíîå
ðåøåíèå íàçûâàåòñÿ áàéåñîâñêèì êëàññèôèêàòîðîì
(3)
Àííîòàöèÿ
Áàéåñîâñêèé êëàññèôèêàòîð
Çàäà÷à êëàññèôèêàöèè
Ìåòîäû âîññòàíîâëåíèÿ
Íåïðåðûâíûé ñëó÷àé
Òåîðåìà
Ïóñòü ìåðà P çàäàíà àïðèîðíûìè âåðîÿòíîñòÿìè êëàññîâ Py è
óñëîâíûìè ïëîòíîñòÿìè ρy (x). Ñïðàâåäëèâû ñëåäóþùèå
óòâåðæäåíèÿ.
1.  çàäà÷å (2) îïòèìóì äîñòèãàåòñÿ íà ôóíêöèè
X
∆yŷ Py ρy (x) : ŷ ∈ Y}
f (x, α∗ ) = arg min{
y∈Y
2.  çàäà÷å (3) íà ôóíêöèè
f (x, α∗ ) = arg max{∆ŷ Pŷ ρŷ (x) : ŷ ∈ Y}
Àííîòàöèÿ
Áàéåñîâñêèé êëàññèôèêàòîð
Çàäà÷à êëàññèôèêàöèè
Ìåòîäû âîññòàíîâëåíèÿ
Èäåÿ äîêàçàòåëüñòâà
I(α|P) =
X
Py
y∈Y
X
∆yŷ P(Aα,ŷ |y)
ŷ∈Y
=
X
y∈Y
=
Py
X
∆yŷ
ŷ∈Y
Z X
X
Z
1{x : f (x,α)=ŷ} (x)ρy (x) dx
X
1{x : f (x,α)=ŷ}
X
∆yŷ Py ρy (x) dx
y∈Y
ŷ∈Y
|
∀x
{z
îäíî ñëàã.
Z
>
1{x : f (x,α)=f (x,α∗ )}
X
}
6=0
X
y∈Y
∆y,f (x,α∗ ) Py ρy (x) dx
Àííîòàöèÿ
Áàéåñîâñêèé êëàññèôèêàòîð
Çàäà÷à êëàññèôèêàöèè
Ìåòîäû âîññòàíîâëåíèÿ
Èäåÿ äîêàçàòåëüñòâà (ctd)
I(α|P) =
X
Py ∆y P(Āα,y |y) =
y∈Y
X
Z
Py ∆y
y∈Y
=
X
y∈Y
Py ∆y
X Z
1{x : f (x,α)6=y} ρy (x) dx
X
1{x : f (x,α)=ŷ} ρy (x) dx
ŷ∈Y\{y} X
=
Z X
X
1{x : f (x,α)=ŷ}
ŷ∈Y
X
∆y Py ρy (x) dx
y∈Y\{ŷ}
|
∀x
{z
îäíî ñëàã.
6=0
}
Äëÿ êàæäîãî x ∈ X âî âíóòðåííåé ñóììå èñêëþ÷àåì ñëàãàåìîå ñ
íàèáîëüøèì çíà÷åíèåì ∆y Py ρy (x)
Àííîòàöèÿ
Áàéåñîâñêèé êëàññèôèêàòîð
Çàäà÷à êëàññèôèêàöèè
Ìåòîäû âîññòàíîâëåíèÿ
×àñòíûé ñëó÷àé. Ôîðìóëà Áàéåñà
Ïóñòü ∆y = const (á.î. ìîæíî ïîëàãàòü ∆y = 1)
Áàéåñîâñêèé êëàññèôèêàòîð ïðèìåò âèä
f (x, α∗ ) = arg max{Pŷ ρŷ (x) : ŷ ∈ Y}
Pŷ ρŷ (x)
= arg max{ P
: ŷ ∈ Y} = arg max{P(ŷ|x) : ŷ ∈ Y}
y∈Y ρy (x)
Ìàêñèìóì àïîñòåðèîðíîé âåðîÿòíîñòè
Ïðè ðàâíîçíà÷íûõ îøèáêàõ êëàññèôèêàöèè îïòèìàëüíûé ñ òî÷êè
çðåíèÿ ìèíèìèçàöèè ôóíêöèîíàëà ñðåäíåãî ðèñêà êëàññèôèêàòîð
îòíîñèò îáúåêò ê íàèáîëåå âåðîÿòíîìó êëàññó
Àííîòàöèÿ
Áàéåñîâñêèé êëàññèôèêàòîð
Çàäà÷à êëàññèôèêàöèè
Ìåòîäû âîññòàíîâëåíèÿ
×àñòíûé ñëó÷àé. Ôîðìóëà Áàéåñà
Ïóñòü ∆y = const (á.î. ìîæíî ïîëàãàòü ∆y = 1)
Áàéåñîâñêèé êëàññèôèêàòîð ïðèìåò âèä
f (x, α∗ ) = arg max{Pŷ ρŷ (x) : ŷ ∈ Y}
Pŷ ρŷ (x)
= arg max{ P
: ŷ ∈ Y} = arg max{P(ŷ|x) : ŷ ∈ Y}
y∈Y ρy (x)
Ìàêñèìóì àïîñòåðèîðíîé âåðîÿòíîñòè
Ïðè ðàâíîçíà÷íûõ îøèáêàõ êëàññèôèêàöèè îïòèìàëüíûé ñ òî÷êè
çðåíèÿ ìèíèìèçàöèè ôóíêöèîíàëà ñðåäíåãî ðèñêà êëàññèôèêàòîð
îòíîñèò îáúåêò ê íàèáîëåå âåðîÿòíîìó êëàññó
Àííîòàöèÿ
Áàéåñîâñêèé êëàññèôèêàòîð
Çàäà÷à êëàññèôèêàöèè
Ìåòîäû âîññòàíîâëåíèÿ
Ñëó÷àé äâóõ êëàññîâ
Ïóñòü k = 2 è Y = {0, 1}
Òîãäà
∗
f (x, α ) =
1,
0,
åñëè ∆1 P1 ρ1 (x) > ∆0 P0 ρ0 (x),
â ïðîòèâíîì ñëó÷àå
èëè, ëîãàðèôìèðóÿ,
ãäå
∆1 P1
,
f (x, α∗ ) = Θ ln ρ1 (x) − ln ρ0 (x) + ln
∆0 P0
Θ(t) =
1,
0,
åñëè t > 0,
â ïðîòèâíîì ñëó÷àå
Àííîòàöèÿ
Áàéåñîâñêèé êëàññèôèêàòîð
Çàäà÷à êëàññèôèêàöèè
Ìåòîäû âîññòàíîâëåíèÿ
Ïðèìåð. Äèàãíîñòèêà ãðèïïà ïî òåìïåðàòóðå òåëà
,
"çàáîëåâàíèå äèàãíîñòèðóåòñÿ"
X = R Y = {0, 1}
y=1
∆0 = ∆1 = 1
Ïî ñòàòèñòè÷åñêèì äàííûì, PP
Óñëîâíûå ïëîòíîñòè
ρ0 (x) = N (36.5, 0.252 )
1
0
=1
è ρ1 (x) = N (37.5, 0.252 )
Áàéåñîâñêèé êëàññèôèêàòîð
1
(x − 37.5)2
exp(−
)
2 · 0.252
2π · 0.25
1
(x − 36.5)2
P1
√
exp(−
)) + ln
− ln(
2 · 0.252
P0
2π · 0.25
1
1
= Θ( x − (37.52 − 36.52 )) = Θ(x − 37.0)
16
32
f (x, α∗ ) = Θ ln( √
Àííîòàöèÿ
Ìåòîä ïîäñòàíîâêè
Çàäà÷à êëàññèôèêàöèè
Ìåòîäû âîññòàíîâëåíèÿ
Âåðíåìñÿ ê ðåàëüíîñòè
Âñå ïðèâåäåííûå âûøå ðàññóæäåíèÿ èìåþò ñìûñë ïðè
óñëîâèè, ÷òî ìåðà P èçâåñòíà.
Îäíàêî â ðåàëüíûõ çàäà÷àõ ìåðà íå çàäàíà, ÷òî äåëàòü?
Àííîòàöèÿ
Ìåòîä ïîäñòàíîâêè
Çàäà÷à êëàññèôèêàöèè
Ìåòîäû âîññòàíîâëåíèÿ
Âåðíåìñÿ ê ðåàëüíîñòè
Âñå ïðèâåäåííûå âûøå ðàññóæäåíèÿ èìåþò ñìûñë ïðè
óñëîâèè, ÷òî ìåðà P èçâåñòíà.
Îäíàêî â ðåàëüíûõ çàäà÷àõ ìåðà íå çàäàíà, ÷òî äåëàòü?
Àëãîðèòì ïîäñòàíîâêè
Äàíî: Âåðîÿòíîñòíîå ïðîñòðàíñòâî (X × Y, A, P), ãäå X × Y
è A èçâåñòíû, P ∈ P; îáó÷àþùàÿ âûáîðêà
ζ = ((x1 , y1 ), . . . , (xl , yl )) è
F = {f (·, α) : α ∈ Λ} ⊂ [X → Y]
Ýòàï 1. Ïî âûáîðêå ζ îöåíèòü P̂y è P̂(x|y) (äëÿ êàæäîãî y ∈ Y )
Ýòàï 2. Ïîñòðîèòü áàéåñîâcêèé êëàññèôèêàòîð, ïîäñòàâèâ
âìåñòî P ìåðó P̂.
Àííîòàöèÿ
Ìåòîä ïîäñòàíîâêè
Çàäà÷à êëàññèôèêàöèè
Ìåòîäû âîññòàíîâëåíèÿ
Âåðíåìñÿ ê ðåàëüíîñòè
Âñå ïðèâåäåííûå âûøå ðàññóæäåíèÿ èìåþò ñìûñë ïðè
óñëîâèè, ÷òî ìåðà P èçâåñòíà.
Îäíàêî â ðåàëüíûõ çàäà÷àõ ìåðà íå çàäàíà, ÷òî äåëàòü?
Àëãîðèòì ïîäñòàíîâêè
Äàíî: Âåðîÿòíîñòíîå ïðîñòðàíñòâî (X × Y, A, P), ãäå X × Y
è A èçâåñòíû, P ∈ P; îáó÷àþùàÿ âûáîðêà
ζ = ((x1 , y1 ), . . . , (xl , yl )) è
F = {f (·, α) : α ∈ Λ} ⊂ [X → Y]
Ýòàï 1. Ïî âûáîðêå ζ îöåíèòü P̂y è P̂(x|y) (äëÿ êàæäîãî y ∈ Y )
Ýòàï 2. Ïîñòðîèòü áàéåñîâcêèé êëàññèôèêàòîð, ïîäñòàâèâ
âìåñòî P ìåðó P̂.
Çàìåòèì, ÷òî äàííûé ìåòîä âîâñå íå ÿâëÿåòñÿ åäèíñòâåííûì (è
íàèáîëåå ðàöèîíàëüíûì) ïîäõîäîì ê îáó÷åíèþ
Àííîòàöèÿ
Ìåòîä ïîäñòàíîâêè
Çàäà÷à êëàññèôèêàöèè
Ìåòîäû âîññòàíîâëåíèÿ
Îáùèå çàìå÷àíèÿ
Ïðè îöåíêå íåèçâåñòíûõ çàêîíîâ âûáîðêà ζ ðàçäåëÿåòñÿ íà
ïîäâûáîðêè:
1. Υ = (y1 , . . . , yl ) äëÿ îöåíêè äèñêðåòíîãî çàêîíà
ðàñïðåäåëåíèÿ P̂y (y ∈ Y)
2. ζy = (xi : yi = y) (y ∈ Y) äëÿ îöåíêè P̂(·|y)
Èç ïðåäûäóùèõ ïîñòðîåíèé ñëåäóåò, ÷òî çàäà÷à Ýòàïà 2
ìîæåò ñ÷èòàòüñÿ ðåøåííîé àíàëèòè÷åñêè
Òàêèì îáðàçîì, îáó÷åíèå ìåòîäîì ïîäñòàíîâêè ñâîäèòñÿ ê
ðåøåíèþ íåñêîëüêèõ çàäà÷ âîññòàíîâëåíèÿ íåèçâåñòíûõ
çàêîíîâ ðàñïðåäåëåíèÿ
Àííîòàöèÿ
Ìåòîä ïîäñòàíîâêè
Çàäà÷à êëàññèôèêàöèè
Ìåòîäû âîññòàíîâëåíèÿ
Âîññòàíîâëåíèå ìíîãîìåðíûõ çàêîíîâ
Ïóñòü X = F1 × . . . × Fn ò.å. x = (ϕ1 , . . . , ϕn ) ñëó÷àéíûé
êîðòåæ. Âîññòàíîâëåíèå P̂(x|y) â îáùåì ñëó÷àå ïðåäïîëàãàåò
îöåíêó ñîâìåñòíîãî óñëîâíîãî ðàñïðåäåëåíèÿ ñëó÷àéíûõ
âåëè÷èí ϕ1 , . . . , ϕn òðóäíîðåøàåìàÿ çàäà÷à.
Ïðîñòåéøèé ïîäõîä ê ðåøåíèþ ïðîáëåìû ïðåäïîëîæèòü
íåçàâèñèìîñòü êîîðäèíàò. Òîãäà, â íåïðåðûâíîì ñëó÷àå,
ρ̂y (x) =
n
Y
τ̂j,y (ϕj ),
j=1
ãäå τj,y (·) îöåíêà óñëîâíîé ïëîòíîñòè ðàñïðåäåëåíèÿ ϕj .
Ïîëó÷åííûé â ðåçóëüòàòå êëàññèôèêàòîð íàçûâàåòñÿ
íàèâíûì áàéåñîâñêèì êëàññèôèêàòîðîì
Àííîòàöèÿ
Çàäà÷à êëàññèôèêàöèè
Ìåòîäû âîññòàíîâëåíèÿ
Îáçîð
Ïàðàìåòðè÷åñêèå ìåòîäû: ìàêñèìèçàöèÿ ïðàâäîïîäîáèÿ, ñìåñè
ðàñïðåäåëåíèé, è äð.)
Íåïàðàìåòðè÷åñêèå ìåòîäû: Ïàðçåíà-Ðîçåíáëàòòà, ÿäåðíûå
îöåíêè, è ò.ï.
Áàéåñîâñêèé ïîäõîä
Скачать