Ìîñêîâñêèé ôèçèêî-òåõíè÷åñêèé èíñòèòóò (ÃÓ) Ôàêóëüòåò èííîâàöèé è âûñîêèõ òåõíîëîãèé Ìåòîäû îïòèìèçàöèè, âåñíà 2014 Ñåìèíàð 4, ãðàäèåíòíûå ìåòîäû è ìåòîä Íüþòîíà Ïóñòü f : Rn → R íåïðåðûâíî äèôôåðåíöèðóåìàÿ ôóíêöèÿ. Íàïðàâëåíèå d â òî÷êå x íàçûâàåòñÿ íàïðàâëåíèåì óáûâàíèÿ (ðîñòà), åñëè f (x + αd) − f (x) < 0 (f (x + αd) − f (x) > 0) ïðè âñåõ äîñòàòî÷íî ìàëûõ α. Äîêàæèòå, ÷òî åñëè hf 0(x), di > 0, òî d ÿâëÿåòñÿ íàïðàâëåíèåì óáûâàíèÿ, à åñëè hf 0 (x), di < 0, òî d ÿâëÿåòñÿ íàïðàâëåíèåì ðîñòà. Ïðèâåäèòå ïðèìåðû, êîãäà hf 0 (x), di = 0, à d ÿâëÿåòñÿ íàïðàâëåíèåì óáûâàíèÿ, íàïðàâëåíèåì ðîñòà, èëè íè òåì, íè äðóãèì. Ìåòîäîì ñïóñêà íàçûâàåòñÿ ëþáîé èòåðàòèâíûé ìåòîä ðåøåíèÿ çàäà÷è áåçóñëîâíîé ìèíèìèçàöèè f (x) → min, ïðè êîòîðîì xk+1 âûáèðàåòñÿ ïî ïðàâèëó xk+1 = xk + αk dk , ãäå dk åñòü íàïðàâëåíèå óáûâàíèÿ â òî÷êå xk , à αk > 0. Âåëè÷èíà αk ìîæåò âûáèðàòüñÿ ïî ðàçëè÷íûì ïðàâèëàì: a) Ïðàâèëî îäíîìåðíîé ìèíèìèçàöèè. ×èñëî αk åñòü òî÷êà ìèíèìóìà ôóíêöèè g(α) = f (xk + αdk ). b) Âåëè÷èíà αk åñòü íåêîòîðàÿ ïîñòîÿííàÿ, ëèáî çàðàíåå çàäàííàÿ ïîñëåäîâàòåëüíîñòü. c) Ïðàâèëî Àðìèõî. Çàäàíû ÷èñëà α̂ > 0 è θ, ε ∈ (0, 1). Âåëè÷èíà α âûáèðàåòñÿ èòåðàòèâíî: èçíà÷àëüíî α = α̂, çàòåì íà êàæäîì øàãå ïðîâåðÿåòñÿ âûïîëíåíèå f (xk − αdk ) < f (xk ) − εαhf 0 (xk ), dk i.  ñëó÷àå âûïîëíåíèÿ ïðîöåäóðà îñòàíàâëèâàåòñÿ, è αk = α, èíà÷å ïîëàãàåì α := θα, è ïðîöåäóðà ïðîäîëæàåòñÿ. d) Ïðàâèëî Ãîëäñòåéíà. Çàäàíû íåêîòîðûå ÷èñëà ε1, ε2 ∈ (0, 1), ε1 < ε2. ×èñëî αk äîëæíî óäîâëåòâîðÿòü óñëîâèþ 1. ε1 < f (xk − αk dk ) − f (xk ) < ε2 . αk hf 0 (xk ), dk i Äîêàæèòå, ÷òî ïðîöåäóðà âûáîðà αk ïî ïðàâèëó Àðìèõî îáÿçàòåëüíî çàâåðøàåòñÿ. Ïðåäëîæèòå ïðîöåäóðó âûáîðà αk ïî ïðàâèëó Ãîëäñòåéíà. Ãðàäèåíòíûì ìåòîäîì íàçûâàåòñÿ ëþáîé ìåòîä ñïóñêà, â êîòîðîì gk ÿâëÿåòñÿ àíòèãðàäèåíòîì, ò.å. xk+1 = xk − αk f 0(xk ). Åñëè ïðè ýòîì αk âûáèðàåòñÿ ïî ïðàâèëó îäíîìåðíîé ìèíèìèçàöèè, òî ìåòîä íàçûâàåòñÿ ìåòîäîì ñêîðåéøåãî ñïóñêà. Îïèøèòå ìåòîä ñêîðåéøåãî ñïóñêà äëÿ êâàäðàòè÷íîé ôóíêöèè f (x) = 21 hAx, xi − hb, xi. À èìåííî, íàïèøèòå ôîðìóëó, âûðàæàþùóþ αk ÷åðåç xk . Ïóñòü ôóíêöèÿ f : R2 → R îïðåäåëÿåòñÿ ôîðìóëîé f (z) = f (x, y) = 2x2 +xy +3y2. Ñäåëàéòå 1 øàã ãðàäèåíòíîãî ìåòîäà ðåøåíèÿ çàäà÷è f (z) → min èç íà÷àëüíîé òî÷êè z0 = (1, −1) ñ âûáîðîì øàãà ïî ïðàâèëó Àðìèõî ñ ïàðàìåòðàìè α̂ = 1, ε = θ = 12 . Ïóñòü â ïðîñòðàíñòâå Rn çàäàíû òî÷êè x1, . . . , xm. Ðàññìîòðèì çàäà÷ó íàõîæäåíèÿ òî÷êè, ñóììà ðàññòîÿíèé îò êîòîðîé äî âñåõ xj ìèíèìàëüíà. Ñôîðìóëèðóéòå ýòó çàäà÷ó êàê çàäà÷ó áåçóñëîâíîé ìèíèìèçàöèè è îïèøèòå ìåòîä ñêîðåéøåãî ñïóñêà è äðóãèå âàðèàíòû ãðàäèåíòíîãî ìåòîäà äëÿ íå¼. 2. 3. 4. 5. 6. ðåøåíèÿ óðàâíåíèÿ f (x) = 0 íà ïðÿìîé íàçûâàþò èòåðàòèâíûé ìåòîä, â êîòîðîì òî÷êà xk+1 âûáèðàåòñÿ êàê òî÷êà ïåðåñå÷åíèÿ êàñàòåëüíîé ê ãðàôèêó â òî÷êå xk è îñè àáñöèññ. Äîêàæèòå, ÷òî óêàçàííàÿ òî÷êà îïðåäåëÿåòñÿ óñëîâèåì xk+1 = xk −(f 0(xk ))−1f (xk ). Ïðèâåäèòå ïðèìåð, êîãäà ìåòîä Íüþòîíà íà ïðÿìîé çàöèêëèâàåòñÿ. Äîêàæèòå, ÷òî â ñëåäóþùåì ïðèìåðå ìåòîä Íüþòîíà íà ïðÿìîé ðàñõîäèòñÿ, åñëè x0 = δ . ( − 4δ1 x4 + 12 1 + 3δ x2 , |x| 6 δ; (1) f (x) = x + 2|x| − 3 δ, |x| > δ. Ìåòîäîì Íüþòîíà 7. 8. 9. 3 2 2 4 Ìåòîä Íüþòîíà ìîæíî îáîáùèòü íà ìíîãîìåðíûå ôóíêöèè è ïðèìåíèòü ê çàäà÷àì îïòèìèçàöèè äëÿ ïîèñêà ñòàöèîíàðíîé òî÷êè, â êîòîðîé f 0(x) = 0. Òàêèì îáðàçîì, èòåðàöèÿ ìåòîäà Íüþòîíà çàäà¼òñÿ ôîðìóëîé xk+1 = xk − (f 00(xk ))−1f 0(xk ). Ïîêàæèòå, ÷òî òàêàÿ æå ôîðìóëà ïîëó÷èòñÿ ïðè îïðåäåëåíèè xk+1 êàê òî÷êè ìèíèìóìà êâàäðàòè÷íîãî ïðèáëèæåíèÿ ê ôóíêöèè f (x) â òî÷êå xk . Ïóñòü ôóíêöèÿ f : R2 → R îïðåäåëÿåòñÿ ôîðìóëîé f (z) = f (x, y) = x2 + ey . Ñäåëàéòå 2 øàãà ìåòîäà Íüþòîíà ðåøåíèÿ çàäà÷è f (z) → min èç íà÷àëüíîé òî÷êè z0 = (1, 1). Ïðîàíàëèçèðóéòå ñêîðîñòü ñõîäèìîñòè. Äîêàæèòå, ÷òî â äàííîì ïðèìåðå ìåòîä Íüþòîíà ñõîäèòñÿ ãëîáàëüíî. 10. 11. 2