Метод Ньютона

Сегодня: _________________ 2009 г.
Курс: Общий физический практикум
Склярова Елена Александровна
Сегодня: ________________ 2009 г.
Лекция № 14
Тема: Метод Ньютона (метод
касательных
Содержание лекции:
1.
2.
3.
4.
5.
6.
7.
8.
9.
Историческая справка.
Описание метода
Обоснование
Геометрическая интерпретация
Алгоритм
Пример
Метод одной касательной
Многомерный случай
Применительно к задачам о наименьших квадратах
Метод Ньютона – это …
Метод Ньютона (также известный как
метод касательных) — это итерационный
численный метод нахождения корня (нуля)
заданной функции.
Метод был впервые предложен
английским физиком, математиком и
астрономом Исааком Ньютоном
(1643—1727), под именем которого и обрёл
свою известность.
Ньютон – это …
Исаа́к Нью́тон — великий
английский физик, математик и
астроном.
Автор фундаментального труда
«Математические начала натуральной
философии» (лат. Philosophiae
Naturalis Principia Mathematica), в
котором он описал закон всемирного
тяготения и так называемые Законы
Ньютона, заложившие основы
классической механики.
Разработал дифференциальное и
интегральное исчисление, теорию
цветности и многие другие
математические и физические теории.
Дата рождения:4 января 1643
Место рождения:Вулсторп
(графство Линкольншир)
Дата смерти:31 марта 1727
Место смерти: Лондон, Англия
Научная сфера: физика,
математика, астрономия
Ньютон – это …
Оптика и теория света
Ньютону принадлежат
фундаментальные открытия в оптике.
Он построил первый зеркальный
телескоп (рефлектор), в котором, в
отличие от чисто линзовых телескопов,
отсутствовала хроматическая
аберрация.
Он также открыл дисперсию света,
показал, что белый свет
раскладывается на цвета радуги
вследствие различного преломления
лучей разных цветов при прохождении
через призму, и заложил основы
правильной теории цветов.
Метод Ньютона – это …
Поиск решения осуществляется путём
построения последовательных приближений
и основан на принципах простой итерации.
Метод обладает квадратичной
сходимостью. Улучшением метода является
метод хорд и касательных.
Также метод Ньютона может быть
использован для решения задач
оптимизации, в которых требуется
определить нуль первой производной либо
градиента в случае многомерного
пространства.
Связь стохастических процессов и дифференциальных уравнений
Создание математического аппарата
стохастических методов началось в конце 19-го века.
В 1899 году лорд Релей показал, что одномерное
случайное блуждание на бесконечной решётке может
давать приближенное решение параболического
дифференциального уравнения.
Колмогоров в 1931 году дал большой толчок
развитию стохастических подходов к решению
различных математических задач, поскольку он
сумел доказать, что цепи Маркова связаны с
некоторыми интегро-дифференциальными
уравнениями.
Метод Ньютона – это…
Чтобы численно решить уравнение
f ( x)  0
методом простой итерации, его необходимо
привести к следующей форме:
x  (x)
где  — сжимающее отображение.
Для наилучшей сходимости метода в точке
очередного приближения х* должно
выполняться условие
’(x*) = 0
Решение данного уравнения ищут в виде
тогда:
Метод Ньютона - это …
В предположении, что точка приближения
«достаточно близка» к корню , и что заданная
функция непрерывна
окончательная формула для (х) такова:
С учётом этого функция определяется
выражением:
Эта функция в окрестности корня осуществляет
сжимающее отображение, и алгоритм нахождения
численного решения уравнения
f(x) = 0 сводится к итерационной процедуре
вычисления:
Геометрическая интерпритация
Основная идея метода
заключается в следующем:
задаётся начальное приближение
вблизи предположительного
корня, после чего строится
касательная к исследуемой
функции в точке приближения, для
которой находится пересечение с
осью абсцисс.
Эта точка и берётся в качестве
следующего приближения. И так
далее, пока не будет достигнута
необходимая точность.
Иллюстрация метода Ньютона
(синим изображена функция f(x),
нуль которой необходимо найти,
красным — касательная в точке
очередного приближения xn).
Здесь мы можем увидеть,
что последующее приближение
xn+1 лучше предыдущего xn.
Геометрическая интерпритация
Пусть
определённая на отрезке [a, b] и
дифференцируемая на нём
действительнозначная функция.
Тогда формула итеративного
исчисления приближений может
быть выведена следующим
образом:
где α — угол наклона касательной
в точке xn.
Следовательно искомое
выражение для xn+1 имеет вид:
Алгоритм
1.
2.
Задаются начальным приближением x0.
Пока не выполнено условие остановки, в
качестве которого можно взять
или
(то есть погрешность в нужных
пределах), вычисляют новое
приближение:
Пример
Рассмотрим задачу о нахождении положительных x,
для которых cos x = x3.
Эта задача может быть представлена как задача
нахождения нуля функции f(x) = cos x − x3.
Имеем выражение для производной
f’(x) = − sin x − 3x2.
Так как cos x  1 для всех x и x3 > 1 для x > 1, очевидно,
что решение лежит между 0 и 1.
График последовательных приближений
График сходимости
Пример
Возьмём в качестве начального приближения
значение x0 = 0,5, тогда:
Подчёркиванием отмечены верные значащие цифры. Видно, что их
количество от шага к шагу растёт (приблизительно удваиваясь с каждым шагом): от
1 к 2, от 2 к 5, от 5 к 10, иллюстрируя квадратичную скорость сходимости.
Пример
Иллюстрация применения метода Ньютона к
функции f(x) = cosx − x3 с начальным приближением
в точке x0 = 0,5.
График последовательных приближений
График сходимости
Согласно способу практического
определения
скорость
сходимости может быть оценена как тангенс угла наклона графика
сходимости, то есть в данном случае равна двум.
Метод одной касательной
В 1950-х годах метод использовался для расчётов при
разработке водородной бомбы. Основные заслуги в развитии метода
в это время принадлежат сотрудникам лабораторий ВВС США и
корпорации RAND.
В 1970-х годах в новой области математики — теории
вычислительной сложности было показано, что существует класс
задач, сложность (количество вычислений, необходимых для
получения точного ответа) которых растёт с размерностью задачи
экспоненциально. Иногда можно, пожертвовав точностью, найти
алгоритм, сложность которого растёт медленнее, но есть большое
количество задач, для которого этого нельзя сделать (например,
задача определения объёма выпуклого тела в n-мерном евклидовом
пространстве) и метод Монте-Карло является единственной
возможностью для получения достаточно точного ответа за
приемлемое время.
В настоящее время основные усилия исследователей
направлены на создание эффективных Монте-Карло алгоритмов
различных физических, химических и социальных процессов для
параллельных вычислительных систем.
Метод одной касательной
В целях уменьшения числа обращений к
значениям производной функции применяют так
называемый метод одной касательной.
Формула итераций этого метода имеет вид
Суть метода заключается в том, чтобы
вычислять производную лишь один раз, в точке
начального приближения х0, а затем использовать
это значение на каждой последующей итерации:
Метод одной касательной
При таком выборе 0 в точке х0 выполнено
равенство
и если отрезок, на котором предполагается
наличие корня х* и выбрано начальное
приближение х0, достаточно мал, а производная
’(x) непрерывна, то значение ’(x*) будет не
сильно отличаться от ’(x) = 0 и, следовательно,
график y = ’(x) пройдёт почти горизонтально,
пересекая прямую y = x, что в свою очередь
обеспечит быструю сходимость
последовательности точек приближений к корню.
Многомерный случай
Обобщим полученный результат на
многомерный случай.
Пускай необходимо найти решение
системы:
Выбирая некоторое начальное значение
,
последовательные приближения
находят
путём решения систем уравнений:
где
Применительно к МНК
На практике часто встречаются задачи, в которых
требуется произвести настройку свободных
параметров объекта или подогнать математическую
модель под реальные данные. В этих случаях
появляются задачи о наименьших квадратах:
Лекция окончена
Нажмите клавишу <ESC> для выхода