Как составить матрицу гессе

Экстремумы функции трёх переменных

Плюс одно измерение. Рассмотрим функцию трёх переменных , внутреннюю точку её области определения и -окрестность данной точки, которая представляет собой шар с центром в точке радиуса .

Определение: если в некоторой -окрестности точки выполнено неравенство ( – точка -шара, отличная от ), то функция имеет минимум в точке ; если же – то максимум.

Вполне, кстати, понятное и не такое уж абстрактное определение.

Всё очень похоже. Если дифференцируемая функция имеет экстремум в точке , то обязательно выполняются условия . Но с другой стороны, если в какой-либо точке производные 1-го порядка равны нулю, то это ещё не значит, что там есть экстремум.

Алгоритм решения сохраняется прежним:

Найти экстремумы функции

Решение: переключаем передачу на частные производные функции трёх переменных:

Чтобы найти стационарные точки, составим и решим следующую систему:

Аккуратно расположим переменные в обычном порядке и, кроме того, разделим последнее уравнение на 2:

Систему можно решить методом Гаусса, нозачем такие сложности? Из 3-го уравнения выразим и подставим его в первые два уравнения:

Из 1-го уравнения выразим и подставим во 2-е уравнение:

Таким образом, – стационарная точка. Здесь, напоминаю, не помешает подставить найденное решение в каждое уравнение исходной системы и убедиться в выполнении условий .

Проверка достаточного условия экстремума осуществляется несколько по-другому. Сначала нужно найти все частные производные 2-го порядка, вычислить их в точке и составить так называемую матрицу Гессе:

Да не пугайтесь вы так =) Данная матрица является симметричной (или симметрической). Это значит, что её элементы симметричны относительно главной диагонали, на которой в данном случае расположены «однобуквенные» частные производные . Уловили закономерность?

Далее нужно вычислить угловые миноры. Это определители, которые «разрастаются» из левого верхнего угла:

1) Если , то функция достигает минимума в точке .

2) Если (так и только так!), то функция достигает максимума в точке .

3) Если получилось что-то другое и при этом , то – седловая точка. Здесь это уже во многом условное название.

4) Если , то признак не даёт ответа о характере точки .

Внимательные читатели заметили, что эту схему в варианте «два на два» мы использовали и в предыдущем параграфе – только оформление «детское» было. Но не будем отвлекаться.

В нашем примере все производные 2-го порядка равны константам:

а значит, они равны константам и в точке . Составим матрицу Гессе:

и вычислим её угловые миноры:

Вывод: функция достигает максимума в точке .

Для удобства вычислений скопирую функцию:

Аналогичное задание для закрепления материала:

Исследовать функцию на экстремум

Краткое решение и ответ рядом.

Рассмотренный алгоритм исследования распространяется и на функции бОльшего количества переменных. Я бы мог расписать его в общем виде, но заметная часть аудитории просто на дух не переносит общие формулы с нагромождением цифр и индексов. Поэтому разберём ещё случай функции 4 переменных, а дальше – будет понятно.

Чтобы исследовать на экстремум дифференцируемую функцию четырёх аргументов, нужно найти частные производные 1-го порядка и решить систему:

Предположим, что в результате решения найдена стационарная точка . Далее нужно найти частные производные 2-го порядка, вычислить их в точке и составить матрицу Гессе:

после чего вычислить её угловые миноры .

Если все миноры положительны, то в точке – минимум, если знакочередуются в следующем порядке: (и именно в таком!), то в точке – максимум. Если имеет место другой случай, но , то – седловая точка; если же , то признак не даёт ответа о характере точки .

Ну и для совсем продвинутых читателей сообщу, что это есть не что иное, как проверка квадратичной формы полного дифференциала 2-го порядка на знакоопределённостьметодом Сильвестра(для функций 2, 3, 4 и бОльшего количества переменных).

Удачных вам исследований!

На следующих уроках мы познакомимся с условными экстремумами, задачей нахождения минимального и максимального значений функции, а также известнейшим приложением темы – Методом наименьших квадратов.

Как наберётесь сил – приходите ещё! =)

Решения и ответы:

Пример 2: Решение: найдём стационарные точки:

– стационарная точка.
Проверим выполнение достаточного условия экстремума:
, в частности:

, значит, в точке нет экстремума.
Ответ: экстремумы отсутствуют

Пример 3: Решение: найдём стационарные точки:

Из 1-го уравнения выразим: – подставим во 2-е уравнение:

Матрица Гессе

Гессиан функции — симметрическая квадратичная форма описывающая поведение функции во втором порядке.

Для функции f дважды дифференцируемой в точке

^n \sum_^n a_ z_i \overline_j» width=»» height=»» />

где =\partial^2 f/\partial z_i \partial \overline_j» width=»» height=»» />) и f(p) задана на n -мерном вещественном пространстве ^n» width=»» height=»» />) с координатами (или ). В обоих случаях гессиан — квадратичная форма, заданная на касательном пространстве, не меняющаяся при линейных преобразованиях переменных.

Содержание

Матрица Гессе

Матрица этой квадратичной формы образована вторыми частными производными функции. Если все производные существуют, то

<\partial x>\left( \frac < \partial f > < \partial y>\right) = \frac <\partial> <\partial y>\left( \frac < \partial f > < \partial x>\right)» width=»» height=»» />

Это можно также записать как

то её вторые частные производные образуют не матрицу, а тензор ранга 3.

История

Понятие введено Гессе (1844) который использовал другое название. Термин «Гессиан» был введён Сильвестром.

См. также

Ссылки

• Кудрявцев Л.Д «Краткий курс математического анализа. Т.2. Дифференциальное и интегральное исчисления функций многих переменных. Гармонический анализ», ФИЗМАТЛИТ, 2002, — 424 с. — ISBN 5-9221-0185-4

Wikimedia Foundation . 2010 .

Полезное

Смотреть что такое «Матрица Гессе» в других словарях:

Гессе матрица — [Hessian mat­rix] матрица вторых частных производных функций нескольких переменных: Определитель этой матрицы называется гессианом. Характеристика матрицы Гессе (ее отрицательная или положительная определенность и полуопределенность) служит… … Экономико-математический словарь

Гессе матрица — Матрица вторых частных производных функций нескольких переменных: Определитель этой матрицы называется гессианом. Характеристика матрицы Гессе (ее отрицательная или положительная определенность и полуопределенность) служит условием для… … Справочник технического переводчика

Определитель Гессе — Гессиан функции симметрическая квадратичная форма описывающая поведение функции во втором порядке. Для функции f дважды дифференцируемой в точке или где (или … Википедия

Гессиан функции — Гессиан функции  симметрическая квадратичная форма[источник?], описывающая поведение функции во втором порядке. Для функции , дважды дифференцируемой в точке или где … Википедия

ОВРАЖНЫХ ФУНКЦИЙ МЕТОДЫ МИНИМИЗАЦИИ — численные методы отыскания минимумов функций многих переменных. Пусть задана ограниченная снизу дважды непрерывно дифференцируемая по своим аргументам функция для к рой известно, что при нек ром векторе ( знак транспонирования) она принимает… … Математическая энциклопедия

Седловая точка — функции z=x2 y2 (обозначена красным) … Википедия

Метод одной касательной — Метод Ньютона (также известный как метод касательных) это итерационный численный метод нахождения корня (нуля) заданной функции. Метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643 1727), под именем… … Википедия

Метод Ньютона — Метод Ньютона, алгоритм Ньютона (также известный как метод касательных)  это итерационный численный метод нахождения корня (нуля) заданной функции. Метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном… … Википедия

Метод Гаусса — Ньютона — Метод Ньютона (также известный как метод касательных) это итерационный численный метод нахождения корня (нуля) заданной функции. Метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643 1727), под именем… … Википедия

Метод Ньютона-Рафсона — Метод Ньютона (также известный как метод касательных) это итерационный численный метод нахождения корня (нуля) заданной функции. Метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643 1727), под именем… … Википедия

Вычисление матриц Якоби и Гессе

Пусть задана система функций от переменных. Матрицей Якоби или якобианом данной системы функций называется матрица, составленная из частных производных этих функций по всем переменным.

Если в некоторой точке очень сложно или невозможно вычислить частные производные, , то для вычисления матрицы Якоби применяются методы численного дифференцирования.

Вычисление матрицы Гессе

Матрицей Гессе функции переменных называется матрица, составленная из вторых производных функции по всем переменным

Если в некоторой точке очень сложно или невозможно вычислить частные производные, , то для вычисления матрицы Гессе применяются методы численного дифференцирования.

Методы вычисления матрицы Якоби

Прямое вычисление частных производных

Для вычисления матрицы Якоби в заданной необходимо найти частные производные всех функций системы по всем переменным. Для вычисления производной применяются методы вычисления первой производной.

Формула для элемента якобиана при использовании правой разностной производной:

Формула для элемента якобиана при использовании центральной разностной производной:

Вычисление якобиана с использованием правой разностной производной требует вычислять значения функций в точках. Если использовать центральную производную, то нужно находить значения функций в точках. С другой, стороны погрешность правой производной имеет порядок а центральной — . В большинстве случаев вычисление значения функции — это затратная по времени операция, поэтому используется правая разностная производная.

Оценка погрешности метода

Основная проблема при вычислении каждого элемента матрицы Якоби — как правильно выбрать шаг метода . Шаг выбирается независимо для каждого элемента матрицы.

Проанализируем зависимость погрешности метода от величины шага в случае использования правой разностной производной. Для сокращения записи введём обозначения . Остаточный член в соотношении имеет вид . Если , то Если значения и заданы с погрешностями , то погрешность будет содержать ещё одно слагаемое . Таким образом, оценка суммарной погрешности имеет вид . Эта оценка достигает минимума при . При этом . Оценка погрешности имеет один глобальный миниум. Поэтому выбор очень маленького шага не привидёт к росту точности. При величине шага, близкой к погрешность имеет порядок .

Метод Бройдена

Чаще всего вычисление якобиана является одной из подзадач в различных методах оптимизации и решения систем нелинейных уравнений. При решении систем нелинейных уравнений методом Ньютона требуется вычислять якобиан на каждой итерации. Вычисление якобиана требует вычисления функций в точках. Это сложная и затратная по времени операция. Суть метода Бройдена состоит в том, чтобы вычислить якобиан аналитически или с помощью метода конечных разностей на первой итерации, а после этого на каждой итерации обновлять якобиан, не вычисляя значения функций и их производных.

Пусть задана система нелинейных уравнений , где . Тогда якобиан на -ой итерации выражается по формуле

После этого следующее приближение вычисляется по формуле

Методы вычисления матрицы Гессе

Как и матрица Якоби, матрица Гессе может быть вычислена с помощью разностной аппроксимации производных. , где — вектор переменных, а и — единичные вектора. Эта формула требует вычисления значений функции в точках. Погрешность формулы имеет порядок .

Численный эксперимент

В качестве примера рассчитаем с помощью вышеизложенного метода матрицу Гессе функции в точке (1, 1)