Метод обобщённого наименьшего квадрата

Метод обобщённого наименьшего квадрата (ОбНК, Generalized Least Squares, GLS) применяется для оценки параметров линейной регрессионной модели в случае, когда наблюдаемые ошибки имеют коррелированную структуру и/или неодинаковую дисперсию, то есть когда классические предпосылки метода наименьших квадратов (МНК) о гомоскедастичности и независимости ошибок нарушаются.

Модель записывается в виде:
$y = X\beta + \varepsilon,$
где $y$ — вектор наблюдаемых значений зависимой переменной,
$X$ — матрица наблюдаемых значений независимых переменных (регрессоров),
$\beta$ — вектор оцениваемых параметров,
$\varepsilon$ — вектор ошибок.

Предполагается, что $\mathbb{E}(\varepsilon) = 0$ и $\mathrm{Var}(\varepsilon) = \Omega$, где матрица $\Omega$ — известная (или оцениваемая) положительно определённая ковариационная матрица ошибок, которая не является скалярной кратной единичной матрицы.

Задача метода — найти оценку $\hat{\beta}$, минимизирующую взвешенную квадратичную форму ошибок:
$Q(\beta) = (\mathbf{y} - X\beta)^T \Omega^{ -1} (\mathbf{y} - X\beta).$

Решение этой задачи даёт формулу оценки параметров:
$\hat{\beta}_{GLS} = (X^T \Omega^{ -1} X)^{ -1} X^T \Omega^{ -1} y.$

Метод обобщённого наименьшего квадрата сводит проблему оценки в условиях гетероскедастичности и автокорреляции ошибок к классическому МНК-проблеме путем преобразования исходной модели. Для этого выполняется линейное преобразование:
$\tilde{y} = C y, \quad \tilde{X} = C X, \quad \tilde{\varepsilon} = C \varepsilon,$
где матрица $C$ такова, что $C^T C = \Omega^{ -1}$ (например, через разложение Холецкого). После такого преобразования в новой модели
$\tilde{y} = \tilde{X} \beta + \tilde{\varepsilon}$
ошибки $\tilde{\varepsilon}$ имеют ковариационную матрицу $I$, и оценки $\hat{\beta}_{GLS}$ совпадают с оценками МНК для преобразованных данных.

Преимущества метода ОбНК:

• обеспечивает несмещённые и эффективные (минимальная дисперсия) оценки параметров в случае известных ковариационных структур ошибок;

• учитывает как гетероскедастичность, так и автокорреляцию ошибок;

• при $\Omega = \sigma^2 I$ метод сводится к классическому МНК.

В практических задачах матрица $\Omega$ обычно неизвестна и оценивается, что приводит к применению приближённых вариантов метода, например, к методам с обобщёнными или взвешенными наименьшими квадратами (Feasible GLS). Ключевым условием корректности метода является правильное специфицирование структуры ковариации ошибок.

Численные методы решения краевых задач для дифференциальных уравнений

Краевые задачи для дифференциальных уравнений (ДУ) широко встречаются в математическом моделировании физических процессов. Для их численного решения разработаны различные методы, которые можно разделить на несколько основных групп.

1. Метод конечных разностей (МКР)
   Основан на аппроксимации производных разностными выражениями на сетке дискретных точек. Краевые условия вводятся в виде уравнений на границах области. МКР прост в реализации и применяется к уравнениям эллиптического, параболического и гиперболического типов. Обеспечивает хорошую точность при достаточно мелкой сетке.

2. Метод конечных элементов (МКЭ)
   Разбивает область задачи на малые элементы (треугольники, квадраты, тетраэдры и др.). Решение представляется в виде линейной комбинации базисных функций, поддерживаемых на элементах. Краевые условия учитываются в слабой постановке задачи. МКЭ особенно эффективен для сложных геометрий и неоднородных материалов.

3. Метод Галеркина
   Частный случай метода конечных элементов, где пробные и тестовые функции совпадают. Позволяет получить систему алгебраических уравнений из вариационной формулировки краевой задачи. Используется для уравнений с более общими условиями.

4. Метод Ритца
   Также вариационный метод, основанный на минимизации функционала, связанного с уравнением. Аналогично МКЭ, но пробные функции выбираются заранее и решение ищется в их линейной оболочке.

5. Метод конечных объёмов
   Обеспечивает сохранение физических величин (например, массы, энергии) на каждом элементе сетки, что важно для задач динамики жидкости и газов. Краевые условия задаются в виде потоков через границы объема.

6. Спектральные методы
   Используют глобальные базисные функции (например, тригонометрические или полиномиальные, такие как многочлены Чебышева) для аппроксимации решения. Обеспечивают высокую точность для гладких решений, но чувствительны к геометрии и сложным краевым условиям.

7. Методы коллокации
   Выбирают решение так, чтобы дифференциальное уравнение и краевые условия выполнялись в конечном наборе точек (коллокационных точках). Позволяют строить численные схемы с высокой точностью и гибкостью в выборе базисных функций.

8. Итерационные методы решения дискретизированных систем
   После дискретизации краевой задачи любым из вышеописанных методов получаются системы линейных или нелинейных уравнений, которые решаются с помощью: метода Якоби, метода Гаусса-Зейделя, метода верхних релаксаций (SOR), метода сопряженных градиентов и др.

9. Методы разложения по собственным функциям
   Используют спектральное разложение операторов, что позволяет свести решение краевой задачи к решению системы уравнений по коэффициентам разложения. Эффективны для линейных задач с однородными краевыми условиями.

10. Методы конечных элементов с адаптивной сеткой
    Позволяют менять размер элементов сетки в зависимости от локальных свойств решения, повышая точность и эффективность численного метода.

Выбор метода зависит от типа дифференциального уравнения, свойств задачи, требуемой точности, геометрии области и характеристик краевых условий.

Метод Лагранжа для решения задач оптимизации с ограничениями

Метод Лагранжа применяется для нахождения экстремумов функции при наличии ограничений в виде уравнений. Рассмотрим задачу оптимизации:

где $\mathbf{x} = (x_1, x_2, \ldots, x_n)$ — вектор переменных, $f:\mathbb{R}^n \to \mathbb{R}$ — целевая функция, $g_i:\mathbb{R}^n \to \mathbb{R}$ — функции ограничений.

Для решения задачи вводится функция Лагранжа:

где $\boldsymbol{\lambda} = (\lambda_1, \ldots, \lambda_m)$ — вектор множителей Лагранжа.

Необходимые условия экстремума по методу Лагранжа выражаются системой уравнений:

где $\nabla_{\mathbf{x}}$ — градиент по переменным $\mathbf{x}$.

Решение данной системы дает кандидатов в точки экстремума. Дальнейший анализ (например, с использованием вторых производных или условий Куна-Таккера для задач с неравенствами) позволяет определить характер найденных точек — минимум, максимум или седловую.

Таким образом, метод Лагранжа сводит задачу условной оптимизации к решению системы уравнений, объединяющей условия стационарности и ограничения. Он эффективен при решении задач с равенствами и часто служит основой для численных методов оптимизации.