Задачи регрессионного анализа

Регрессия -- зависимость среднего значения какой-либо величины от некоторой другой величины или от нескольких величин.

Задача регрессионного анализа заключается в восстановлении функциональной зависимости y(x) по результатам измерений.

В регрессионном анализе предполагается, что можно прямо или косвенно контролировать одну или нескольких переменных x₁ , x₂….x_n, и их значение вместе с множеством параметров Q₁,Q₂….Q_n определяющие математическое ожидание зависимой переменной i . Задача состоит в вычислении оценок параметров с помощью выборочных данных.

Постулаты регрессионного анализа:

1 постулат: Параметр оптимизации y есть случайная величина с нормальным законом распределения.

Дисперсия воспроизводимости - одна из характеристик этого закона распределения.

• 2 постулат: Дисперсия y не зависит от абсолютной величины y.
• 3 постулат: Значения факторов суть неслучайной величины.

Метод наименьших квадратов

Этот метод был развит усилиями Лежандра и Гаусса, более 150 лет назад. Метод наименьших квадратов (МНК) является самым распространенным, хотя не единственным метом усреднения.

Если дано у=b₀+b₁*x₁ - уравнение прямой линии. Надо вычислить коэффициенты b₀,b₁.

Для этого уравнение приравнивается к нулю y_i - b₀-b₁*x₁*x_i=0, где i=1,2,…N (N-номер опыта) или y_i - b₀-b₁*x₁*x_i=Е_i, где Е_i - невязка, то есть разность между экспериментальным и вычисленным по уравнению регрессии значениям у в i-й экспериментальной точке. Невязка возникает по двум причинам: из-за ошибки эксперимента и из-за модели.

Надо найти коэффициенты регрессии, при которых невязка будет минимальной:

U= Е²_i=min, который приводит к методу наименьших квадратов.

МНК обладает следующим свойством: он делает определенной любую произвольную систему уравнений равную числу неизвестных коэффициентов. Для определения двух неизвестных коэффициентов требуется два уравнения, например, для уравнения y= a₀+a₁*x, с двумя неизвестными коэффициентами используется система уравнений:

a₀*N +a_i x_i= y_i

a₀ x_i + a_i x² _i = x_i*y_i

Для определения трех неизвестных коэффициентов требуется три уравнения, например, для уравнения y = a₀+a₁*x+ a*x² , с тремя неизвестными коэффициентами используется система уравнений:

a0*N +ai xi+а2 x2 i = yi

a₀ x_i + a_i x² _i +a₂ x³ _i = x_i*y_i

a₀ x² _i + a_i x³ _i +a₂ x⁴ _i = x²_i*y_i

МНК для обратной зависимости

y= a₀+a₁/x.

Чтобы найти два неизвестных коэффициента используется система уравнении:

a₀*N +a_i 1/x_i= y_i

a₀ 1/x_i + a_i 1/x² _i =y_i/х_i

Порядок расчета задач методом наименьших квадратов:

Строится таблица (таблица 1)

Таблица 1 Пример, построения таблицы для данных задачи МНК

где x_i- входные величины,

у_i- выходные величины,

N - количество уровней варьирования фактора,

M - количество параллельных опытов,

y_1i - первый опыт,

y_i - среднее в серии,

S²{y} - дисперсия в серии.

Строится экспериментальный график, по которым делается предположение о виде линии регрессии.

Решается система уравнений, и определяются оценку и коэффициентов регрессионной зависимости

Считается теоретическое значение выходной величины (y_i)

5) Считается относительная погрешность по формуле:

E= у_i-у_i / max{y_i,y_i}