Моделей

2.1. Условные математические ожидания.

Не каждый ЭО может быть описан рассмотренными в главе 1 динамическими моделями. Часто возникают ситуации, когда по имеющейся информации (данным), например, совокупности X некоторого компонента вектора S состояния ЭО, требуется предсказать (оценить) некоторую величину Y, стохастически связанную с X. Стохастическая связь означает, что X и Y имеют некоторое совместное распределение Pr(X, Y). Причем, непосредственно величину Y измерить невозможно. Например, совокупность X может быть образована временным рядом S₁, S₂, … , s_t динамической переменной ЭО, а Y = S_t+T . Следовательно, есть величины, доступные измерению в некотором интервале времени, а прогнозу подлежат величины, связанные с будущим, невозможным наблюдению. Аналогичная ситуация встречается при многофакторном анализе, когда необходимо восстановить статистическую связь некоторого ненаблюдаемого параметра Y ЭО с N наблюдаемыми факторами X₁, X₂, … , X_N .

В общем случае совокупность X: {X₁, X₂, …} некоторых случайных наблюдаемых величин называется предсказывающими или прогнозными переменными. Задача заключается в построении такой функции f(X) от этих величин, которую можно было бы использовать в качестве оценки для прогнозируемой величины Y. Функция f(X) должна быть «близка» по некоторой мере сравнения (сходства) к величине Y, т.е. Y @ f(X). Такие функции f(X) называют предикторами величины Y.

В главе 1 был рассмотрен частный случай построения (синтеза) предикторов, когда была известна некоторая динамическая связь между прогнозными переменными. Когда такая дополнительная информация отсутствует, остается прибегнуть лишь к теории уловных математических ожиданий.

Совместное распределение Pr(X, Y) двух случайных величин X и Y подчиняется закону

Pr(x, y) = Pr(x) Pr(yú x) = Pr(y) Pr(xú y), (2.1.1)

где Pr(yú x) – условное распределение случайной величины Y (распределение Y при условии, что X = x); Pr(xú y) – условное распределение случайной величины X; Pr(x) = ò Pr(x, y) dy – маргинальное распределение случайной величины X; Pr(y) = = ò Pr(x, y) dx – маргинальное распределение случайной величины Y.

В качестве распределений Pr обычно рассматриваются плотности вероятности для абсолютно непрерывных величин и вероятности для дискретных. Для дискретных величин при вычислениях знак интеграла заменяется знаком суммы, т.е. ò Þ å .

Из (2.1.1)следует, что

Pr(xú y) = Pr(x, y) / Pr(y), Pr(yú x) = Pr(x, y) / Pr(x). (2.1.2)

Условное «матожидание» случайной величины Y

r_Y(x) = ò y Pr(yú x) dy = ò y Pr(x, y) dy / Pr(x) =

= ò y Pr(x, y) dy /ò Pr(x, y) dy (2.1.3)

называется функцией регрессии Y на X.

Условной дисперсией случайной величины Y называется

D_Y(x) = ò [y – r_Y(x)]² Pr(yú x) dy =

= ò [y – r_Y(x)]² Pr(x, y) dy /ò Pr(x, y) dy. (2.1.4)

Поскольку r_Y(x) и D_Y(x) являются случайными величинами, зависящими от x, то можно вычислить полные (безусловные) математическое ожидания и дисперсию случайной величины Y

áYñ = ár_Y(x)ñ, (2.1.5)

= D(y) = áD_Y(x)ñ = D(r) + D(yú x) = + .

где усреднение á ñ производится по случайной величине X. Выражение (2.1.5) следует из правила расчета дисперсий (см. Модуль 1, стр. 57 главы 2).

Выражение (2.1.5) показывает, что полная ошибка определения случайной величины Y складывается из ошибки определения регрессии r (среднего значения Y при фиксированном значении случайной величины X) и ошибки определения статистической связи между Y и X.

Важное следствие из (2.1.5) заключается в том, что

= D (r) £ D(y) = , (2.1.6)

причем знак равенства выполняется лишь в случае, если

= D(yú x) = á[y – r_Y(x)]²ñ = 0, т.е.

y = r_Y(x) = ò y Pr(x, y) dy /ò Pr(x, y) dy . (2.1.7)

Это означает, что ошибка определения статистической связи между случайными величинами Y и X отсутствует. Статистическая связь полностью определяется регрессионной зависимостью (2.1.7).

Заметим, что подобно тому, как среднее (математическое ожидание) является важнейшей характеристикой распределения, регрессия является важнейшей характеристикой условного распределения.

Пример 2.1.1. Пусть совместное распределение случайных величин X и Y описывается нормальной плотностью вероятностей с áxñ, áyñ, D(x) = s_X² = áx²ñ, D(y) = s_Y² = áy²ñ, cor(x, y) = r_XY , ½r_XY ½< 1. Тогда

Pr(x, y)=N(áxñ,áyñ;COV_XY), Pr(yú x)=N(r(x);(1-r_XY²)s_Y²), (2.1.8)

где

COV_XY = ,

COV^-1_XY =

или

Pr(x, y) = exp{– [(x – áxñ)²/s_X² – 2r_XY (x – áxñ)(y – áyñ)/s_X s_Y +

+ (y – áyñ)²/s_Y²]/2(1 – r_XY²)}/ 2p s_X s_Y (1 – r_XY²)^1/2,

Pr(yú x) = Pr(x, y) / Pr(x) = (2.1.9)

= exp{– [(y – r(x)]²/2s_Y² (1–r_XY²)}/ (2p)^1/2 s_Y (1 – r_XY²)^1/2.

При этом

r(x) = áyñ + (s_Y /s_X) r_XY (x – áxñ), (2.1.10)

= s_Y²r_XY², = s_Y² (1 – r_XY²).

Тем самым, при нормальном совместном законе распределения случайных величин X и Y регрессия является линейной.

 

2.2. Оптимальный стохастический прогноз.

Оптимальный стохастический прогноз или оптимальный предиктор случайной величины X в классе всех функций y = f(x) по мере среднеквадратической ошибки (СКО) совпадает с функцией регрессии Y на X.

Действительно, будем искать функцию f(x) предиктора, воспользовавшись МНК, т.е. минимизируя СКО

СКО = ò [y – f(x)]² Pr(yú x) dy . (2.2.1)

Тогда, записывая условия минимума СКО – ¶ СКО/¶f = 0, получим

¶ СКО/¶ f = ò [y – f(x)] Pr(yú x) dy = 0 .

Отсюда следует

f(x) ò Pr(yú x) dy = ò y Pr(yú x) dy.

Однако, т.к. òPr(yú x)dy = òPr(x, y)dy /Pr(x) = Pr(x)/Pr(x) = 1, то получим

f(x) = ò y Pr(yú x) dy = ò y Pr(x, y) dy /ò Pr(x, y) dy, (2.2.2)

что совпадает с (2.1.3), т.е. f(x) = r_Y(x).

Минимальная ошибка предсказания СКО_мин может быть записана в соответствии с (2.2.1) в виде

СКО_мин = =ò [y – r_Y(x)]² Pr(x, y) dy /ò Pr(x, y) dy. (2.2.3)

Для произвольного предиктора f(x)

cov(f,Y) = cov(f, r_Y(x)), (2.2.4)

cov(r_Y(x),Y) = cov(r_Y(x), r_Y(x)) =

Тогда коэффициент корреляции

r²(f,Y) = cov²(f,Y) /s_f²s_Y² = {cov²(f, r_Y(x))/s_f²s_R²}s_R²/s_Y² =

= r²(f, r_Y(x)) r²(r_Y(x),Y) . (2.2.5)

Из (2.2.5) следует, что оптимальный предиктор r_Y(x) имеет максимальный коэффициент корреляции с Y среди всех возможных предикторов, т.е. r²(r_Y(x),Y) ≥ r²(f,Y) для любого f(x), т.к. r²(f, r_Y(x)) ≤ 1.

Квадрат максимального значения коэффициента корреляции r²(r_Y(x),Y) имеет специальное обозначение h²_YX и называется корреляционным отношением. Из (2.1.5), (2.2.4) и (2.2.5) следует, что

h_YX² = s_R²/ s_Y² = 1 – /s_Y² = 1 – СКО_мин /s_Y² . (2.2.6)

Отсюда следует, что h_YX² ® 1, если минимальная ошибка прогноза СКО_мин ® 0. Тем самым, корреляционное отношение h_YX² представляет собой некую меру зависимости (или меру точности прогноза) между случайными величинами Y и X.

В случае нормальной корреляции (2.1.9) наилучший прогноз и его СКО_мин = имеют вид (2.1.10), а корреляционное отношение

h²_YX = r_XY². (2.2.7)

Поскольку при нормальной корреляции наилучший прогноз (2.1.10) имеет линейную зависимость, то в случае общей зависимости разность h²_YX – r_XY² может служить показателем отклонения регрессионной зависимости от линейной зависимости.

Так как h²_YX ≥ r_XY² , то показатель отклонения регрессии от линейности всегда больше нуля.

Пример 2.2.1. Обобщим прогноз при нормальном распределении на многомерный случай. Пусть X = {x₁, x₂, … x_n-1}, Y = = x_n , n ³ 2 и Pr(Y, X) = N(áx₁ñ, áx₂ñ, … , áx_nñ; COV), где COV = =½½s_km½½ⁿ =½½á(x_k – áx_kñ) (x_m – áx_m)ñ½½ⁿ – невырожденная ковариационная матрица, имеющая обратную матрицу COV ^–1 = = ½½s ^km½½ⁿ.

В этом случае

Pr(YêX = x) = N(r(x₁, x₂, … , x_n-1); 1/s ⁿⁿ), (2.2.8)

r(x₁, x₂, … , x_n-1) = áx_nñ – (x_k – áx_kñ) s ^kn /s ⁿⁿ ,

s_YX² = 1/s ⁿⁿ, s_R² = s_nn – 1/s ⁿⁿ,

h_YX² = 1 – 1/(s_nn s ⁿⁿ).

 

 

2.3. Синтез предикторов.

Синтез линейного предиктора.

Пусть предиктор описывается функцией множественной линейной регрессии

Y = b₀ + b₁ X₁ + b₂ X₂ + … b_p X _p = b₀ + b ⁺ X. (2.3.1)

В (2.4.1) введены векторные обозначения: b ⁺ = (b₁, b₂, …, b_p) – вектор-строка (транспонированный вектор-столбец b); X – вектор-столбец

b ⁺ X = êb₁, b₂, …, b_p ê= b₀ + b₁ X₁ + b₂ X₂ + … b_p X _p.

(2.3.2)

Обозначим

COV⁺(Y,X) = {cov(Y,X₁), cov(Y,X₂), …, cov(Y,X_p)}, (2.3.3)

å = .

Тогда коэффициенты предиктора, минимизирующие ошибку (2.2.1) предсказания (см. также стр. 8), можно выразить в виде

b₀ = áYñ – b ⁺ áXñ, (2.3.4)

b = å ^-1 COV(Y,X),

где å ^-1 – матрица, обратная к ковариационной матрице å .

Ошибка предиктора (2.2.1) определяется соотношением

СКО_мин = = s_Y² – COV⁺(Y,X) å ^-1 COV⁺(Y,X). (2.3.5)

Корреляционное отношение (2.2.6)

h_YX² = COV⁺(Y,X) å ^-1 COV⁺(Y,X) / s_Y² (2.3.6)

называется множественным коэффициентом корреляции.

Пример 2.3.1. Пусть предиктор описывается функцией множественной линейной регрессии Y = b₀ + b₁ X₁ + b₂ X₂. Требуется провести оценку его коэффициентов b₀ , b₁, b₂ и ошибку предсказания.

Решение. Ковариационная матрица å в соответствии с (2.3.3) выражается как

å = . (2.3.7)

Тогда,

å ^-1 =/ Det_å = (2.3.8)

= /

/[cov(X₁, X₁) cov(X₁, X₁) – cov²(X₁, X₂)].

Следовательно, в соответствии с (2.3.4)

b = å ^-1 COV(Y,X) = (2.3.9)

= = / Det_å.

Следовательно, коэффициенты предиктора и точность предсказания определяются выражениями

b₁ = , (2.3.10)

b₂ = ,

b₀ = áYñ – b₁áX₁ñ – b₂áX₂ñ,

h_YX² = [b₁ cov(Y, X₁) + b₂ cov(Y, X₂)] / s_Y² .

Для частного случая статистически независимых (ортогональных) переменных X₁ и X₂ , для которых cov(X₁, X₂) = 0, получим

b₁ = = cov(Y, X₁) /s_X1², (2.3.11)

b₂ = = cov(Y, X₁) /s_X2²,

b₀ = áYñ – áX₁ñ – áX₂ñ,

h_YX² = [+ ] / s_Y² .

Синтез нелинейного предиктора

для экспертного оценивания.

Предположим, что ЭО зависит от многомерного вектора структурных параметров (факторов) P = (P₁, P₂, …, P_N). Пусть известны M эталонных состояний ЭО (M < N) с соответствующими векторами P_m = (P_m1, P_m2, …, P_mN) (m = 1, 2, …, M). Пусть также в каждом эталонном состоянии ЭО известны значения Y_m некоторого параметра Y состояния ЭО. Необходимо синтезировать регрессионную оценку параметра Y ЭО для произвольного значения P.

Если предположить, что структурные параметры статистически независимы (cov(P_k, P_n) = 0 для k ¹ n), то в соответствии с примером 2.3.1 получим линейную регрессионную оценку

Y = r_лин(P) = , (2.3.12)

где

áYñ = , áP_nñ = , (2.3.13)

,

.

Возможен другой подход с использованием нелинейного предиктора. Для этого введем M функций, представляющих собой меры сходства X_m = X(P, P_m) неизвестного P эталонного P_m векторов (m = 1, 2, …, M). Выберем функции такими, что cov(X_k, X_m) @ 0, X_km = X(P_k, P_m) @ 0 для k ¹ m и X_kk = X(P_k, P_k) = 1. Такими функциями могут быть следующие нечеткие функции, рассмотренные в Модуле 1 (стр. 63, глава 2)

1) X(P, P_m) = exp{– a [exp(–½P – P_m ½²/2b ²) – 1]²}, (2.3.14)

2) X(P, P_m) = a /{a + [1 – exp(–½P – P_m ½²/2b ²)]^N},

3) X(P, P_m) = a / {a +[å^N_n=1 (P_n – P_mn)²] ^N / (2b ²) ^N }.

Будем синтезировать нелинейный (по переменной P) предиктор в виде регрессии

Y = r_нелин(P) = . (2.3.15)

Опираясь на предыдущие результаты и учитывая, что X(P_k, P_m) < < X(P_m, P_m), получим

Y = r_нелин(P) = , (2.3.16)

@,

@.

Тогда c учетом (2.3.14) регрессия (2.3.15) принимает вид

Y = r_нелин(P) @=. (2.3.17)

СКО @

≤.

Если в качестве функций X(P, P_k) использовать нормированные «ядерные» оценки x(P, P_k) = X(P, P_k) / å_k^MX(P, P_k) условной плотности распределения Y, то (2.3.17) будет ядерной выборочной оценкой нелинейной регрессии (2.1.3)

Y = =/.

(2.3.18)