Ковариационная матрица

08.03.2021

Ковариационная матрица (или матрица ковариаций) в теории вероятностей — это матрица, составленная из попарных ковариаций элементов одного или двух случайных векторов.

Ковариационная матрица случайного вектора — квадратная симметрическая неотрицательно определенная матрица, на диагонали которой располагаются дисперсии компонент вектора, а внедиагональные элементы — ковариации между компонентами.

Ковариационная матрица случайного вектора является многомерным аналогом дисперсии случайной величины для случайных векторов. Матрица ковариаций двух случайных векторов- многомерный аналог ковариации между двумя случайными величинами.

В случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение (по аналогии с тем, что математическое ожидание и дисперсия нормально распределенной случайной величины полностью определяют её распределение)

Определения

• Пусть X : Ω → R n {displaystyle mathbf {X} :Omega o mathbb {R} ^{n}} , Y : Ω → R m {displaystyle mathbf {Y} :Omega o mathbb {R} ^{m}} — два случайных вектора размерности n {displaystyle n} и m {displaystyle m} соответственно. Пусть также случайные величины X i , Y j , i = 1 , … , n , j = 1 , … , m {displaystyle X_{i},Y_{j},;i=1,ldots ,n,;j=1,ldots ,m} имеют конечный второй момент (дисперсию), то есть X i , Y j ∈ L 2 {displaystyle X_{i},Y_{j}in L^{2}} . Тогда матрицей ковариации векторов X , Y {displaystyle mathbf {X} ,mathbf {Y} } называется

Σ = c o v ( X , Y ) = E [ ( X − E X ) ( Y − E Y ) ⊤ ] , {displaystyle Sigma =mathrm {cov} (mathbf {X} ,mathbf {Y} )=mathbb {E} left[(mathbf {X} -mathbb {E} mathbf {X} )(mathbf {Y} -mathbb {E} mathbf {Y} )^{ op } ight],}

то есть

Σ = ( σ i j ) {displaystyle Sigma =(sigma _{ij})} ,

где

σ i j = c o v ( X i , Y j ) ≡ E [ ( X i − E X i ) ( Y j − E Y j ) ] , i = 1 , … , n , j = 1 , … , m {displaystyle sigma _{ij}=mathrm {cov} (X_{i},Y_{j})equiv mathbb {E} left[(X_{i}-mathbb {E} X_{i})(Y_{j}-mathbb {E} Y_{j}) ight],;i=1,ldots ,n,;j=1,ldots ,m} , E {displaystyle mathbb {E} } — математическое ожидание.

• Если X ≡ Y {displaystyle mathbf {X} equiv mathbf {Y} } , то Σ {displaystyle Sigma } называется матрицей ковариации вектора X {displaystyle mathbf {X} } и обозначается c o v ( X ) {displaystyle mathrm {cov} (mathbf {X} )} . Такая матрица ковариации является обобщением дисперсии для многомерной случайной величины, а её след — скалярным выражением дисперсии многомерной случайной величины. В связи с этим используется также обозначение V ( X ) {displaystyle V(X)} - вариация (дисперсия) случайного вектора. Собственные векторы и собственные числа этой матрицы позволяют оценить размеры и форму облака распределения такой случайной величины, аппроксимировав его эллипсоидом (или эллипсом в двумерном случае).

Свойства матриц ковариации

• Сокращённая формула для вычисления матрицы ковариации:

c o v ( X ) = E [ X X ⊤ ] − E [ X ] ⋅ E [ X ⊤ ] {displaystyle mathrm {cov} (mathbf {X} )=mathbb {E} left[mathbf {X} mathbf {X} ^{ op } ight]-mathbb {E} [mathbf {X} ]cdot mathbb {E} left[mathbf {X} ^{ op } ight]} .

• Матрица ковариации случайного вектора неотрицательно определена:

c o v ( X ) ≥ 0 {displaystyle mathrm {cov} (mathbf {X} )geq 0} .

• Смена масштаба:

c o v ( a ⊤ X ) = a ⊤ c o v ( X ) a , ∀ a ∈ R n {displaystyle mathrm {cov} left(mathbf {a} ^{ op }mathbf {X} ight)=mathbf {a} ^{ op }mathrm {cov} (mathbf {X} )mathbf {a} ,;forall mathbf {a} in mathbb {R} ^{n}} .

• Если случайные векторы X {displaystyle mathbf {X} } и Y {displaystyle mathbf {Y} } нескоррелированы ( c o v ( X , Y ) = 0 {displaystyle mathrm {cov} (mathbf {X} ,mathbf {Y} )=mathbf {0} } ), то

c o v ( X + Y ) = c o v ( X ) + c o v ( Y ) {displaystyle mathrm {cov} (mathbf {X} +mathbf {Y} )=mathrm {cov} (mathbf {X} )+mathrm {cov} (mathbf {Y} )} .

• Матрица ковариации аффинного преобразования:

c o v ( A X + b ) = A c o v ( X ) A ⊤ {displaystyle mathrm {cov} left(mathbf {A} mathbf {X} +mathbf {b} ight)=mathbf {A} mathrm {cov} (mathbf {X} )mathbf {A} ^{ op }} ,

где A {displaystyle mathbf {A} } — произвольная матрица размера n × n {displaystyle n imes n} , а b ∈ R n {displaystyle mathbf {b} in mathbb {R} ^{n}} .

• Перестановка аргументов:

c o v ( X , Y ) = c o v ( Y , X ) ⊤ {displaystyle mathrm {cov} (mathbf {X} ,mathbf {Y} )=mathrm {cov} (mathbf {Y} ,mathbf {X} )^{ op }}

• Матрица ковариации аддитивна по каждому аргументу:

c o v ( X 1 + X 2 , Y ) = c o v ( X 1 , Y ) + c o v ( X 2 , Y ) {displaystyle mathrm {cov} (mathbf {X} _{1}+mathbf {X} _{2},mathbf {Y} )=mathrm {cov} (mathbf {X} _{1},mathbf {Y} )+mathrm {cov} (mathbf {X} _{2},mathbf {Y} )} , c o v ( X , Y 1 + Y 2 ) = c o v ( X , Y 1 ) + c o v ( X , Y 2 ) {displaystyle mathrm {cov} (mathbf {X} ,mathbf {Y} _{1}+mathbf {Y} _{2})=mathrm {cov} (mathbf {X} ,mathbf {Y} _{1})+mathrm {cov} (mathbf {X} ,mathbf {Y} _{2})} .

• Если X {displaystyle mathbf {X} } и Y {displaystyle mathbf {Y} } независимы, то

c o v ( X , Y ) = 0 {displaystyle mathrm {cov} (mathbf {X} ,mathbf {Y} )=mathbf {0} } .

Условная ковариационная матрица

Ковариационная матрица случайного вектора является характеристикой его распределения. В случае (многомерного) нормального распределения математическое ожидание вектора и его ковариационная матрица полностью определяют его распределение. Характеристиками условного распределения одного случайного вектора при условии заданного значения другого случайного вектора являются соответственно условное математическое ожидание (функция регрессии) и условная ковариационная матрица.

Пусть случайные векторы X {displaystyle X} и Y {displaystyle Y} имеют совместное нормальное распределение с математическими ожиданиями μ X , μ Y {displaystyle mu _{X},mu _{Y}} , ковариационными матрицами V X , V Y {displaystyle V_{X},V_{Y}} и матрицей ковариаций C X Y {displaystyle C_{XY}} . Это означает, что объединенный случайный вектор Z = [ X Y ] {displaystyle {oldsymbol {Z}}={egin{bmatrix}{oldsymbol {X}}{oldsymbol {Y}}end{bmatrix}}} подчиняется многомерному нормальному распределению с вектором математического ожидания μ Z = [ μ X μ Y ] , {displaystyle {oldsymbol {mu }}_{Z}={egin{bmatrix}{oldsymbol {mu }}_{X}{oldsymbol {mu }}_{Y}end{bmatrix}},} и ковариационной матрицей которую можно представить в виде следующей блочной матрицы

V Z = [ V X C X Y C Y X V Y ] {displaystyle {oldsymbol {V}}_{Z}={egin{bmatrix}{oldsymbol {V}}_{X}&{oldsymbol {C}}_{XY}{oldsymbol {C}}_{YX}&{oldsymbol {V}}_{Y}end{bmatrix}}} где C Y X = C X Y T {displaystyle C_{YX}=C_{XY}^{T}}

Тогда случайный вектор Y {displaystyle Y} при заданном значении случайного вектора X {displaystyle X} имеет нормальное распределение (условное) со следующим условным математическим ожиданием и условной ковариационной матрицей

E ( Y | X = x ) = μ Y + C Y X V X − 1 ( x − μ X ) , V ( Y | X = x ) = V Y − C Y X V X − 1 C X Y {displaystyle E(Y|X=x)=mu _{Y}+C_{YX}V_{X}^{-1}(x-mu _{X}),qquad V(Y|X=x)=V_{Y}-C_{YX}V_{X}^{-1}C_{XY}}

Первое равенство определяет функцию линейной регрессии (зависимости условного математического ожидания вектора Y {displaystyle Y} от заданного значения x случайного вектора X {displaystyle X} ), причем матрица C X Y V − 1 {displaystyle C_{XY}V^{-1}} - матрица коэффициентов регрессии.

Условная ковариационная матрица представляет собой матрицу ковариаций случайных ошибок линейных регрессий компонентов вектора Y {displaystyle Y} на вектор X {displaystyle X} .

В случае если Y {displaystyle Y} - обычная случайная величина (однокомпонентный вектор), условная ковариационная матрица - это условная дисперсия (по существу - случайной ошибки регрессии Y {displaystyle Y} на вектор X {displaystyle X} )