Kovarianssi

Wikipedia
Loikkaa: valikkoon, hakuun

Kovarianssi on todennäköisyyslaskennassa ja tilastotieteessä kahden satunnaismuuttujan välisen riippuvuuden mitta. Se kuvaa, kuinka läheisesti muuttujat vaihtelevat yhdessä. Yksinkertaistaen voidaan havainnollistaa, että kovarianssi saa positiivisen arvon, kun satunnaismuuttujan arvot jäävät samalle puolelle odotusarvoihinsa nähden, ja vastaavasti negatiivisen arvon, kun niiden arvot jäävät eri puolille odotusarvoihinsa nähden. Kovarianssi on yhteisjakauman toinen keskusmomentti, jonka yksiköksi eli dimenssioksi tulee kummankin satunnaismuuttujan yksiköiden tulo. Momentin käsitteeseen liittyy tulkinta, että kovarianssi on niin sanotun yhteisjakauman "todennäköisyysmassan painopisteen" \scriptstyle (E[X],E[Y]) ympärillä tapahtuvan vaihtelun mitta. Korrelaatio on kovarianssin normalisoitu tunnusluku, joka on puolestaan dimenssiovapaa.[1]

Todennäköisyyslaskennassa kovarianssi on yhteisjakauman tunnusluku, kun taas tilastolaskennassa kovarianssi on todennäköisyyslaskennan tunnusluvun estimaatti.

Määritelmä ja merkinnät[muokkaa | muokkaa wikitekstiä]

Matemaattisesti kovarianssi \sigma_{XY} on määritelty kahden reaaliarvoisen satunnaismuuttujan X ja Y avulla

\sigma_{XY} = \operatorname{E}[(X - \mu_X) (Y - \mu_Y)],

missä E[X]=\mu_X ja E[Y]=\mu_Y ovat vastaavasti satunnaismuuttujien odotusarvot. Kovarianssi voidaan merkitä erilaisilla vaihtoehtoisilla tavoilla, kuten esimerkiksi

\sigma_{XY}=\sigma(X,Y)=cov(X,Y)=Cov(X,Y) . [1]

Yhteisjakaumassa voi esiintyä myös merkinnät \sigma_X ja \sigma_Y. Ne esittävät satunnaismuuttujien keskihajontoja \sigma_X=\sqrt{\sigma_X^2} ja \sigma_Y=\sqrt{\sigma_Y^2}.[2]

Diskreetit satunnaismuuttujat[muokkaa | muokkaa wikitekstiä]

Diskreetin satunnaismuuttujaparin kovarianssi lasketaan

\sigma_{XY}=\sum_{x \in X} \sum_{y \in Y} (x-\mu_X)(y-\mu_Y)f_{XY}(x,y) , [1]

missä f_{XY}(x,y) on yhteisjakauman pistetodennäköisyysfunktio.

Jatkuvat satunnaismuuttujat[muokkaa | muokkaa wikitekstiä]

Jatkuvan satunnaismuuttujaparin kovarianssi on taas

\sigma_{XY}=\int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} (x-\mu_X)(y-\mu_Y)f_{XY}(x,y) dydx , \, [1]

missä f_{XY}(x,y) on yhteisjakauman tiheysfunktio.

Ominaisuuksia[muokkaa | muokkaa wikitekstiä]

Rinnakkaiskaavan johtaminen[muokkaa | muokkaa wikitekstiä]

Yleisessä tilanteessa satunnaismuuttujat ovat toisistaan riippuvia jossakin mielessä. Silloin kovarianssi voidaan kehittää edelleen hyödyntämällä odotusarvo-operaattorin tunnetut ominaisuudet:[1]

\begin{align}\sigma(X,Y)
&= \operatorname{E}[(X - \operatorname{E}[X]) (Y - \operatorname{E}[Y])] \\
&= \operatorname{E}[X Y - X \operatorname{E}[Y] - \operatorname{E}[X] Y + \operatorname{E}[X] \operatorname{E}[Y]] \\
&= \operatorname{E}[X Y] - \operatorname{E}[X] \operatorname{E}[Y] - \operatorname{E}[X] \operatorname{E}[Y] + \operatorname{E}[X] \operatorname{E}[Y] \\
&= \operatorname{E}[X Y] - \operatorname{E}[X] \operatorname{E}[Y] \\
&= \operatorname{E}[X Y] - \mu_X\mu_Y .
\end{align}

Riippumattomuus[muokkaa | muokkaa wikitekstiä]

Jos satunnaismuuttujat ovat riippumattomia, saadaan odotusarvoksi

\operatorname{E}[XY] = \operatorname{E}[X] \operatorname{E}[Y]= \mu_X\mu_Y.

Yleisen kovarianssin kehitetystä lausekkeesta tulee silloin

\begin{align}\operatorname{cov}(X,Y)&=\operatorname{E}[X Y] - \operatorname{E}[X] \operatorname{E}[Y] \\ &=\operatorname{E}[X] \operatorname{E}[Y] - \operatorname{E}[X] \operatorname{E}[Y]=0.\end{align}

Siten, jos satunnaismuuttujat ovat riippumattomia toisistaan, saadaan kovarianssiksi nolla. Päinvastainen ei pidä aina paikkaansa, sillä kovarianssin ollessa nolla, ei satunnaismuuttujat aina ole riippumattomia toisistaan.[2][1]

Arvojoukko[muokkaa | muokkaa wikitekstiä]

Kovarianssin yksikkö määräytyy satunnaismuuttujien tulosta. Koska korrelaation arvo jää välille -1 \le r_{XY} \le 1, saadaan kovarianssin arvolle väli -\sigma_X\sigma_Y \le \sigma_{XY} \le \sigma_X\sigma_Y, missä \sigma_X \sigma_Y on keskihajontojen tulo.

Päättelysääntöjä[muokkaa | muokkaa wikitekstiä]

Kovarianssille voidaan johtaa seuraavia laskusääntöjä (a, b ovat reaalivakioita):

\sigma(X, a) = 0 \,
\sigma(X, X) = \sigma^2(X)\, eli \sigma_{XX}=\sigma_X^2 [2][3][1] (varianssi)
\sigma(X, Y) = \sigma(Y, X)\, [2] (symmetrisyys)
\sigma(aX, bY) = ab\, \sigma(X, Y)\, (kertoimien ulosotto)
\sigma(X+a, Y+b) = \sigma(X, Y)\, (vakionlisäys)
\sigma(X+Z, Y) = \sigma(X, Y) + \sigma(Z, Y)\, [2] (summan kovarianssi)
\sigma(aX+bY, cW+dV) = ac\,\sigma(X,W)+ad\,\sigma(X,V)+bc\,\sigma(Y,W)+bd\,\sigma(Y,V) (lineaarikombinaatiot)
\sigma\left(\sum_i{X_i}, \sum_j{Y_j}\right) = \sum_i{\sum_j{\sigma\left(X_i, Y_j\right)}} [2] (useiden satunnaismuuttujien summat)

Tilastollinen kovarianssi[muokkaa | muokkaa wikitekstiä]

Arvioitaessa kahden tilastomuuttujan kovarianssia, käytetään estimaattorina lauseketta

\sigma_{XY}=\sum_{i=1}^n \frac{(x_i-\bar x)(y_i-\bar y)}{n}, [2]

missä otoksen suuruus on n ja otoksen muuttujien keskiarvot ovat \bar x ja \bar y. Usein kuitenkin jaetaan summa otoksen suuruutta yhtä pienemmällä luvulla (vapausaste)

\sigma_{XY}=\sum_{i=1}^n \frac{(x_i-\bar x)(y_i-\bar y)}{n-1} . [4]

Satunnaisvektorit[muokkaa | muokkaa wikitekstiä]

Kun X ja Y ovat n- ja m-ulotteisia pystyvektoreita, n x m-ulotteinen kovarianssimatriisi on määritelty:

\sigma(X, Y) = \operatorname{E}((X-\mu_X)(Y-\mu_Y)^\top).

Matriisit cov(X,Y) ja cov(Y,X) ovat toistensa transpooseja. Kun X on vektori, matriisia cov(X,X) sanotaan X:n kovarianssimatriisiksi tai pidemmin varianssi-kovarianssi-matriisiksi.[5]

Korrelaatiokerroin[muokkaa | muokkaa wikitekstiä]

Kovarianssilla voidaan mitata satunnaismuuttujien riippuvuuksia, mutta satunnaismuuttujien keskihajonnat vaikuttavat myös kovarianssin arvoon. Tuloksesta voidaan puhdistaa keskihajontojen vaikutukset jakamalla kovarianssi niillä, saadaan uusi riippuvuuden mitta korrelaatiokerroin

\rho_{XY}=\frac{\sigma_{XY}}{\sigma_X \sigma_Y}. [1]

Sen arvot vaihtelevat välillä -1 \le \rho_{XY} \le 1 eikä sillä ole mittayksikköä.

Katso myös[muokkaa | muokkaa wikitekstiä]

Lähteet[muokkaa | muokkaa wikitekstiä]

  1. a b c d e f g h Mellin, Ilkka: Moniulotteiset satunnaismuuttujat ja jakaumat, s.210−223, luentomoniste kurssista Todennäköisyyslaskenta, Aalto-yliopisto, 2007
  2. a b c d e f g Weisstein, Eric W.: Covariance (Math World - A Wolfram Web Resource) Wolfram Research. (englanniksi)
  3. Weisstein, Eric W.: Variance (Math World - A Wolfram Web Resource) Wolfram Research. (englanniksi)
  4. Mellin, Ilkka: Lineaarinen regressioanalyysi, s.240−266, luentomoniste kurssista Todennäköisyyslaskenta, Aalto-yliopisto, 2007
  5. Weisstein, Eric W.: Covariance Matrix (Math World - A Wolfram Web Resource) Wolfram Research. (englanniksi)