Fisher-informaatio

Wikipedia
Loikkaa: valikkoon, hakuun

Matemaattisessa tilastotieteessä ja informaatioteoriassa Fisher-informaatio voidaan määritellä pistemääräfunktion varianssina, tai havaitun informaation odotusarvona. Bayesilaisessä tilastotieteessä posteriorin asymptoottinen jakauma riippuu Fisher-informaatiosta, eikä priorista. Fisher-informaatiota käytetään Bayesiläisessä tilastotieteessä myös Jeffreysin priorin laskemiseen

Määritelmä[muokkaa | muokkaa wikitekstiä]

Fisher-informaatiota merkitään \mathcal I(\theta) ja sen tarkoitus on mitata kuinka paljon informaatiota havaittu aineisto X sisältää parametrista \theta. Koska pistemääräfunktion ensimmäinen momentti, eli odotusarvo on nolla niin sen varianssiksi, eli Fisher-informaatioksi, saadaan sen toinen momentti:


\mathcal{I}(\theta)=\operatorname{E} \left[\left. \left(\frac{\partial}{\partial\theta} \log f(X;\theta)\right)^2\right|\theta \right] = \int \left(\frac{\partial}{\partial\theta} \log f(X;\theta)\right)^2 f(X; \theta)\; dX,

Mikäli log f(x; θ) on mahdollista derivoida kahdesti, voidaan Fisher-informaatio esittää myös muodossa:


\mathcal{I}(\theta) = - \operatorname{E} \left[\left. \frac{\partial^2}{\partial\theta^2} \log f(X;\theta)\right|\theta \right]\,.

Fisher-informaation voidaankin katsoa mittaavaan kaarevuutta suurimman uskottavuuden estimaatin \hat{\theta} lähellä. Itseisarvoltaan pienen Fisher-informaation omaavien uskottavuusfunktioiden kuvaajat ovat tasaisia ja sisältävät vähän informaatiota, kun taas paljon informaatiota sisältävien kuvaajat ovat kaarevampia ja Fisher-informaatio itseisarvoltaan suurempia.

Ominaisuuksia[muokkaa | muokkaa wikitekstiä]

Additiivisuus[muokkaa | muokkaa wikitekstiä]

Fisher-informaatio on additiivista. Toisistaan riippumattomien otosten sisältämän informaation määrä on otosten Fisher-informaatioiden summa.

 \mathcal{I}_{X,Y}(\theta) = \mathcal{I}_X(\theta) + \mathcal{I}_Y(\theta)

Tyhjentävyys[muokkaa | muokkaa wikitekstiä]

Tyhjentävän tunnusluvun sisältämä Fisher-informaatio on sama kuin otoksen X. Jos T(X) on tyhjentävä tunnusluku parametrille \theta, niin silloin

 f(X;\theta) = g(T(X), \theta) h(X) \!

joillekin funktioille g ja h.

Matriisimuoto[muokkaa | muokkaa wikitekstiä]

Olkoon N parametria siten, että \theta on N × 1 vektori \theta = \begin{bmatrix}
 \theta_{1}, \theta_{2}, \dots , \theta_{N} \end{bmatrix}^{\mathrm T}, niin Fisher-informaatiomatriisi on N × N matriisi:


{\left(\mathcal{I} \left(\theta \right) \right)}_{i, j}
=
\operatorname{E}
\left[\left.
 \left(\frac{\partial}{\partial\theta_i} \log f(X;\theta)\right)
 \left(\frac{\partial}{\partial\theta_j} \log f(X;\theta)\right)
\right|\theta\right].

Fisher-informatiomatriisi on N × N positiivisesti semidefiniitti symmetrinen matriisi. Tietyin oletuksin tämä matriisi voidaan esittää muodossa:


{\left(\mathcal{I} \left(\theta \right) \right)}_{i, j}
=
- \operatorname{E}
\left[\left.
 \frac{\partial^2}{\partial\theta_i \, \partial\theta_j} \log f(X;\theta)
\right|\theta\right]\,.

Katso myös[muokkaa | muokkaa wikitekstiä]

Lähteet[muokkaa | muokkaa wikitekstiä]

  • Frieden, B. Roy (2004) Science from Fisher Information: A Unification. Cambridge Univ. Press. ISBN 0-521-00911-1.
  • Schervish, Mark J. (1995) Theory of Statistics, New York, Springer, kappale 2.3.1, ISBN 0-387-94546-6