Fisher-informaatio

Matemaattisessa tilastotieteessä ja informaatioteoriassa Fisher-informaatio voidaan määritellä pistemääräfunktion varianssina, tai havaitun informaation odotusarvona. Bayesiläisessä tilastotieteessä posteriorin asymptoottinen jakauma riippuu Fisher-informaatiosta, eikä priorista. Fisher-informaatiota käytetään bayesiläisessä tilastotieteessä myös Jeffreysin priorin laskemiseen.

Määritelmä

Fisher-informaatiota merkitään ${\mathcal {I}}(\theta )$ ja sen tarkoitus on mitata kuinka paljon informaatiota havaittu aineisto $X$ sisältää parametrista $\theta$. Koska pistemääräfunktion ensimmäinen momentti, eli odotusarvo on nolla niin sen varianssiksi, eli Fisher-informaatioksi, saadaan sen toinen momentti:

${\mathcal {I}}(\theta )=\operatorname {E} \left[\left.\left({\frac {\partial }{\partial \theta }}\log f(X;\theta )\right)^{2}\right|\theta \right]=\int \left({\frac {\partial }{\partial \theta }}\log f(X;\theta )\right)^{2}f(X;\theta )\;dX,$

Mikäli log f(x; θ) on mahdollista derivoida kahdesti, voidaan Fisher-informaatio esittää myös muodossa:

${\mathcal {I}}(\theta )=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log f(X;\theta )\right|\theta \right]\,.$

Fisher-informaation voidaankin katsoa mittaavaan kaarevuutta suurimman uskottavuuden estimaatin ${\hat {\theta }}$ lähellä. Itseisarvoltaan pienen Fisher-informaation omaavien uskottavuusfunktioiden kuvaajat ovat tasaisia ja sisältävät vähän informaatiota, kun taas paljon informaatiota sisältävien kuvaajat ovat kaarevampia ja Fisher-informaatio itseisarvoltaan suurempia.

Ominaisuuksia

Additiivisuus

Fisher-informaatio on additiivista. Toisistaan riippumattomien otosten sisältämän informaation määrä on otosten Fisher-informaatioiden summa.

${\mathcal {I}}_{X,Y}(\theta )={\mathcal {I}}_{X}(\theta )+{\mathcal {I}}_{Y}(\theta )$

Tyhjentävyys

Tyhjentävän tunnusluvun sisältämä Fisher-informaatio on sama kuin otoksen $X$. Jos $T(X)$ on tyhjentävä tunnusluku parametrille $\theta$, niin silloin

$f(X;\theta )=g(T(X),\theta )h(X)\!$

joillekin funktioille g ja h.

Matriisimuoto

Olkoon N parametria siten, että $\theta$ on N × 1 vektori $\theta ={\begin{bmatrix}\theta _{1},\theta _{2},\dots ,\theta _{N}\end{bmatrix}}^{\mathrm {T} },$ niin Fisher-informaatiomatriisi on N × N matriisi:

${\left({\mathcal {I}}\left(\theta \right)\right)}_{i,j}=\operatorname {E} \left[\left.\left({\frac {\partial }{\partial \theta _{i}}}\log f(X;\theta )\right)\left({\frac {\partial }{\partial \theta _{j}}}\log f(X;\theta )\right)\right|\theta \right].$

Fisher-informatiomatriisi on N × N positiivisesti semidefiniitti symmetrinen matriisi. Tietyin oletuksin tämä matriisi voidaan esittää muodossa:

${\left({\mathcal {I}}\left(\theta \right)\right)}_{i,j}=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta _{i}\,\partial \theta _{j}}}\log f(X;\theta )\right|\theta \right]\,.$

Katso myös

• Jeffreysin priori
• Kullback–Leibler divergenssi

Lähteet

• Frieden, B. Roy (2004) Science from Fisher Information: A Unification. Cambridge Univ. Press. ISBN 0-521-00911-1.
• Schervish, Mark J. (1995) Theory of Statistics, New York, Springer, kappale 2.3.1, ISBN 0-387-94546-6