Suurimman uskottavuuden estimointi

Wikipedia
Loikkaa: valikkoon, hakuun

Suurimman uskottavuuden estimointi on tunnettu tilastotieteellinen menetelmä, jota käytetään päätelmien tekemiseen annetun aineiston taustalla olevan todennäköisyysjakauman parametreista.

Määritelmä yksityiskohtaisesti[muokkaa | muokkaa wikitekstiä]

Uskottavuusfunktio on aineiston (data) todennäköisyysjakauma jota käsitellään tuntemattomien parametrien funktiona. Tuntemattomien parametrien suurimman uskottavuuden estimaattori (MLE) maksimoi uskottavuusfunktion arvon.

  • \theta on vektori, joka sisältää uskottavuusfunktion parametrit
  • \{x_1,x_2,x_3 \cdots x_n\} on n havainnon otos (data)
  • f_{\theta} on datan todennäköisyysjakauman tiheysfunktio

Uskottavuusfunktio on määritelty seuraavasti

 
 \mathcal{L}(\theta) = f_{\theta}(x_1,\dots,x_n \mid \theta).\,\!

Menetelmä etsii \theta:lle sellaisen estimaatin, joka maksimoi uskottavuusfunktion L(θ) arvon. Suurimman uskottavuuden estimaattori määritellään siis seuraavasti:

\widehat{\theta} = \underset{\theta}{\operatorname{arg\ max}}\ \mathcal{L}(\theta).

Usein oletetaan, että havainnot ovat toisistaan riippumattomia ja samoin jakautuneita. Tällöin voidaan lauseke kirjoittaa muotoon

\mathcal{L}(\theta) = \prod_{i=1}^n f_{\theta}(x_i \mid \theta).

Koska lineaarisen ja logaritmisen funktion ääriarvot löytyvät samoista pisteistä, voidaan sama esittää myös logaritmifunktioiden avulla, jolloin kertolaskun sijaan voidaan käyttää summaa


\widehat{\theta} = \underset{\theta}{\operatorname{arg\ max}}\ \mathcal{L}(\theta) = \underset{\theta}{\operatorname{arg\ max}} \prod_{i=1}^n f_{\theta}(x_i \mid \theta) = \underset{\theta}{\operatorname{arg\ max}} \sum_{i=1}^n \log f_{\theta}(x_i \mid \theta).

Tämän funktion maksimiarvot voidaan löytää matemaattisen optimoinnin menetelmillä esimerkiksi ratkaisemalla \theta:n arvo derivaatan nollakohdassa


\frac{\partial}{\partial \theta} \sum_{i=1}^n \log f_{\theta}(x_i \mid \theta) = 0.

Lisätietoa muualta[muokkaa | muokkaa wikitekstiä]

  • In Jae Myung: Tutorial on maximum likelihood estimation. Journal of Mathematical Psychology, 2002. [1]
  • Stock, James H. - Watson, Mark W.: Introduction to Econometrics. Addison Wesley, 2003.
Tämä matematiikkaan liittyvä artikkeli on tynkä. Voit auttaa Wikipediaa laajentamalla artikkelia.