Suurimman uskottavuuden estimointi

Wikipedia

Suurimman uskottavuuden estimointi (engl. Maximum Likelihood Estimation (MLE)) on tunnettu tilastotieteellinen menetelmä, jota käytetään päätelmien tekemiseen annetun aineiston taustalla olevan todennäköisyysjakauman parametreista.

[muokkaa] Määritelmä yksityiskohtaisesti

Uskottavuusfunktio (engl. Likelihood function) on aineiston (data) todennäköisyysjakauma jota käsitellään tuntemattomien parametrien funktiona. Tuntemattomien parametrien suurimman uskottavuuden estimaattori (MLE) maksimoi uskottavuusfunktion arvon.

$θ$ on vektori, joka sisältää uskottavuusfunktion parametrit
$\{x_1,x_2,x_3 \cdots x_n\}$ on $n$ havainnon otos (data)
$f θ$ on datan todennäköisyysjakauman tiheysfunktio

Uskottavuusfunktio on määritelty seuraavasti

$\mathcal{L}(\theta) = f_{\theta}(x_1,\dots,x_n \mid \theta).\,\!$

Menetelmä etsii $θ$ :lle sellaisen estimaatin, joka maksimoi uskottavuusfunktion L(θ) arvon. Suurimman uskottavuuden estimaattori määritellään siis seuraavasti:

$\widehat{\theta} = \underset{\theta}{\operatorname{arg\ max}}\ \mathcal{L}(\theta).$

Usein oletetaan, että havainnot ovat toisistaan riippumattomia ja samoin jakautuneita. Tällöin voidaan lauseke kirjoittaa muotoon

$\mathcal{L}(\theta) = \prod_{i=1}^n f_{\theta}(x_i \mid \theta).$

Koska lineaarisen ja logaritmisen funktion ääriarvot löytyvät samoista pisteistä, voidaan sama esittää myös logaritmifunktioiden avulla, jolloin kertolaskun sijaan voidaan käyttää summaa

$\widehat{\theta} = \underset{\theta}{\operatorname{arg\ max}}\ \mathcal{L}(\theta) = \underset{\theta}{\operatorname{arg\ max}} \prod_{i=1}^n f_{\theta}(x_i \mid \theta) = \underset{\theta}{\operatorname{arg\ max}} \sum_{i=1}^n \log f_{\theta}(x_i \mid \theta).$

Tämän funktion maksimiarvot voidaan löytää matemaattisen optimoinnin menetelmillä esimerkiksi ratkaisemalla $θ$ :n arvo derivaatan nollakohdassa

$\frac{\partial}{\partial \theta} \sum_{i=1}^n \log f_{\theta}(x_i \mid \theta) = 0.$

[muokkaa] Lisätietoa muualta

In Jae Myung: Tutorial on maximum likelihood estimation. Journal of Mathematical Psychology, 2002. [1]
Stock, James H. - Watson, Mark W.: Introduction to Econometrics. Addison Wesley, 2003.