Entropia (informaatioteoria)

Entropia informaatioteoriassa kuvaa keskimääräistä epävarmuutta satunnaismuuttujan mahdollisten arvojen suhteen. Täsmällisemmin sanottuna se mittaa satunnaismuuttujan arvon kuvaamiseksi tarvittavan informaation odotusarvoa satunnaismuuttujan todennäköisyysjakauman yli. Tässä yhteydessä satunnaismuuttujan informaatiota kuvaa sen todennäköisyysjakauman käänteisluvun logaritmi, joka epäformaalisti sanottuna kertoo, kuinka yllättävä jokin tapahtuma on: mitä suurempi tapahtuman todennäköisyys on, sitä lähempänä nollaa sen käänteisluvun logaritmi on ja sitä vähemmän informaatiota tähän tapahtumaan liittyy. Käsitteen esitteli Claude Shannon vuonna 1948.

Määritelmät

Diskreetti satunnaismuuttuja

Olkoon diskreetin satunnaismuuttujan $X$ määrittelyjoukko ${\mathcal {X}}$ ja pistetodennäköisyysfunktio $p(x)$. Tällöin satunnaismuuttujan $X$ entropia on:

$H(X)=\mathbb {E} \left[\log {\frac {1}{p(X)}}\right]=\mathbb {E} [-\log p(X)]=-\sum _{x\in {\mathcal {X}}}p(x)\log p(x).$

Jatkuva satunnaismuuttuja

Olkoon jatkuvan satunnaismuuttujan $X$ määrittelyjoukko ${\mathcal {X}}$ ja tiheysfunktio $f(x)$. Tällöin satunnaismuuttujan $X$ entropia on:

$H(x)=\mathbb {E} [-\log f(X)]=-\int _{x\in {\mathcal {X}}}f(x)\log f(x)\mathrm {d} x.$

Jatkuvan satunnaismuuttujan entropiaa kutsutaan myös differentiaalientropiaksi.

Kirjallisuutta

• Cover, Thomas M.; Thomas, Joy A.: Elements of Information Theory. Hoboken, NJ: John Wiley & Sons, Inc., 2005. doi:10.1002/047174882X ISBN 9780471241959 (englanniksi)