Neuroverkot

Kuva eteenpäin kytketystä 2x5 monikerrosverkosta

Neuroverkot ovat informaation käsittelyn, matematiikan tai laskennan malleja, jotka perustuvat yhdistävään laskentaan. Warren McCulloch ja Walter Pitts esittivät ensimmäisen ihmisaivojen toimintaa ja matemaattista logiikkaa yhdistelevän laskennan mallin vuonna 1943.

Neuroverkkojen perusajatus perustuu luonnollisiin hermoverkkoihin, mutta tarkkaan luonnollisten hermoverkkojen jäljittelyyn ei nykyisin yleensä pyritä, vaan neuroverkkotekniikoiden kehittäminen perustuu enemmän esimerkiksi tilastotieteeseen ja signaalinkäsittelyn teoriaan.

Siinä kun tavallisissa asiantuntijajärjestelmissä käytetään "jos-niin"-sääntöpareja (jos raidat, niin seepra; jos pitkät korvat, niin aasi), neuroverkkoa opetetaan esimerkkien avulla (nämä ovat eri-ikäisiä seeproja, nämä aaseja). Pyritään siihen että neuroverkko oppii muuttujien epälineaariset riippuvuussuhteet suoraan havaintoaineistosta (kavioeläinesimerkissämme oppii tarkastelemaan korvia ja värin kuvioita, ei esim. jalkojen pituutta). Muilta osin neuraalilaskenta muistuttaa tilastotieteessä käytettyjä yleistettyjä lineaarisia malleja (GLM).

Neuroni

Neuroverkot koostuvat joukosta (keinotekoisia) neuroneita. Neuronit ovat yksinkertaisia, toisiinsa kytkettyjä tiedonkäsittely-yksiköitä. Neuroni koostuu seuraavista osista:

• synapseista
• summaajasta
• aktivaatiofunktiosta

Synapsi on kahden neuronin välinen kytkentä, jolle on määritelty kytkentäkohtainen paino. Käytännössä neuronin $k$ neuronille $j$ lähettämän signaalin arvo kerrotaan synaptisella painolla $w_{kj}$.

Summaajan tehtävä on laskea kaikilta syötesynapseilta tulleiden signaalien summa. Neuronin $j$ summain on

$u_k = \sum_{j=1}^m w_{kj} x_j$

missä $x_j$ ovat syötesignaaleita. Aktivaatiofunktio laskee summasta $u_k$ epälineaarisen kuvauksen

$y_k = \phi(u_k + b_k)$

missä $y_k$ on ulostulosignaali ja $b_k$ on vakiotermi (bias).

Epälineaarisuus mahdollistaa mielivaltaisen funktion approksimoimisen. Epälineaarinen aktivaatiofunktio voi olla esimerkiksi askelfunktio

$y(x) = \left\{ \begin{matrix}1, & \mbox{kun } x \ge 0 \\ 0, & \mbox{kun } x < 0 \end{matrix} \right.$

tai logistinen (sigmoidi) funktio

$y(x) = \frac{1}{1+e^{-x}}.$

Geometrisesti tulkittuna yksi rinnakkaisten neuroneiden muodostama kerros ilmaisee, kummalla puolella synaptisten painojen $\bold{w}$ määräämää tasoa syötevektorin osoittama piste $\bold{x}$ sijaitsee.

$\bold{w}^T \bold{x} + b_k \ge 0$

Neuroverkkorakenteet

Yleisin neuroverkkorakenne on eteenpäinsyöttävä verkko, jossa neuronit on jaettu kerroksiin ja kaikki edellisen kerroksen neuronit on kytketty kaikkiin seuraavan kerroksen neuroneihin.

• Eteenpäin kytketty yksikerroksinen perseptroniverkko
• Eteenpäin kytketty monikerroksinen perseptroniverkko (MLP)
• Takaisinkytketty neuroverkko

Opetus

Neuroverkkojen opettamisessa kytkentöjen synaptiset painot optimoidaan siten, että opetusnäytteiden vasteiden ja haluttujen vasteiden ero minimoituu.

Opetusnopeutta voidaan parantaa nolla-keskiarvoistamalla opetusdata ja vähentämällä opetusnäytteen piirteiden keskinäistä riippuvuutta esimerkiksi pääkomponenttianalyysillä.

Vastavirta-algoritmi

Monikerroksisten perceptron-verkkojen opetuksessa käytetään vastavirta (backpropagation) -algoritmia.

Neuroverkkojen erikoistyyppejä

• RBF-verkko
• Itseorganisoituva kartta (SOM)
• Tukivektorikone

Katso myös

• Konnektionismi
• Muisti
• Operaatiovahvistin
• Graafi
• Tekoäly
• Käänteisfunktio

Lähteet

Haykin, Simon (1999). Neural networks - A comprehensive edition. 2.painos. Prentice Hall International. ISBN 0-13-908385-5.