Takaisinkytketty neuroverkko

Wikipediasta
Siirry navigaatioon Siirry hakuun
Avattu takaisinkytketty neuroverkko

Takaisinkytketty neuroverkko (engl. recurrent neural network) on neuroverkkoarkkitehtuuri, jossa syötteiden informaatio kulkee aika-askelittain eteenpäin. Toisin kuin tavalliset eteenpäin suunnatut neuroverkot, takaisinkytketyt neuroverkot voivat käyttää sisäistä tilaa (muistia) syötteiden käsittelemiseen. Takaisinkytketyt neuroverkot ovatkin omiaan ajallisesti jäsennetyn datan, kuten käsinkirjoituksen, tekstin tai puheen käsittelyyn.

Tavalliset takaisinkytketyt neuroverkot kärsivät katoavan gradientin ongelmasta. Mitä kauemmas aika-akselilla mennään, sitä vähemmän muutokset vaikuttavat lopputulokseen, ja sitä vaikeampi on oppia syy-seuraussuhteita. Esimerkiksi kieltä tuottava verkko oppii hyvin parin sanan mittaisia syy-seurausketjuja, mutta kymmenen sanan päähän ulottuva oppiminen on jo miltei mahdotonta. Katoavan gradientin ongelmaan on kehitetty ratkaisuksi pitkäkestoinen lyhytkestomuisti -arkkitehtuuri (engl. Long Short Term Memory, lyh. LSTM). Tällainen verkko pitää yllä sekä tulos- (output) että piilotettua (hidden) muistikerrosta. LSTM-arkkitehtuuri parantaa huomattavasti pitkien syy-seurausketjujen oppimista.

Tämä tietotekniikkaan liittyvä artikkeli on tynkä. Voit auttaa Wikipediaa laajentamalla artikkelia.