Malliromahdus
Malliromahdus (eng. model collapse), joka tunnetaan myös nimellä tekoälyn romahdus (eng. AI collapse), tarkoittaa synteettisellä datalla koulutetun generatiivisen tekoälymallin tuotoksen asteittaista rappeutumista. Käytännössä tämä tarkoittaa sitä, että uudet kielimallit koulutetaan netissä olevalla aineistoilla, johon sisältyy myös aikaisempien kielimalliversioiden tuotokset.[1][2][3][4][5]
Tämän prosessin toistaminen mallisukupolvesta toiseen muodostaa niin sanotun autofaagisen (itseään kuluttavan) silmukan[6].
Teoreettiset ja empiiriset analyysit ovat osoittaneet, että ilman riittävästi tuoretta todellista dataa jokaisessa autofaagisen silmukan sukupolvessa, tulevaisuuden generatiiviset mallit ovat tuomittuja menettämään asteittain laadun (tarkkuuden) tai monimuotoisuuden (haun kattavuus, tunnistamistarkkuus eli kyky tunnistaa erilaisia tapauksia koulutusdatasta)[6]. Siksi mallin romahtamista on kutsuttu myös nimellä autofagia-häiriöksi (engl. Model Autophagy Disorder, MAD), joka on analoginen hullun lehmän taudin kanssa[6].
Katso myös[muokkaa | muokkaa wikitekstiä]
Lähteet[muokkaa | muokkaa wikitekstiä]
- ↑ Hallamaa, Teemu: Tekoälyn tuottaman sisällön pelätään saastuttavan internetin – tutkijat ennustavat synteettisen sisällön horjuttavan tulevia kielimalleja Yle Uutiset. 4.7.2023. Arkistoitu 10.3.2024. Viitattu 10.3.2024.
- ↑ Mok, Aaron: A disturbing AI phenomenon could completely upend the internet as we know it Business Insider. 29.8.2023. Arkistoitu 29.8.2023. Viitattu 10.3.2024. (englanniksi)
- ↑ Shumailov, Ilia; Shumaylov, Zakhar; Zhao, Yiren; Gal, Yarin; Papernot, Nicolas; Anderson, Ross: The Curse of Recursion: Training on Generated Data Makes Models Forget. arXiv, 31.5.2023. arXiv:2305.17493. doi:10.48550/arXiv.2305.17493. (englanniksi)
- ↑ Ozsevim, Ilkhan: Research finds ChatGPT & Bard headed for 'Model Collapse' AI Magazine. 20.6.2023. BizClik Media. Arkistoitu 10.3.2024. Viitattu 10.3.2024. (englanniksi)
- ↑ Dohmatob, Elvis & Feng, Yunzhen & Kempe, Julia: Model Collapse Demystified: The Case of Regression. arXiv, 12.2.2024. arXiv:2402.07712. doi:10.48550/arXiv.2402.07712. (englanniksi)
- ↑ a b c Alemohammad, Sina; Casco-Rodriguez, Josue; Luzi, Lorenzo; Humayun, Ahmed Imtiaz; Babaei, Hossein; LeJeune, Daniel; Siahkoohi, Ali; Baraniuk, Richard G.: Self-Consuming Generative Models Go MAD. (arkistoitu 19.4.2024) Self-Consuming Generative Models Go MAD, 16.3.2024. The Twelfth International Conference on Learning Representations. Artikkelin verkkoversio (PDF). Viitattu 19.4.2024. (englanniksi)