Lisätty todellisuus

Wikipedia
Loikkaa: valikkoon, hakuun

Lisätty todellisuus (engl. augmented reality) viittaa näkymään, johon on lisätty tietokonegrafiikalla tuotettuja elementtejä ja jota käyttäjä tarkastelee läpikatseltavien (see-through) näyttöjen kautta. Se on siis järjestelmä, jossa keinotekoista, tietokoneella tuotettua tietoa (kuva, ääni, video, teksti, GPS-informaatio) on lisätty näkymään todellisesta ympäristöstä.

Määritelmä[muokkaa | muokkaa wikitekstiä]

Schnabelin jatkumo
Milgramin jatkumo

Yhdysvalloissa asuva Ronald Azuma määritteli vuonna 1997 lisätyn todellisuuden seuraavasti:[1]

  • Yhdistää todelliset ja virtuaaliset objektit todellisessa ympäristössä
  • Toimii interaktiivisesti ja reaaliaikaisesti
  • Kohdistaa todelliset ja virtuaaliset objektit toistensa kanssa

Lisätty todellisuus liittyy laajempaan tehostetun todellisuuden (mixed reality) käsitteeseen, joka voidaan nähdä liukuvana jatkumona kevyesti lisätystä todellisuudesta kohti täydellisempää immersiota virtuaalitodellisuuteen.[2][3]

Historia ja kehitysvaiheet[muokkaa | muokkaa wikitekstiä]

1957–1962: Elokuvien tekijä Morton Heilig keksi ja patentoi Sensoraman, laitteen joka yhdistää kuvaa, ääntä, tärinää ja tuoksuja.

1966: Ivan Sutherland keksi silmikkonäytön – "ikkuna virtuaalimaailmaan".

1975: Myron Krueger kehitti Videoplacen, joka mahdollistaa käyttäjän vuorovaikutuksen virtuaalisten esineiden kanssa.

1989: Jaron Lanier lanseerasi käsitteen virtuaalitodellisuus ja luo ensimmäisen virtuaalimaailmoihin keskittyneen kaupallisen yrityksen.

1990: Tom Caudell lanserasi "lisätyn todellisuuden" käsitteen työskennellessään Boeingilla.

1992: L.B. Rosenberg kehitti yhden ensimmäisistä lisätyn todellisuuden järjestelmistä USA:n ilmavoimien tutkimuslaboratoriossa ja demonstroi sen hyödyllisyyttä ihmisen toimintakyvylle.

1992: Steven Feiner, Blair MacIntyre ja Doree Seligmann kirjoittivat ensimmäisen merkittävän tutkimuksen virtuaalisen todellisuuden järjestelmän prototyypistä (KARMA) Graphics Interface- konferenssissa. Laajasti viitattu artikkeli julkaistaan vuonna 1993.[4]

1993: Loral WDL suoritti ensimmäisen demonstraation joka yhdistää AR-ohjatut ajoneuvot ja ihmisten käyttämät simulaattorit. (Unpublished paper, J. Barrilleaux, "Experiences and Observations in Applying Augmented Reality to Live Training", 1999.)

1994: Julie Martin loi ensimmäisen AR-teatteriproduktion, Australia Council for the Artsin rahoittaman esityksen Dancing In Cyberspace, joka esittää tanssijoiden ja akrobaattien ohjaamia, ihmisen kokoisia virtuaalisia objekteja reaaliajassa, heijastettuna samalle näyttämölle. Akrobaatit sekoittuvat virtuaaliseen ympäristöön. Installaatio käyttää Silicon Graphicsin tietokoneita ja Polhemus- järjestelmää.

1994: Paul Milgram määritteli virtuaalisen jatkumon. Lisätty todellisuus on sijoittuu tässä jatkumossa laajennetun todellisuuden alakäsitteen alle.

1997: Ronald Azuma julkaisi lisätyn todellisuuden kentän määrittelevän tutkimusraportin.

2000: Bruce H. Thomas kehitti ARQuaken, ensimmäisen lisätyn todellisuuden ulkoilmapelin. Tämä esitellään International Symposium on Wearable Computers -konferenssissa.

2002: Steven Feinero esitteli tutkimuksen "Augmented Reality: A New Way of Seeing: Computer scientists are developing systems that can enhance and enrich a user's view of the world". Scientific American, April 2002.

2005: Ensimmäinen kameralaitteisto, joka kykeni analysoimaan fyysisen ympäristön reaaliajassa ja suhteuttamaan reaalisen tilan ja virtuaaliobjektit toisiinsa. Tämä toimii myöhempien todellisia ympäristöjä ja virtuaalisia objekteja yhdistävien lisätyn todellisuuden järjestelmien pohjana.

2005: Daniel Palanker, Alexander Vankov ja Phil Huie kehittivät "bionisen silmän".

2007: Ensimmäiset lääketieteelliset sovellukset, muun muassa MS-potilaiden tasapainoa visuaalisin signaalein parantava järjestelmä.

2008: Wikitude AR Travel Guide julkaistiin Android-puhelimille.

2009: Saqoshan kehittämä FLARToolkit käännettiin Adobe Flash -ympäristöön, tuoden näin lisätyn todellisuuden työkalut verkkoselaimille.

Teknologia[muokkaa | muokkaa wikitekstiä]

Laitteisto[muokkaa | muokkaa wikitekstiä]

Näytöt[muokkaa | muokkaa wikitekstiä]

Lisätyn todellisuuden näyttöteknologiat voidaan jakaa kolmeen kategoriaan

  1. päässä pidettävä (head worn)
  2. kädessä pidettävä (handheld)
  3. projisoitava (projective)
Päässä pidettävät näytöt[muokkaa | muokkaa wikitekstiä]

Päässä pidettävät näytöt voidaan jakaa kahteen luokkaan, optisiin näyttöihin ja videonäyttöihin. Optisissa näytöissä käyttäjä näkee todellisuuden läpinäkyvän pinnan läpi ja virtuaalinen informaatio liitetään tähän pintaan. Videonäytöissä todellisuus kuvataan päässä pidettävän kameran läpi ja tämä informaatio liitetään virtuaaliseen informaatioon ennen sen esittämistä käyttäjälle näytön kautta.

Optinen näyttö

Molemmilla näyttötekniikoilla on omat hyvät ja huonot puolensa. Optinen näyttö on selkeästi parempi esittämään kuvaa reaalimaailmasta, koska tätä kuvaa ei ole tarpeen käsitellä mitenkään tai esittää näytöstä, jonka erottelukyky ei vastaa silmän erottelukykyä. Optinen näyttö myös säilyttää silmien syvyysvaikutelman muuttumattomana, kun taas videonäytöissä syvyysvaikutelma on toteutettava stereonäyttöjen avulla. Stereonäytöissä molemmille silmille on oma näyttö sekä oma kamera, jotka kuvaavat todellisuutta samoilta paikoilta kuin silmät luoden syvyysvaikutelman. Optinen näyttö on huonompi todellisuuden ja virtuaalisen informaation yhdistämisessä uskottavasti, koska virtuaalista informaatiota ei saada esitettyä niin, että se peittäisi kokonaan todellisen näkymän. Tällöin seurauksena voi olla haamukuvamainen vaikutelma, joka voi haitata informaation havaittavuutta.

Optisten näyttöjen toinen ongelma on niiden jokaiselle käyttäjälle erikseen tehtävä aikaa vievä kalibrointi. Kalibrointia tarvitaan, jotta virtuaalinen informaatio saadaan kohdistettua tarkasti todelliseen näkymään. Käytännössä optiset näytöt täytyy kalibroida joka kerta, kun ne otetaan pois ja laitetaan takaisin päähän tai kun näytön etäisyys käyttäjän silmistä muuttuu.

Optisten ja virtuaalisten näyttöjen lisäksi eräs kehitysasteella oleva teknologia on virtuaalinen verkkokalvonäyttö (virtual retinal display) [5]. Tekniikka perustuu matalatehoiseen laseriin, jolla piirretään kuva suoraan käyttäjän verkkokalvolle. Tulevaisuudessa saattaa myös olla mahdollista hankkia silmään verkkokalvolle asennettava implantti, johon virtuaalinen informaatio voidaan välittää suoraan.

Kädessä pidettävät näytöt[muokkaa | muokkaa wikitekstiä]

Kädessä pidettävä näyttö voi olla esimerkiksi kannettava tietokone tai matkapuhelin varustettuna kameralla, jolloin laitteen näytöllä esitetään kameran kautta kuvattu ympäristö täydennettynä lisätyn todellisuuden informaatiolla. Kannettavien tietokoneiden heikkoutena on niiden kalleus, melko suuri koko ja lyhyt käyttöaika suuren virrankulutuksen vuoksi, matkapuhelimissa puolestaan pienet näytöt sekä tehoiltaan vaatimattomat prosessorit. Matkapuhelinten ja kämmentietokoneiden ominaisuuksien kehittyessä ja hintojen laskiessa nopeasti niistä on tullut houkuttelevia vaihtoehtoja lisätyn todellisuuden näyttölaitteiksi. Lähes kaikissa matkapuhelimissa on kamera sekä muita lisätyn todellisuuden mahdollistavia teknologioita, kuten kompassi ja GPS.

Vaikka vaikuttaisikin siltä, että matkapuhelinten pienet näytöt olisivat huonoja lisätyn todellisuuden informaation esittämiseen, Hwangin ja kumppaneiden 2006 tekemässä tutkimuksessa [6] todetaan, että käyttäjän saadessa liikuttaa ruutua vapaasti luo se uppoutumisen elämyksen, joka on verrattavissa näkymään suuremmalla näytöllä.

Suomessa merkittäviä tutkimuksia aiheesta ovat Nokian MARA sekä VTT:n lisätty todellisuus- työryhmän tutkimukset [7]

Projektionäytöt[muokkaa | muokkaa wikitekstiä]

Tänä päivänä videoprojektori ei ole enää keskikokoista matkapuhelinta suurempi, ja tämän vuoksi kiinnostun kannettavia videoprojektoreja kohtaan lisätyn todellisuuden näyttölaitteina on lisääntynyt. Massachusetts Institute on Technologyssa (MIT) on kehitetty SixthSense- järjestelmä, joka hyöfyntää kannettavaa projektoria virtuaalisen informaation heijastamiseen mille pinnalle tahansa, esimerkiksi sanomalehden pinnalle. [8].

Projektoreita on aiemmin tutkittu käytettäväksi mm. lääketieteellisissä sovelluksissa, koska leikaussalissa lisätty todellisuus olisi helpompaa toteuttaa paikallaan olevalla projektorilla kuin tarkkaa kalibrointia ja reaaliaikaista seurantaa vaativalla päässä pidettävällä näytöllä. [9].

Seuranta (tracking)[muokkaa | muokkaa wikitekstiä]

Yksi lisätyn todellisuuden yleistymistä rajoittava ongelma on todellisuuden ja virtuaalisen informaation kohdistaminen. Todellisen ja virtuaalisen informaation täytyy olla tarkasti toisiinsa kohdistettua, jotta informaation yhtenäisyyden illuusio ei hajoaisi.

kohdistusongelman ratkaisuun voidaan käyttää useita seurantamenetelmiä [10]. Useita menetelmiä vaaditaan, koska yksi menetelmä voi toimia hyvin jossain tilanteessa, mutta pettää täysin toisessa tilanteessa. Esimerkiksi GPS voi toimia hyvin ulkotiloissa mutta menettää sisätiloissa välttämättömän yhteyden GPS- satelliitteihin. Usein käytetäänkin usean eri menetelmän yhdistelmää, jotta varmistetaan luotettavin ja tarkin seuranta sekä kohdistus. Näitä menetelmiä ovat mm. kiihtyvyysanturit, gyroskoopit, ultraääni, magneettikentät, GPS- seuranta sekä optinen seuranta.

Interaktio[muokkaa | muokkaa wikitekstiä]

Jotta käyttöliittymät olisivat intuitiivisia ja helppokäyttöisiä, tulee myös käyttäjän interaktioon virtuaalisen tiedon kanssa kehittää mahdollistavaa teknologiaa. Yksinkertaisimmillaan interaktio toteutetaan tietokoneen näppäimistön ja hiiren avulla, mutta tämä ei ole helppokäyttöisin interaktiomalli käytettäessä järjestelmää, jota ei välttämättä käytetä pöydän ääressä. Käytettäessä kämmenessä pidettävää näyttöä voidaan hyödyntää esimerkiksi kosketusnäyttöä.

MIT:n SixthSense- järjestelmässä interaktio on toteutettu erivärisillä sormiin asetettavilla seurantamerkeillä. Näiden avulla järjestelmä tunnistaa kameran kuvasta, missä mikäkin merkitsevä sormi sijaitsee, ja tekee päätökset interaktiosta sen perusteella. [11]

Tinmith- järjestelmässä interaktioon käytetään käsineitä, joihin on yhdistetty seurantamerkit sekä käyttäjän sormien painallukset tunnistava laitteisto. [12]

Tietokone[muokkaa | muokkaa wikitekstiä]

Tietokone analysoi visuaalisen datan ja paikkatiedot ja käyttää näitä tietoja reaalisen näkymän ja lisätyn todellisuuden elementtien mahdollisimman täsmälliseen yhdistämiseen.

Sovellusalueet[muokkaa | muokkaa wikitekstiä]

Lisätyn todellisuuden sovellukset voidaan jaotella useaan eri luokkaan Ronald T. Azuman ja kumppaneiden kirjoittamien artikkeleiden perusteella. Vuonna 1997 Azuma lajitteli artikkelissaan sovellukset kuuteen eri luokkaan käyttötarkoituksen mukaan[1]. Myöhemmässä artikkelissa vuonna 2001 Azuma ja kumppanit lajittelivat lisätyn todellisuuden sovellukset hieman yleisempiin kategorioihin:

  • kannettaville laitteille suunnatut,
  • yhteistyön mahdollistavat ja
  • kaupalliset sovellukset.[13]

On huomioitava myös muita sovellusryhmiä, joista osa on myös mainittu Azuman aiemmassa artikkelissa ja joiden sovittaminen edellä mainittuihin kategorioihin on hankalaa, mutta kyse on kuitenkin hyvin tärkeistä sovellusalueista:

  • lääketiede,
  • asentaminen ja kunnossapito
  • sotilasilma-alukset
  • rakentaminen[14] [1]

Kannettavat laitteet[muokkaa | muokkaa wikitekstiä]

Kannettavien laitteiden käyttöä on tutkittu pitkään etukäteen valmistelluissa sisätiloissa [13]. Yhtenä esimerkkinä on NaviCam, joka perustuu kannettavan videokameran kuvaan [15]. Liikuttavalle alueelle on asetettu laitteiston tunnistamia kuvia (fiducials), joiden perusteella ympäristöön voidaan asettaa lisätyn todellisuuden objekteja, kuten tietoa uusista julkaisuista, jotka löytyvät kirjahyllystä[13].

Ensimmäinen ulkoilmaan suunniteltu sovellus oli Touring Machine, joka kehitettiin Kolumbian yliopistossa. Sovellus näyttää käyttäjälle tietoja ympäristöstä, esimerkiksi talojen nimiä ja niihin liittyviä tietoja. Sovellusta on kehitetty niin, että nykyään on mahdollista näyttää vanhoja jo purettuja rakennuksia ympäri yliopiston aluetta ja osoittaa reittejä, joita pitkin käyttäjä pääsee haluamaansa kohteeseen. Toinen samankaltainen järjestelmä (Battlefield Augmented Reality System) on kehitetty The Naval Research Lab:n toimesta. Järjestelmän avulla voidaan ympäristöön lisätä 3D objekteja, kuten vaarallisia alueita ja sotilasoperaatioiden kohteita. Samankaltaista alustaa hyödyntää myös ARQuake, jossa käyttäjä näkee todellisessa maailmassa virtuaaliobjekteja eli vihollisia ja pyrkii tuhoamaan ne [16]. Nähtävyyksiä pyritään elävöittämään kannettavien laitteiden avulla, mistä hyvänä esimerkkinä on Archeoguide-projekti[17].[13]

Yhteistyö[muokkaa | muokkaa wikitekstiä]

Useat lisätyn todellisuuden sovelluksista hyötyvät mahdollisuudesta, että useampi ihminen voi samaan aikaan katsella, keskustella ja olla vuorovaikutuksessa kolmiulotteisten mallien kanssa. Voidaan erotella kaksi toisistaan poikkeavaa tapaa, joiden avulla voidaan toteuttaa yhteistyön mahdollistava vuorovaikutus.[13]

Mille tahansa tasaiselle pinnalle heijastetaan projektorin avulla lisätyn todellisuuden objekteja, jotka on mahdollista kaikkien nähdä ja olla vuorovaikutuksessa, mutta samalla mahdollisuudet ovat hyvin rajatut ja sidotut kyseiseen pintaan. Esimerkkinä voidaan pitää J.Rekimoton esittelemää lisätyn todellisuuden tasoa, jolle voidaan asettaa virtuaalisia objekteja kaikkien tarkasteltavaksi[18]. Toisena vaihtoehtona on toistensa kanssa synkronisoidut lasit, joiden läpi käyttäjät katsovat. Tämä mahdollistaa kolmiulotteisten objektien asettamisen mihin tahansa ympäristöön. Esimerkkinä järjestelmästä on Studierstube [19], joka käyttää apuna laseja, joiden avulla käyttäjät voivat olla vuorovaikutuksessa kolmiulotteisten objektien kanssa.[13]

On myös esitetty useita vaihtoehtoisia järjestelmiä, jotka mahdollistaisivat käyttäjäkohtaisesti muokattavan käyttöliittymän. Tämä lisäisi mahdollisuuksia lisätä yksityistä tietoa, jota muut eivät voi nähdä, mutta samalla antaa eritasoisille käyttäjille lisätä enemmän tietoa omaan näkymään, mikä helpottaa heidän työskentelyään.[13]

Kaupallinen[muokkaa | muokkaa wikitekstiä]

Lisättyä todellisuutta on hyödynnetty useaan otteeseen kaupalliseen tarkoitukseen. Erityisesti urheilussa on voitu hyödyntää lisättyä todellisuutta tuomalla tv-lähetykseen lisäsisältöä, joka helpottaa lähetyksen seuraamista, kuten FoxTrax -järjestelmä, jota on hyödynnetty jääkiekossa helpottamaan kiekon huomaamista. [13]

Suomessa rakennusalan tiettävästi ensimmäinen kaupallinen lisättyä todellisuutta käyttävä palvelu on FCG Finnish Consulting Groupin ja VTT:n yhteistyönä tarjoama paikkamallinnus, jota käytetään rakennusten ja aluesuunnitelmien havainnollistamiseen paikan päällä. Palvelua on käytetty mm. Helsingin kaupungin suunnitteluhankkeissa (www.fcg.fi/paikkamallinnus).

Lääketiede[muokkaa | muokkaa wikitekstiä]

Lääkäreille lisätty todellisuus tuo paremman näkymän ihmisen sisään ja toimii apuna kirurgian harjoittelussa. Erilaisilla kuvausmenetelmillä, kuten magneettikuvaus, tietokonetomografia tai ultraäänikuvaus, voidaan luoda näkymä ihmisen "sisään", mikä helpottaa esimerkiksi tähystysleikkauksia. Lisätty todellisuus antaa mahdollisuuden ohjata neulaa ihmisruumiin sisällä, mikä helpottaa esimerkiksi koepalan ottamisen rintasyöpätutkimuksissa[20].[1]

Asennus ja kunnossapito[muokkaa | muokkaa wikitekstiä]

Asennusta ja kunnossapitoa pyritään helpottamaan luomalla kolmiulotteinen näkymä henkilön silmien eteen ja näyttämällä vaihe kerrallaan miten asennus tai korjaus pitää tehdä. Samalla järjestelmällä voidaan lähettää kuva eri asiantuntijoille, jotka voivat neuvoa korjaajaa [21] . Erityisesti digitaaliseen ympäristöön siirretty ohjeistus helpottaa monimutkaisten järjestelmien korjaamista, kuten lentokoneiden sähköjärjestelmät.[1]

Sotilasilma-alukset[muokkaa | muokkaa wikitekstiä]

Sotilaslentokoneissa ja -helikoptereissa on käytössä heijastusnäyttö ja kypärään asennettu näyttö, jotka auttavat lentäjää näyttämällä esimerkiksi navigointia helpottavaa tietoa. Laitteistolla voidaan osoittaa kohteita maassa ja ilmassa, jotka ovat oleellisia sotilasoperaatioiden kannalta. On myös mahdollista ohjata esimerkiksi helikopterin tykkiä pelkän katseen avulla, joka helpottaa tähtäämistä.[1]

Rakentaminen[muokkaa | muokkaa wikitekstiä]

Ennen rakentamisen aloittamista lisätyn todellisuuden avulla voidaan luoda tulevalle ostajalle realistinen kuva rakennettavasta talosta vaikka suoraan tontilla. Suunnitteluvaiheessa on mahdollista tulevaisuudessa sovittaa esimerkiksi ovet ja ikkunat paikoilleen, mikä antaa suunnittelijalle paremman kuvan suunniteltavasta rakennuksesta. Varsinaisessa rakennusvaiheessa voidaan osoittaa mistä esimerkiksi viemäriputket menevät, joka auttaa maansiirtokoneiden kuljettajia muokkaamaan maata oikealla tavalla. Toisin sanoen erityisesti rakentamisessa on useita osa-alueita, joissa voidaan hyödyntää lisättyä todellisuutta ja samalla helpottaa tulevaisuuden rakentamista.[14]

Lähteet[muokkaa | muokkaa wikitekstiä]

Viitteet[muokkaa | muokkaa wikitekstiä]

  1. a b c d e f Ronald T. Azuma: A Survey of Augmented Reality Viitattu 26.1.2012.
  2. "A Taxonomy Of Mixed Reality Displays, Milgram & Kishino: http://web.cs.wpi.edu/~gogo/hive/papers/Milgram_IEICE_1994.pdf"
  3. "Schnabel, Marc Aurel, Xiangyu Wang, Hartmut Seichter, Tom Kvan: From Virtuality to Reality and Back http://www.sd.polyu.edu.hk/iasdr/proceeding/papers/From Virtuality to Reality and Back.pdf"
  4. Wellner, P., Mackay, W. and Gold, R. (Editors), (July 1993) Computer Augmented Environments: Back to the Real World. Special Issue of Communications of the ACM, July, Vol. 36, No. 7, p 24-26.
  5. Pryor, Furness & Viirre 1998 http://www.hitl.washington.edu/publications/r-98-21/r-98-21.pdf
  6. Hwang, Jung & Kim 2006
  7. MARA 2010, VTT 2010
  8. SixthSense 2010
  9. Tardif, Roy & Meunier 2003
  10. Rolland, Baillot & Goon 2001
  11. SixthSense 2010
  12. Avery, Smith, Piekarsky & Thomas 2008
  13. a b c d e f g h Ronald T. Azuma et al.: Recent Advances in Augmented Reality Viitattu 26.1.2012.
  14. a b Mika Suhonen: Lisätyn todellisuuden käyttö rakentamisessa Viitattu 26.1.2012.
  15. YouTube NaviCam Viitattu 27.1.2012.
  16. ARQuake kotisivu Viitattu 27.1.2012.
  17. Archeoguide kotisivu Viitattu 27.1.2012.
  18. Rekimoto J. et al.: Augmented Surfaces: A Spatially Continuous Work Space for Hybrid Computing Environments Viitattu 3.2.2012.
  19. Szalavári Z. et al.: "Studierstube" An Environment for Collaboration in Augmented Reality Viitattu 3.2.2012.
  20. UNC Ultrasound/Medical Augmented Reality Research Viitattu 3.2.2012.
  21. Steven Henderson ja Steven Feiner: Augmented Reality for Maintenance and Repair (ARMAR) Viitattu 3.2.2012.

Aiheesta muualla[muokkaa | muokkaa wikitekstiä]