Robotin rajausstandardi

Wikipedia
Loikkaa: valikkoon, hakuun

Robotin rajausstandardi (robots.txt) on WWW-palvelimen juurihakemistoon sijoitettava tiedosto, jolla voidaan antaa tietoja ja rajoituksia hakuroboteille ja muille verkkosivuja tutkiville boteille. Sillä voidaan esimerkiksi kieltää kaikkia robotteja tai vain yksittäisiä hakukoneita tutkimasta joitakin verkkosivuston kansioita tai tiedostoja.

robots.txt-standardi sai alkunsa sähköpostilistalla vuonna 1994, eikä sitä valvo tai kehitä mikään virallinen elin. Alkuperäiseen standardiin kuuluu vain kaksi ilmaustyyppiä: Disallow kertoo mitä botilta kielletään ja User-agent mitä bottia kielto koskee. Sittemmin suosituimmat hakukoneet ovat alkaneet huomioida uusia komentoja, joita kaikki botit eivät kuitenkaan tunnista.

Esimerkki[muokkaa | muokkaa wikitekstiä]

User-agent: Fasterfox
Disallow: /           # kielletään koko sivusto

# kielletään hakemisto, sen sisältämät tiedostot ja alihakemistot
User-agent: Googlebot
User-agent: MSNBot
Disallow: /hakemisto/

# sallitaan kaikki muille boteille
User-agent: *
Disallow: 

Esimerkin robots.txt-tiedostossa kielletään yhdeltä botilta koko sivuston käyttö, kahdelta botilta hakemisto ja sallitaan koko sivusto kaikille muille boteille. Tiedostoon voi merkitä kommentteja, jotka alkavat #-merkillä.

Aiheesta muualla[muokkaa | muokkaa wikitekstiä]

Tämä tietotekniikkaan liittyvä artikkeli on tynkä. Voit auttaa Wikipediaa laajentamalla artikkelia.