Robots Exclusion Standard

Från Wikipedia
Hoppa till: navigering, sök

Robots Exclusion Standard, även Robots Exclusion Protocol, robots.txt-protokoll är ett sätt att förhindra att sökrobotar eller sökspindlar, alltså datorprogram som samlar information åt söktjänsterinternet, kommer åt vissa delar av en webbplats. Anledningen kan vara att man vill undvika att inaktuella sidor eller visst material dyker upp på ett vilseledande sätt bland sökresultaten, trots att sidorna är tillgängliga för allmänheten via länkar. Metoden bygger på samarbete från söktjänsternas sida - det finns inget krav på att sökspindlar måste följa konventionen. Konventionen följer inte någon fastlagd standard, utan har utarbetats i konsensus.

Tillämpning[redigera | redigera wikitext]

Rent praktiskt tillämpas metoden i form av en fil, "robots.txt", som placeras i webbplatsens rotkatalog (/). I filen anges regler för vilka kataloger eller sidor som inte skall indexeras, och det är även möjligt att ge individuella regler för olika sökspindlar.

Exempel[redigera | redigera wikitext]

Detta exempel ger alla spindlar rätt att indexera alla sidor, eftersom jokertecknet "*" matchar alla spindlar och inga sidor anges som förbjudna ("disallow"):

User-agent: *
Disallow:

Detta exempel gör att inga sidor på webbplatsen indexeras (åtminstone inte av de robotar som följer konventionen)

User-agent: *
Disallow: /

Följande exempel förbjuder spindeln Googlebot (Googles sökspindel) att besöka alla filer i katalogen /cgi-bin/ och sidan /private/private.html

User-agent: Googlebot
Disallow: /cgi-bin/
Disallow: /private/private.html

Det finns ett antal funktioner för att styra sökspindlarnas beteende, bland annat kan deras hastighet begränsas för att minska belastningen på webbservern.

Alternativ[redigera | redigera wikitext]

Speciella HTML-taggar kan användas för att förhindra indexering av enskilda sidor eller delar av dem (till exempel bilder). Även detta bygger på sökspindlarnas utvecklares goda vilja.

Källor[redigera | redigera wikitext]