Spindel (internet)

Från Wikipedia
Hoppa till: navigering, sök
Ett felmeddelande om att Wayback Machines spindel inte kan utföra sitt jobb på grund av Facebooks robots.txt-fil.

En spindel är ett datorprogram som automatiskt hämtar webbsidor från webben och hittar nya sidor att hämta genom att följa hyperlänkarna i sidorna vidare. Spindlar används exempelvis av sökmotorer som Google för att skapa och hålla uppdaterat sitt index över innehållet på webben. Dessa spindlar söker igenom allt på de webbsidor de hittar till. Om inte domänen i fråga innehåller en special textfil som ger vissa kommandon åt dessa spindlar. Denna fil brukar kallas robots.txt och kan utesluta delar eller hela hemsidor.

Om en spindel inte hittar något kan det bero på att filen robots.txt inte tillåter spindeln att indexera sidan, eller att spindeln inte kan hitta till sidan på grund av brist på hyperlänkar.