Een Spider (ook wel robot genoemd) is een computerprogramma dat het wereldwijde web op een methodische en geautomatiseerde manier doorbladert, als een soort robot. Spiders maken veelal een lokale kopie van de gevonden pagina’s om deze later te kunnen verwerken en indexeren voor bijvoorbeeld zoekmachines.
Bron: Wikipedia
U kunt in Footsteps per vertaling per pagina de robotinstellingen aanpassen door een pagina te openen, de juiste vertaling te kiezen en op de knop SEO naast Opslaan te klikken.
U kunt in Footsteps de robotinstellingen aanpassen door een pagina te openen en op de knop SEO naast Opslaan te klikken.
Klik in het uitvouwmenu op de knop Robots. In het nieuwe venster ziet u de volgende instellingen:
Deze optie geeft aan of de robot links op de pagina moet volgen.
Deze optie geeft aan of de zoekmachine een kopie van de pagina mag opslaan zodat deze later nog bekeken kan worden. Bij elk resultaat in Google biedt de zoekmachine de knop “In cache” aan. Wanneer u hier op klikt krijgt u een oude, gearchiveerde versie van de pagina te zien.