Wat is de werkwijze van een webcrawler?

De webcrawler begint met een lijst van URL’s en bezoekt deze een voor een. Op het moment dat de spider een pagina heeft gevonden wordt deze opgeslagen in de cache of database. Alle links op een URL die een spider bezoekt worden toegevoegd aan de lijst. Zo kan een webcrawler alle publiekelijk, toegankelijke pagina’s bezoeken. De spiders komen met een vaste regelmaat langs om de index van Google actueel te houden.

Beheerders van een website kunnen het gedrag van spiders beïnvloeden. Door in de hoofdmap van uw site een tekstbestand met de naam ‘Robots.txt’ te maken kunnen beperkingen worden gezet voor de webcrawlers. Zo kan bijvoorbeeld aangegeven worden welke delen van een website door webcrawlers niet mogen worden bezocht.

Succes verzekerd met SAM

0+
Teamleden
0%
SAM verhoogt uw conversiepercentage
0+
Succesvolle samenwerkingen met SAM
0
Gemiddelde beoordeling
van onze klanten

Contact met een SAM specialist

Vul het contactformulier in en laat u terugbellen door een specialist van SAM om de mogelijkheden te bespreken. Nu online

Contactformulier

Doe de gratis SEO Scan
2018 © SAM Online Marketing & Webdesign
Beoordeling door klanten: 9.1/10 - 30 beoordelingen

Hulp vragen aan SAM

Leg de pijnpunten van uw website bloot met onze SEO scan. SAM Online Marketing heeft een online tool (SEO check) ontwikkelt, waarmee u eenvoudig checkt hoe Google uw website beoordeelt. Laat uw website scannen op content, autoriteit en techniek en zet de eerste stap naar een zoekmachine geoptimaliseerde website.