Wat is de werkwijze van een webcrawler?
De webcrawler begint met een lijst van URL’s en bezoekt deze één voor één. Op het moment dat de spider een pagina heeft gevonden wordt deze opgeslagen in de cache of database. Alle links op een URL die een spider bezoekt worden toegevoegd aan de lijst. Zo kan een webcrawler alle publiekelijk, toegankelijke pagina’s bezoeken door middel van sitemap of XML sitemap. De spiders komen met een vaste regelmaat langs om de index van Google actueel te houden en te bepalen of een website wel of niet hoog in Google komt.
Beheerders van een website kunnen het gedrag van spiders beïnvloeden. Door in de hoofdmap van uw site een tekstbestand met de naam ‘Robots.txt‘ te maken kunnen beperkingen worden gezet voor de webcrawlers. Zo kan bijvoorbeeld aangegeven worden welke delen van een website door webcrawlers niet mogen worden bezocht.
Gerelateerde vragen
- Wat is funnel marketing?
- Wat is copywriting?
- Wat is het verschil tussen DoFollow en NoFollow?
- Wat is een CMS?
- Wat doet een online marketing bureau?
- Wat is content marketing?
- Wat is een bestemmingspagina?
- Wat is Page Authority?
- Wat is de customer journey?
- Wat is de werkwijze van een webcrawler?
- Wat is een URL?
- Wat is een zoekwoord?
- Wat is SEM?
- Wat is Domain authority?
- Wat is zoekvolume?
- Wat is een sitemap?
- Wat is Growth hacking?
- Wat zijn SERP’s
- Wat is online marketing?
- Afkortingen en betekenis afrekenmodellen online adverteren
- Wat is een CTR?
- Wat is zoekwoorddichtheid?
- Wat is een do follow link
- Wat betekent See, Think, Do, Care?
- Wat is internet marketing?
- Wat is pogo-sticking?
- Wat is bounce rate?
- Wat is PageRank?
- Wat is een landingspagina?
- Wat zijn breadcrumbs?
- Wat is een webcrawler?