Wat is een webcrawler?

Betere besteding van het crawlbudget

Door middel van SEO kun je jouw website (laten) optimaliseren voor zoekmachines. Het is natuurlijk de bedoeling dat de belangrijke pagina’s van jouw website hoog in Google komen zodat je bezoekers en conversies kan genereren. Pagina’s die je niet hebt geoptimaliseerd hoeven dan ook niet toegankelijk te zijn voor de bots van zoekmachines. Deze zijn op diverse manieren uit te sluiten, namelijk: Robots.txt-bestand, NoIndex tag of een canonical tag. In het Robots.txt bestand kunnen pagina’s worden aangegeven die de crawler niet mag indexeren. Maar het kan ook voorkomen dat de bot van Google het Robots.txt bestand negeert. Het is daarom beter om een NoIndex tag mee te geven aan een pagina die niet mag worden geïndexeerd door Google en andere zoekmachines. Deze kun je eenvoudig toevoegen door middel van een plugin zoals Yoast SEO of Rankmath. Een andere optie is de canonical tag. Maar deze wordt voornamelijk gebruikt wanneer twee of meerdere pagina’s nagenoeg gelijk zijn en daardoor voor een hoog percentage duplicate content zorgen. Met een canonical tag geef je aan de crawler aan wat de originele pagina is en welke dus geïndexeerd moet worden. Gaat dit allemaal boven je pet en besteed je het liever uit? Bij SAM Online Marketing staan we klaar om jouw crawlbudget te optimaliseren en jouw website hoger in Google te krijgen. Meer weten over de mogelijkheden? Neem dan contact met ons op.