De analyse van je website door webcrawlers is funest voor jouw ranking in Google. Een webcrawler, ook wel een bot, spider of robot genoemd, zijn de softwareprogramma’s/algoritmen van Google en andere zoekmachines die continu op zoek zijn naar nieuwe webpagina’s of vernieuwde webpagina’s. Door te weten hoe een crawler werkt, kun je de website hier op aanpassen.
Wat doet een crawler?
De webcrawlers bezoeken elke pagina op internet die niet op NoIndex staat. Daarbij maken ze gebruik van het crawlbudget. Tijdens het crawlen van de website leest de bot alle regels van de website. Eigenlijk ‘leest’ het de content en probeert het te begrijpen waar de website overgaat. Enkele factoren die een crawler leest zijn bijvoorbeeld de URL en de koppen op een pagina. Vervolgens volgt het interne links om de website verder te onderzoeken. Het is daarom verstandig om een goede interne linkstructuur op je website te hebben. Zodra een crawler een link tegenkomt op de pagina zal deze aan de lijst met te bezoeken URL’s worden toegevoegd.
Wat is het crawlbudget?
Zojuist hebben we het al even benoemd, het crawlbudget, maar wat is het crawlbudget? Iedere keer dat een crawler jouw website bezoekt, heeft het een bepaald budget. Dit budget heeft betrekking op de hoeveelheid pagina’s die de bot gaat bezoeken. Dat is dus het crawlbudget. Is dit op? Dan zal de bot jouw website verlaten en de website niet verder indexeren. Hoe hoger de autoriteit van jouw website is, hoe hoger het crawlbudget is. Door je autoriteit te verhogen door middel van zoekmachine optimalisatie, wordt het crawlbudget hoger en zullen meer pagina’s van je website worden geïndexeerd.
