Wat is een Robots.txt | SAM Online Marketing Bureau
Meer dan 700 succesvolle klanten
  • Geen gouden bergen
  • Concrete doelstellingen
  • Vlot contact
  • Afspraak = afspraak
facebook instagram linkedIn
Samen vooruit, samen winnen
Google Reviews
Wat is een robots.txt?
Home | Begrippenlijst | SEO | Wat is een robots.txt?

Wat is een robots.txt?

Een robots.txt is een klein tekstbestand dat op een website staat. Dit is het instructiebestand voor robots en daarmee ook Google. Met dit bestand geef je exact aan welke onderdelen er wel bekeken mogen worden en welke niet. Er zijn verschillende scenario’s te bedenken waarin je het niet nodig acht om een pagina te laten indexeren. Deze pagina kan bijvoorbeeld om wat voor reden dan ook veel Duplicate Content bevatten, of gewoon van erg lage kwaliteit zijn. Denk hierbij aan een contactpagina of een bedankpagina na een aankoop.

In deze context heeft een robots.txt veel overeenkomsten met de DoFollow/NoFollow. Toch zit er een duidelijk verschil in. Bij een NoFollow wordt er alleen geen linkjuice doorgegeven, maar kan de pagina wel geïndexeerd worden. Met een robots.txt zegt u expliciet tegen Google dat een pagina niet geïndexeerd mag worden, wat dan ook niet gebeurt. Dit kan natuurlijk ook per pagina door het noindex kenmerk mee te geven. Het wel of niet indexeren van webpagina’s bepaalt of er wel of niet linkjuice wordt doorgegeven en is daarmee een essentieel onderdeel binnen SEO en hoger in Google komen.