Meer dan 700 succesvolle klanten
  • Mobile check 1Geen gouden bergen
  • Mobile check 2Concrete doelstellingen
  • Mobile check 3Vlot contact
  • Mobile check 4Afspraak = afspraak
facebook instagram linkedIn
Samen vooruit, samen winnen
Wat is een robots.txt?
Home | Begrippenlijst | SEO | Wat is een robots.txt?

Wat is robots.txt?

Robots.txt is een klein tekstbestand dat op een website staat. Dit is het instructiebestand voor robots en daarmee ook Google. Met dit bestand geef je exact aan welke onderdelen er wel bekeken mogen worden en welke niet. Er zijn verschillende scenario’s te bedenken waarin je het niet nodig acht om een pagina te laten indexeren. Deze pagina kan bijvoorbeeld om wat voor reden dan ook veel Duplicate Content bevatten, of gewoon van erg lage kwaliteit zijn. Denk hierbij aan een contactpagina of een bedankpagina na een aankoop.

Verschil Robots.txt en NoFollow

In deze context heeft een robots.txt veel overeenkomsten met de DoFollow/NoFollow. Toch zit er een duidelijk verschil in. Bij een NoFollow wordt er alleen geen linkjuice doorgegeven, maar kan de pagina wel geïndexeerd worden. Met een robots.txt zeg je expliciet tegen Google dat een pagina niet geïndexeerd mag worden, wat dan ook niet gebeurt. Dit kan natuurlijk ook per pagina door het NoIndex kenmerk mee te geven. Het wel of niet indexeren van webpagina’s bepaalt of er wel of niet linkjuice wordt doorgegeven en is daarmee een essentieel onderdeel binnen SEO en hoger in Google komen.

Waarom is robots.txt belangrijk?

Door middel van een robots.txt-bestand kun je bepalen welke delen van de website worden geïndexeerd. Het is dus ook mogelijk op adminomgevingen uit te sluiten waardoor de aandacht van de crawlers enkel gaat naar de belangrijke pagina’s. Verkeerd gebruiken van de robots.txt kan wel schadelijk zijn voor de SEO resultaten. Zorg er dus voor dat het goed staat.

Aandachtspunten van robots.txt

Er zijn verschillende punten waar je aan moet denken wanneer je aan de slag gaat met het maken van een robots.txt bestand. Wij vertellen je de belangrijkste. Allereerst is het goed om te weten dat iedereen gewoon bij het bestand kan komen door /robots.txt achter jouw URL te plakken. Het is dus onverstandig om er persoonlijke of ‘geheime’ informatie in te zetten. Daarnaast is het hebben van een robots.txt niet verplicht. Als je niet weet hoe het opzetten van het bestand werkt, dan is het vaak verstandiger om het niet te doen zodat je geen cruciale fouten kan maken. Het is dan slim om aan je webbouwer te vragen of hij het bestand kan opstellen en kan online kan zetten. Als laatste punt is het nog belangrijk om externe links niet naar uitgesloten pagina’s in het robots.txt bestand te laten verwijzen. Gebeurt dit wel? Dan is de kans dat deze alsnog worden opgenomen in de zoekresultaten. Als je dit wilt voorkomen kun je ook nog voor de zekerheid NoIndex aan de gewenste pagina(‘s) mee te geven.

s