Crawlen is niet hetzelfde als indexeren
Robots.txt gaat primair over het bezoeken van URL’s door crawlers. Het is niet bedoeld als betrouwbare manier om een pagina uit zoekresultaten te houden.
Wat staat erin?
Regels kunnen bijvoorbeeld bepaalde technische mappen uitsluiten en verwijzen naar de locatie van een XML-sitemap.
Wees voorzichtig met blokkades
Een verkeerde regel kan zoekmachines weghouden van belangrijke delen van je website. Pas het bestand daarom niet aan omdat een willekeurige SEO-checker zegt dat er “iets” in moet.