Robots.txt is een tekstbestand op de root van een website dat instructies bevat voor zoekmachine crawlers. Deze instructies vertellen de crawlers welke pagina’s van de website wel of niet geïndexeerd moeten worden. Het doel van robots.txt is om de toegang van zoekmachines tot specifieke pagina’s te beperken, zodat bepaalde pagina’s niet worden weergegeven in zoekresultaten of niet worden geïndexeerd. Het is een belangrijk instrument voor website-eigenaren die controle willen hebben over welke pagina’s wel en niet door zoekmachines worden gecrawld. Het kan bijvoorbeeld worden gebruikt om duplicaat content of privépagina’s te voorkomen.
