robots.txt

Hier als Beispiel die robots.txt Datei dieser Website. Mit "Disallow" führen Sie die Verzeichnisse an, die von den Webcrawlern oder Spidern nicht besucht werden sollen.


User-agent: *   # directed to all spiders, not just Scooter
Disallow: /cgi-bin/
Disallow: /bilder/
Sitemap: http://www.seo-marktstudie.de/sitemap.xml