# robots.txt for:
# http://www.rehavolution.de
# Zugriff auf alle Dateien erlauben

# Folgende Bots sind unerwuenscht:

User-agent: EuripBot
User-agent: Nutch
User-agent: NaverBot
User-agent: Stalker
User-agent: psbot
User-agent: www.adressendeutschland.de
User-agent: Snapbot
User-agent: IRLbot
User-agent: BilgiBetaBot
User-agent: istwo-Bot
User-agent: cicobello

Disallow: /


User-agent: *

# Nicht relevante Verzeichnisse, f. Bots gesperrt:

Disallow: /fileadmin/		 
Disallow: /media/
Disallow: /myadmin/		 
Disallow: /t3lib/		 
Disallow: /tslib/		
Disallow: /typo3/
Disallow: /typo3conf/  
Disallow: /typo3temp/	


# zu häufige Besuche bestimmter Bots unterbinden

User-agent: msnbot
#Crawl-delay Angaben in Sekunden versteht MSNbot, Slurp (Yahoo) 
Crawl-delay: 120 

User-agent: slurp
Crawl-delay: 120