User-agent: * 
Disallow: /cgi-bin/
#Disallow: /s/

# Zugriff auf alle Dateien erlauben
#Disallow:
#Allow: /

#zeitlich begrenzen
#Crawl-delay: 20