# robots.txt fuer http:www.augsburger-allgemeine.de
# Dadurch folgt der Yahoo Bot nur alle 60 Sekunden einem Link. Das heisst er kann am Tag nur 1440 Links folgen.
User-agent: Slurp
Crawl-delay: 10


# Gibt an, welche Unterverzeichnisse nicht durch einen Crawler durchsucht werden sollen
User-agent: *
Disallow: /abo_content
Disallow: /adFACT
Disallow: /adFACT2
Disallow: /cms_addon
Disallow: /cms_cache
Disallow: /error
Disallow: /import
Disallow: /inc
Disallow: /redFACT
Disallow: /tmp
Disallow: /tools
Disallow: /wartung