# robots.txt for https://www.telefonbuch.de
# sc20250729; Vorgängerversion: sc20230628

# Allow traditional search indexing
User-agent: *
Disallow:

# Eine Seite dieser Subdomain pro 5 Sekunden(=Crawl-delay) aufrufen
User-agent: bingbot
User-agent: AhrefsBot
User-agent: grapeshot
User-agent: SemrushBot
Crawl-delay: 5

# Eine Seite dieser Subdomain pro 10 Sekunden(=Crawl-delay) aufrufen
User-agent: Clickagy Intelligence Bot v2
User-agent: CriteoBot/0.1
User-agent: ias-va/3.1
Crawl-delay: 10

# Disallow traditional search indexing
User-agent: Cityreview
User-agent: trovitBot
User-agent: zyklop
User-agent: DataForSeoBot
User-agent: dotbot
User-Agent: Neevabot
User-agent: MegaIndex.ru
User-agent: Mega-Index
User-agent: gonzo
User-agent: Yandex
Disallow: /

# Sitemap files