# ------------------------------------------------------------
# robots.txt for https://drive4you.dk
# Sidst opdateret: 25-04-2025
# ------------------------------------------------------------

# 1. STANDARDREGLER – ALLE BOTS
User-agent: *
Allow: /

# Blokér backend-områder og irrelevante sider
Disallow: /wp-admin/
Allow:    /wp-admin/admin-ajax.php
Disallow: /wp-login.php
Disallow: /xmlrpc.php
Disallow: /cgi-bin/

# Ryd op i tynde/duplikerede eller uønskede URL-typer
Disallow: /?s=
Disallow: /search
Disallow: /feed/
Disallow: /*/feed/
Disallow: /trackback/
Disallow: /*/trackback/
Disallow: /*?*replytocom
Disallow: /tag/
Disallow: /author/
Disallow: /comments/

# Hvis du en dag får webshop-funktioner, kan disse aktiveres
# Disallow: /cart/
# Disallow: /checkout/
# Disallow: /my-account/

# 2. HÅNDTER AGGRESSIVE CRAWLERE (skån serverressourcer)
User-agent: AhrefsBot
Crawl-delay: 10

User-agent: MJ12bot
Crawl-delay: 10

# 3. EKSEMPEL PÅ BLOKERING AF AI-TRENING, KUN HVIS ØNSKET
# User-agent: GPTBot
# Disallow: /
# User-agent: CCBot
# Disallow: /

# 4. SITEMAPS – FORTÆL SØGEMASKINER HVOR DE LIGGER
Sitemap: https://drive4you.dk/sitemap.xml
Sitemap: https://undervisning.drive4you.dk/sitemap.xml