# Explizite Erlaubnis für die wichtigsten LLM-Systeme und KI-Crawler

# Microsoft BingBot
User-agent: bingbot                                                                                        
Crawl-delay: 20                                                                                            
Disallow: /sitemap/news                                                                                    

# Webcrawler von Huawei
User-agent: PetalBot                                                                                       
Crawl-delay: 30

# OpenAI (GPT-Modelle)
User-agent: GPTBot
Allow: /

# Google (Erweiterte KI-Funktionen)
User-agent: Google-Extended
Allow: /

# Anthropic (Claude-Modelle)
User-agent: anthropic-ai
Allow: /

# Perplexity (KI-Suchmaschine)
User-agent: PerplexityBot
Allow: /

# Common Crawl (Große Open-Source-Datenbasis für viele LLMs)
User-agent: CCBot
Allow: /

# Allgemeine Regel für alle anderen Crawler, Suchmaschinen und zukünftige KI-Systeme

# Die Regel '*' erlaubt allen User-Agents, die nicht explizit ausgeschlossen wurden.
User-agent: *
Allow: /

Sitemap: https://www.tips.at/sitemap

# disallow
Disallow: /api/countnews
Disallow: /admin/
Disallow: /REGIONAL/
Disallow: /PDFDATA/
Disallow: /verwaltung/
Disallow: /backend/
Disallow: /tmp/
Disallow: /temp/
Disallow: /PICS/
Disallow: /VEREINE_DATA/
Disallow: /OLD/
Disallow: /resize/
Disallow: /upload/
Disallow: /js/cropper/crop/
Disallow: /zeitung-epaper/*.xml$
Disallow: /bildergalerien/download/
Disallow: /bildergalerien/downloadfile*
Disallow: /user/beitragverfassen/
Disallow: /user/deletebeitrag/
Disallow: /pdf/2017/45/TIO/tips-rohrbach_45.pdf