# ZoomEye robots.txt - maximized for RAG data collection

User-agent: 360Spider
User-agent: 360Spider-Image
User-agent: 360Spider-Video
Disallow: /

User-agent: *
# 允许抓取几乎所有公开页面
Allow: /

# 阻止敏感页面
Disallow: /login
Disallow: /user

# 设置抓取间隔，降低被封风险
Crawl-delay: 1

# Sitemap 指向网站结构，帮助爬虫发现页面
Sitemap: https://www.zoomeye.ai/sitemap.xml