# =====================================
# 🤖 robots.txt（SEO最強版 v2.0）
# =====================================

# ========================================
# 全クローラー共通設定
# ========================================
User-agent: *

# 管理・内部ディレクトリ
Disallow: /admin/
Disallow: /config/
Disallow: /logs/
Disallow: /tmp/
Disallow: /cache/
Disallow: /api/
Disallow: /ajax/
Disallow: /includes/
Disallow: /vendor/

# 開発・テスト環境
Disallow: /test/
Disallow: /dev/
Disallow: /_dev/
Disallow: /staging/

# 認証・セキュリティ
Disallow: /login
Disallow: /logout
Disallow: /auth/
Disallow: /.env
Disallow: /.git/

# ファイル拡張子（正規表現非対応のため複数記述）
Disallow: /*.log
Disallow: /*.sql
Disallow: /*.bak
Disallow: /*.conf
Disallow: /*.zip
Disallow: /*.tar.gz

# システムファイル
Disallow: /error_log
Disallow: /php_error.log
Disallow: /debug.log

# ========================================
# 重要: これらはクロール許可
# ========================================
# Allow: /  ← 省略でOK（デフォルト許可）
# Allow: /index.php  ← 同上
# Allow: /video_view.php  ← 同上
# Allow: /clusters.php  ← 同上
# Allow: /all_videos.php  ← 同上
# Allow: /favorites.php  ← 同上

# ========================================
# サイトマップ（優先度順）
# ========================================
Sitemap: https://ero-video.fun/sitemap.xml
Sitemap: https://ero-video.fun/sitemap-trending_generator.php
Sitemap: https://ero-video.fun/sitemap-clusters.php
Sitemap: https://ero-video.fun/sitemap-videos.php

# ========================================
# クロール効率化（重要ページ優先）
# ========================================
# Crawl-delay: 0  ← Googlebotは無視するので不要

# ========================================
# 優先ドメイン指定
# ========================================
Host: ero-video.fun

# ========================================
# 悪質Bot個別ブロック
# ========================================
User-agent: AhrefsBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: Semrushbot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: Baiduspider
Disallow: /

User-agent: YandexBot
Disallow: /

User-agent: PetalBot
Disallow: /

User-agent: DataForSeoBot
Disallow: /