# Izinkan semua bot mengakses seluruh situs kecuali beberapa direktori dan file yang ditentukan di bawah.
User-agent: *

# --- DIREKTORI DAN FILE YANG TIDAK BOLEH DIINDEKS ---

# WordPress Core: Area admin, halaman login, dan direktori inti.
# Ini penting untuk keamanan dan menghindari pengindeksan area non-publik.
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /wp-includes/
Disallow: /cgi-bin/
Disallow: /private/
Disallow: /temp/

# Direktori plugin dan tema.
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/

# File WordPress umum yang tidak memiliki nilai SEO atau berpotensi menjadi target.
Disallow: /xmlrpc.php
Disallow: /readme.html
Disallow: /license.txt

# File pelacakan, sementara, atau arsip yang tidak perlu diindeks.
Disallow: /trackback/
Disallow: /*.log$
Disallow: /*.bak$
Disallow: /*.old$
Disallow: /*.zip$
Disallow: /*.rar$
Disallow: /cache/
Disallow: /statistik/

# --- PENGECUALIAN UNTUK DUPLIKASI KONTEN ATAU NAVIGASI INTERNAL ---

# Disallow feed RSS dan embed yang sering menghasilkan konten duplikat.
Disallow: /*/feed/$
Disallow: /*/embed/$
Disallow: /comments/feed/

# Disallow halaman hasil pencarian internal dan parameter URL yang menciptakan duplikat konten.
Disallow: /search/
Disallow: /?s=
Disallow: /*?replytocom=*
Disallow: /*?lang=*
Disallow: /*?print=*
Disallow: /*?p=*&preview=true
Disallow: /*?sort=*

# Disallow halaman arsip yang dipaginasi (halaman 2, 3, dst. dari kategori, tag, penulis, atau tanggal).
# Ini membantu menghindari masalah konten tipis/duplikat.
Disallow: */page/*/
Disallow: */comment-page-*

# --- FILE PENTING YANG HARUS DIIZINKAN (WALAU DI DALAM DIREKTORI YANG DILARANG UMUM) ---

# Izinkan akses ke file-file penting seperti CSS, JavaScript, dan gambar.
# Ini krusial agar bot dapat merender halaman Anda dengan benar (untuk mobile-first indexing).
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/
Allow: /wp-content/cache/
Allow: /wp-content/themes/*.css
Allow: /wp-content/themes/*.js
Allow: /wp-includes/js/
Allow: /wp-includes/css/


# --- LOKASI XML SITEMAP ANDA ---
# Penting untuk membantu mesin pencari menemukan semua halaman penting di situs Anda.
# Ganti URL ini dengan URL sitemap Anda yang sebenarnya.
Sitemap: https://presmedia.id/sitemap_index.xml

# --- ATURAN SPESIFIK UNTUK CRAWLER TERTENTU (OPSIONAL) ---

# Aturan spesifik untuk Googlebot News (jika Anda memiliki konten berita).
# Contoh: melarang arsip berita yang tidak perlu diindeks.
User-agent: Googlebot-News
Disallow: /archives/

# Aturan spesifik untuk bot gambar Google.
# Memastikan gambar Anda dapat diakses dan diindeks.
User-agent: Googlebot-Image
Allow: /wp-content/uploads/

# Aturan spesifik untuk bot video Google.
# Memastikan video Anda dapat diakses dan diindeks (jika Anda memiliki direktori khusus video).
User-agent: Googlebot-Video
Allow: /videos/

# Contoh aturan spesifik untuk Bingbot.
# User-agent: Bingbot
# Disallow: /private-bing-only/

# Contoh aturan yang hanya berlaku untuk Googlebot (selain aturan global).
# User-agent: Googlebot
# Disallow: /my-secret-google-folder/