# robots.txt - Web Sitemizin Tarama Kuralları
# Oluşturma Tarihi: 22 Kasım 2025
# Açıklama: Bu dosya, arama motoru botlarının davranışını yönetir.
# Daha fazla bilgi: https://developers.google.com/search/docs/crawling-indexing/robots-txt
# Tüm botlar için genel kurallar
User-agent: *
# Özel dizinleri engelle (örneğin yönetici paneli veya geçici dosyalar)
Disallow: /admin/
Disallow: /private/
Disallow: /temp/
Disallow: /cgi-bin/
# Dinamik sayfaları engelle (örneğin arama sonuçları)
Disallow: /search?
Disallow: /?utm*
# Belirli dosya türlerini engelle
Disallow: /*.pdf$
Disallow: /*.zip$
# Tüm siteye izin ver (engellemelerin üstünde)
Allow: /
# Googlebot'a özel kurallar (örneğin mobil sayfaları izin ver)
User-agent: Googlebot
Allow: /mobile/
Disallow: /desktop-only/
# Bingbot'a özel kurallar (örneğin belirli bir alt domaini engelle)
User-agent: Bingbot
Disallow: /blog/old-posts/
# Yandex botuna özel (örneğin Rusya odaklı siteler için)
User-agent: Yandex
Disallow: /ru/
# Sitemap belirtme (arama motorlarının site haritasını bulmasını sağlar)
Sitemap: https://www.example.com/sitemap.xml
Sitemap: https://www.example.com/sitemap-images.xml
# Crawl-delay ile botların tarama hızını yavaşlat (saniye cinsinden, aşırı yüklenmeyi önler)
Crawl-delay: 10
# Son not: Bu kurallar sadece uyumlu botlar için geçerlidir. Kötü niyetli botlar görmezden gelebilir.