User-agent: Scrapy
Allow: /

User-agent: *

# http://creer-un-site.com/optimiser-fichier-robots-txt-wordpress/
# Anamorphik

# Ne pas indexer dossier general WP
Disallow: /wp-login.php
Disallow: /wp-admin
Disallow: /wp-content/uploads/documents
Disallow: /wp-content/uploads/bewpi-invoices
Disallow: /wp-content/uploads/bewpi-templates
Disallow: /wp-content/uploads/woocommerce-pdf-invoices
Disallow: /wp-content/uploads/woocommerce_uploads
Disallow: /wp-content/uploads/woocommerce-certificate-attendance/

# Ne pas indexer ce répertoire qui est sensible
Disallow: /cgi-bin

# Ne pas indexer les fichiers sensibles
Disallow: /*.inc$
Disallow: /*.gz$
Disallow: /*.cgi$

# Ne pas indexer les URL de trackback et de ping
Disallow: */trackback

# Ne pas indexer les flux RSS sauf le principal
Disallow: /*/feed

# Ne pas indexer les URL de commentaire
Disallow: /*/comments

# Ne pas indexer les fichiers suivants
Disallow: /readme.html
Disallow: /readme.md

# Autorisation
Allow: /wp-admin/admin-ajax.php

# Sitemap
Sitemap: https://www.snfcp.org/sitemap_index.xml