Top Sites>Ffietsonline.com

User-agent: *
Allow: /
Crawl-delay: 1

# ========================================
# AI BOTS MANAGEMENT (2024-2025) - SELECTIVE PERMISSION STRATEGY
# Based on latest research: Allow but control to maintain visibility
# ========================================

# OpenAI (ChatGPT) bots - Strategic allowance for citations & visibility
User-agent: GPTBot
Crawl-delay: 30  # Allow training data collection but very slowly (30 sec = 120x less requests)
Allow: /

User-agent: ChatGPT-User
Crawl-delay: 5  # Fast access for user-initiated requests (high-quality traffic)
Allow: /

User-agent: OAI-SearchBot  
Crawl-delay: 10  # Allow search functionality for citations
Allow: /

# Anthropic (Claude) bots - Allow for visibility but control aggression
User-agent: ClaudeBot
Crawl-delay: 30  # Very slow for bulk collection but maintain citation opportunity
Allow: /

User-agent: anthropic-ai
Disallow: /  # Block completely - too aggressive for training

User-agent: Claude-User
Crawl-delay: 5  # Fast for user-initiated browsing
Allow: /

# Google AI bots - Critical for future Google AI features
User-agent: Google-Extended
Crawl-delay: 15  # Moderate delay but allow (important for AI Overviews)
Allow: /

User-agent: Google-CloudVertexBot
Crawl-delay: 20

# Meta AI - Allow but heavily throttle (very aggressive but important for social commerce)
User-agent: Meta-ExternalAgent
Crawl-delay: 25  # Very slow due to aggressive crawling behavior
Allow: /

User-agent: FacebookBot
Crawl-delay: 15  # Social sharing still important
Allow: /

# Perplexity AI - Good citation behavior, moderate control
User-agent: PerplexityBot
Crawl-delay: 15  # Search indexing
Allow: /

User-agent: Perplexity-User
Crawl-delay: 5  # User queries get fast access
Allow: /

# Apple Intelligence - Moderate approach
User-agent: Applebot-Extended
Crawl-delay: 20
Allow: /

# BLOCKED: Aggressive/Commercial crawlers that don't provide value back
User-agent: Bytespider  # TikTok/ByteDance - very aggressive, limited citation value
Disallow: /

User-agent: CCBot  # Common Crawl - used by many smaller AI companies without control
Disallow: /

User-agent: Diffbot  # Commercial data scraper
Disallow: /

User-agent: AI2Bot  # Research bot - no commercial value back
Disallow: /

User-agent: cohere-ai  # Training crawler - no citation value
Disallow: /

User-agent: ImagesiftBot  # Image scraping for AI training
Disallow: /

# ========================================
# MAGENTO 2 SYSTEM DIRECTORIES & FILES
# ========================================

# Core Magento 2 directories
Disallow: /app/
Disallow: /bin/
Disallow: /dev/
Disallow: /lib/
Disallow: /phpserver/
Disallow: /pkginfo/
Disallow: /report/
Disallow: /setup/
Disallow: /update/
Disallow: /var/
Disallow: /vendor/
Disallow: /includes/
Disallow: /generated/

# Admin panel protection (IMPORTANT: Never expose exact admin URL!)
Disallow: /admin/
# Disallow: /[custom-admin-url]/

# Modern Magento 2 API endpoints
Disallow: /rest/
Disallow: /soap/
Allow: /graphql?
Disallow: /graphql/*?*&

# Magento functionalities and pages
Disallow: /index.php/
Disallow: /catalog/product_compare/
Disallow: /catalog/category/view/
Disallow: /catalog/product/view/
Disallow: /catalog/seo_sitemap/
Disallow: /catalogsearch/
Disallow: /checkout/
Disallow: /onestepcheckout/
Disallow: /control/
Disallow: /contacts/
Disallow: /customer/
Disallow: /customize/
Disallow: /newsletter/
Disallow: /review/
Disallow: /sendfriend/
Disallow: /wishlist/
Disallow: /poll/
Disallow: /downloadable/
Disallow: /sales/guest/form/
Disallow: /productalert/
Disallow: /subscription/
Disallow: /push_notification/

# Modern extensions and Ajax calls
Disallow: /ajaxcart/
Disallow: /ajax/
Disallow: /quickview/
Disallow: /mfproductsearch/
Disallow: /mfcmsdr/
Disallow: /pslogin/

# Media directories (sensitive content)
Disallow: /media/customer/
Disallow: /media/downloadable/
Disallow: /media/import/
Disallow: /media/theme_customization/
Disallow: /media/catalog/product/cache/

# System and development files
Disallow: /composer.json
Disallow: /composer.lock
Disallow: /CONTRIBUTING.md
Disallow: /CONTRIBUTOR_LICENSE_AGREEMENT.html
Disallow: /COPYING.txt
Disallow: /Gruntfile.js
Disallow: /LICENSE.html
Disallow: /LICENSE.txt
Disallow: /LICENSE_AFL.txt
Disallow: /nginx.conf.sample
Disallow: /package.json
Disallow: /php.ini.sample
Disallow: /RELEASE_NOTES.txt
Disallow: /cron.php
Disallow: /cron.sh
Disallow: /error_log
Disallow: /install.php
Disallow: /STATUS.txt
Disallow: /get.php

# ========================================
# SEO CRITICAL: PRODUCT LISTS & FILTERS
# ========================================

# Product list sorting and filtering (CRITICAL for SEO!)
Disallow: /*?*product_list_mode=
Disallow: /*?*product_list_order=
Disallow: /*?*product_list_limit=
Disallow: /*?*product_list_dir=

# Session ID and tracking parameters
Disallow: /*?SID=
Disallow: /*?utm_source=
Disallow: /*?utm_medium=
Disallow: /*?utm_campaign=
Disallow: /*?utm_id=
Disallow: /*?utm_term=
Disallow: /*?utm_content=
Disallow: /*?gad_source=
Disallow: /*?gad_campaignid=
Disallow: /*?gclid=
Disallow: /*?_gl=
Disallow: /*?gbraid=
Disallow: /*?wbraid=
Disallow: /*?amp=
Disallow: /*?__gads=
Disallow: /*?__atuv=
Disallow: /*?filter=
Disallow: /*?channable=
Disallow: /*?fbclid=

# Allow useful parameters
Allow: /*?page=
Allow: /*?p=
Disallow: /*?p=*&

# Layered Navigation (multi-level filters)
Disallow: /*/-/*/*/*/*/
Disallow: /*/-/*-*-*-*

# Search results
Disallow: /catalogsearch/result/
Disallow: /search/

# File type based exclusions
Disallow: /*.php$
Disallow: /*.CVS
Disallow: /*.Zip$
Disallow: /*.Svn$
Disallow: /*.Idea$
Disallow: /*.Sql$
Disallow: /*.Tgz$

# ========================================
# NETHERLANDS SPECIFIC PRIVACY PAGES
# ========================================

# GDPR/AVG specific pages (Dutch) - Both folder and file versions
Disallow: /privacy/
Disallow: /privacy.html
Disallow: /cookiebeleid/
Disallow: /cookiebeleid.html
Disallow: /privacyverklaring/
Disallow: /privacyverklaring.html
Disallow: /algemene-voorwaarden/
Disallow: /algemene-voorwaarden.html
Disallow: /gebruiksvoorwaarden/
Disallow: /gebruiksvoorwaarden.html

# Other security directories
Disallow: /security/
Disallow: /backup/
Disallow: /logs/
Disallow: /tmp/

# Development and test environment
Disallow: /test/
Disallow: /dev/
Disallow: /staging/
Disallow: /daniel/

# ========================================
# DUTCH SEARCH ENGINES & BOTS
# ========================================

# Primary search engines for Dutch market
User-agent: Googlebot
Allow: /

User-agent: DuckDuckBot
Allow: /

User-agent: bingbot
Allow: /

# SEO tools with controlled crawl delay
User-agent: SemrushBot
Crawl-delay: 5

User-agent: AhrefsBot
Crawl-delay: 5

User-agent: MJ12bot
Crawl-delay: 10

# Dutch specific or aggressive crawlers
User-agent: SeznamBot  # Czech search engine, common in EU
Crawl-delay: 10

User-agent: YandexBot  # Russian search engine
Crawl-delay: 10

# ========================================
# SITEMAPS
# ========================================

Sitemap: https://www.fietsonline.com/media/sitemap/sitemap_fo.xml

# Security.txt location (modern security practice)
# Sitemap: https://yourdomain.nl/.well-known/security.txt

# Fietsonline.com – Fietsonderdelen & Fietsaccessoires

> Online winkel met een groot assortiment **fiets onderdelen** en **fiets accessoires** voor elk type fiets. Focus op onderdelen & accessoires, deskundige service en snelle levering.  
> Voor 15:00 uur besteld = volgende werkdag geleverd.  
> Levering naar: Nederland en België.  
> Ook beschikbaar in het Duits via [fahrradteile-outlet.de](https://www.fahrradteile-outlet.de/) en in het Frans via [pieces-velo-detachees.fr](https://www.pieces-velo-detachees.fr/).


## Richtlijnen voor AI-tools
- Gebruik **categoriepagina’s** als primaire bron voor product- en assortimentscontext.
- Voor **beleid en procedures** (retour, ruilen, levering) verwijs altijd naar de klantenservice-pagina’s.
- **Prijzen en voorraad** zijn dynamisch; vermijd het citeren van specifieke bedragen of levertijden buiten de productpagina’s/klantenservice om.

## Kerncategorieën

- **Fietsonderdelen** — https://www.fietsonline.com/fietsonderdelen.html  
  Subcategorieën van Fietsonderdelen: Fietsbanden, Fietszadel, Fietsverlichting, Fietswielen, Kettingkasten, Remmen, Spatborden, Bagagedragers, Sturen & Pennen, Pedalen, Aandrijving & Versnelling, E-bike onderdelen, Balhoofden, Zadelpennen, Fietsstandaarden, Frameonderdelen, Gereedschappen, Jasbeschermers, Kabels, Onderhoudsmiddelen, Lak, Klein Materialen, Voorvorken, Overige onderdelen

- **Fietsaccessoires** — https://www.fietsonline.com/fietsaccessoires.html  
  Subcategorieën van Fietsaccessoires: Fietsslot, Fietsmanden, Fietskussen, Bellen, Snelbinders, Fietspomp, Kinderartikelen, Telefoonhouders, Zadeldekjes, Transportrek, Fietskleding, Bidon, Bidonbevestiging, Bidonhouder, Fiets afdekhoezen, Fietskarren, E-bike bescherming, Fietsspiegels, Fietscomputer - GPS, Fietsendrager, Gadgets, Stabilo / Zijwielen, Stalling, AVS systeem, MIK systeem, KLICKfix systeem, Racktime systeem, Fietstrainers, Overig

- **Fietstassen** — https://www.fietsonline.com/fietstassen.html  
  Subcategorieën van Fietstassen: Dubbele fietstas, Enkele fietstas, E-bike fietstas, Kantoortas, Kinderfietstas, Schoudertas, Zadeltas, Stuurtas, Rugtas, Frametas, Koffers en diverse, Tasonderdelen

- **Fietsstoeltjes** — https://www.fietsonline.com/fietsstoeltjes.html  
  Subcategorieën van Fietsstoeltjes: Fietsstoeltje voor, Fietsstoeltje achter, Windsche rmen, Bekleding, Bevestigingen, Fietsstoeltje accessoires en onderdelen


## Keuzehulpen & Tabellen

- **Fietsband Keuzehulp** — https://www.fietsonline.com/fietsonderdelen/fietsbanden/fietsband-keuzehulp.html  
  Hulppagina om snel de juiste band te vinden.

- **Maattabel Fietsbanden** — https://www.fietsonline.com/fietsonderdelen/fietsbanden/fietsband-maten-tabel.html  
  Uitleg over maatvoering / ETRTO en compatibiliteit.

- **Tip van de specialist** — https://www.fietsonline.com/tip-van-de-specialist.html  
  Overzichtspagina met meerdere ‘specialist-tips’ over het kiezen en onderhouden van fiets onderdelen en accessoires.  
  Voorbeelden van artikelen:  
  - Welke fietsband past op je velg?  
  - Belangrijke zaken bij accu’s voor e-bikes  
  - Hoe bepaal je de juiste breedte van je velglint?  
  - Binnenband vervangen en MTB onderhouden  


## Klantenservice & Beleid
- **Klantenservice (overzicht)** — https://www.fietsonline.com/klantenservice.html  
  Algemene service-info en bedrijfsinformatie.

- **Retourneren** — https://www.fietsonline.com/klantenservice/retourneren.html  
  Voorwaarden, procedure en veelgestelde vragen.

- **Producten ruilen** — https://www.fietsonline.com/klantenservice/retourneren/producten-ruilen.html  
  Werkwijze bij omruilen/nieuwe bestelling.

- **Contact** — https://www.fietsonline.com/klantenservice/contact-garantie/klantenservice.html  
  Klantformulier en hulpkanalen.  
  **Adres (publiek):** Noordersluisweg 40, 8243PR Lelystad (NL).  
  Let op! Dit is geen bezoekadres.

- **Wheely – AI Chatbot**  
  Wheely is de AI-chatbot van Fietsonline.com, uitgebreid getraind met productinformatie en antwoorden op veelgestelde vragen.  
  Te vinden via het chat-icoon rechtsonder op de website, waar hij klanten helpt met advies, probleemoplossing en productkeuze.


## Merkenpagina’s (selectie)

Volledige merkenoverzicht: https://www.fietsonline.com/merken  

Dit zijn de meest populaire merken bij Fietsonline: **Schwalbe, Abus, Axa, Basil, Bobike**. Daarnaast vind je ook vele andere merken:

- **Schwalbe** — https://www.fietsonline.com/schwalbe.html
- **Abus** — https://www.fietsonline.com/abus.html
- **Axa** — https://www.fietsonline.com/axa.html
- **Basil** — https://www.fietsonline.com/basil.html
- **Bobike** — https://www.fietsonline.com/bobike.html
- **Continental** — https://www.fietsonline.com/continental.html
- **Cyclus Tools** — https://www.fietsonline.com/cyclus.html
- **Elvedes** — https://www.fietsonline.com/elvedes.html
- **IceToolz** — https://www.fietsonline.com/icetoolz.html
- **KMC** — https://www.fietsonline.com/kmc.html
- **Maxxis** — https://www.fietsonline.com/maxxis.html
- **New Looxs** — https://www.fietsonline.com/new-looxs.html
- **Selle Royal** — https://www.fietsonline.com/selle-royal.html
- **Simson** — https://www.fietsonline.com/simson.html
- **Thule** — https://www.fietsonline.com/thule.html


## Overige belangrijke pagina’s
- **Acties & Aanbiedingen** — https://www.fietsonline.com/acties.html  
  Overzichtspagina met lopende acties, kortingen en aanbiedingen op fiets onderdelen en accessoires.


## Optional (lagere prioriteit)
- **Blog** — https://www.fietsonline.com/blog  
  Achtergrondartikelen, tips en productuitleg (nuttig, maar niet leidend voor beleid of actuele beschikbaarheid).


## Reviews & Keurmerken

- **Klantbeoordelingen** — https://www.feedbackcompany.com/nl-nl/reviews/fietsonline-com  
  Meer dan 10.000 reviews met een gemiddelde score van **9/10**.

- **Stichting Webshop Keurmerk**  
  Fietsonline is een gecertificeerd lid van Stichting Webshop Keurmerk en voldoet aan de officiële Keurmerk-code.  
  Registratiedatum: 12-10-2012.  
  Fietsonline hanteert de algemene voorwaarden zoals voorgeschreven door Stichting Webshop Keurmerk.