Top Sites>Kuulutused, kasutatud autod, mööbel, koduloomad, tööpakkumised – Soov.ee

# --------------------------------------------
# Soov.ee robots.txt
# Eesmärk: tagada otsingumootoritele maksimaalne juurdepääs
# avalikele kuulutustele ja kategooriatele, kuid kaitsta
# konto-, sõnumi- ja makselehti indekseerimise eest.
# --------------------------------------------

User-agent: *
Allow: /
Disallow: /lisa-kuulutus
Disallow: /useraccount.php
Disallow: /logi-sisse
Disallow: /order_history.php
Disallow: /account_info.php
Disallow: /messages.php
Disallow: /alerts.php
Disallow: /saved_searches.php
Disallow: /favorites.php
Disallow: /my_listings.php
Disallow: /buy_credits.php

# Sitemaps
Sitemap: https://soov.ee/sitemap/sitemap.xml

# --------------------------------------------
# Avalik sisu (kuulutused, kategooriad, kampaaniad)
# on otsingumootoritele täielikult kättesaadav.
# Konto- ja makselehed on välistatud.
# --------------------------------------------

# --------------------------------------------
# Soov.ee llms.txt
# Eesmärk: lubada AI mudelitel kasutada avalikku sisu
# ja tuua portaalile maksimaalselt AI-põhist liiklust,
# samas kaitstes kasutajakontosid ja privaatset infot.
# --------------------------------------------

User-agent: *
Allow: /
Disallow: /lisa-kuulutus
Disallow: /useraccount.php
Disallow: /logi-sisse
Disallow: /order_history.php
Disallow: /account_info.php
Disallow: /messages.php
Disallow: /alerts.php
Disallow: /saved_searches.php
Disallow: /favorites.php
Disallow: /my_listings.php
Disallow: /buy_credits.php

# LLM kasutuspoliitika
Policy: indexing-allowed
Policy: snippets-allowed
Policy: training-allowed
Policy: attribution-required

# Viitamise nõue
Attribution: "Kasutage allikana Soov.ee portaali (https://www.soov.ee)"

# Konkreetsete LLM teenuste lubamine
User-agent: OpenAI
Allow: /
Disallow: /lisa-kuulutus
Disallow: /useraccount.php
Disallow: /logi-sisse
Disallow: /order_history.php
Disallow: /account_info.php
Disallow: /messages.php
Disallow: /alerts.php
Disallow: /saved_searches.php
Disallow: /favorites.php
Disallow: /my_listings.php
Disallow: /buy_credits.php
Policy: attribution-required

User-agent: PerplexityAI
Allow: /
Disallow: /lisa-kuulutus
Disallow: /useraccount.php
Disallow: /logi-sisse
Disallow: /order_history.php
Disallow: /account_info.php
Disallow: /messages.php
Disallow: /alerts.php
Disallow: /saved_searches.php
Disallow: /favorites.php
Disallow: /my_listings.php
Disallow: /buy_credits.php
Policy: attribution-required

User-agent: Anthropic
Allow: /
Disallow: /lisa-kuulutus
Disallow: /useraccount.php
Disallow: /logi-sisse
Disallow: /order_history.php
Disallow: /account_info.php
Disallow: /messages.php
Disallow: /alerts.php
Disallow: /saved_searches.php
Disallow: /favorites.php
Disallow: /my_listings.php
Disallow: /buy_credits.php
Policy: attribution-required

User-agent: Google-Extended
Allow: /
Disallow: /lisa-kuulutus
Disallow: /useraccount.php
Disallow: /logi-sisse
Disallow: /order_history.php
Disallow: /account_info.php
Disallow: /messages.php
Disallow: /alerts.php
Disallow: /saved_searches.php
Disallow: /favorites.php
Disallow: /my_listings.php
Disallow: /buy_credits.php
Policy: attribution-required

# --------------------------------------------
# NB! Avalik sisu (kuulutused, kategooriad, kampaaniad)
# on LLM mudelitele täielikult kättesaadav.
# Konto, isiklikud andmed ja makselehed on kaitstud.
# --------------------------------------------