### Sitemaps
Sitemap: https://www.levne-ceske-matrace.cz/sitemap.xml

### Blocked: SEO crawlers, backlink indexes and scrapers
User-agent: AhrefsBot            # Ahrefs – SEO audit a index zpětných odkazů
User-agent: BLEXBot              # WebMeUp / SEO PowerSuite – index zpětných odkazů
User-agent: BrightEdge           # BrightEdge – enterprise SEO platforma
User-agent: DataForSeoBot        # DataForSEO – B2B prodej SEO dat
User-agent: DotBot               # Moz – Link Index a Link Explorer
User-agent: LinkpadBot           # Linkpad – databáze zpětných odkazů
User-agent: MegaIndex            # MegaIndex.ru – ruský SEO index
User-agent: MJ12bot              # Majestic – index zpětných odkazů
User-agent: rogerbot             # Moz – crawler pro Moz Pro kampaně
User-agent: Scrapy               # Scrapy – Python framework, časté neautorizované scrapování
User-agent: SemrushBot           # SEMrush – SEO analýza a klíčová slova
User-agent: serpstatbot          # Serpstat – SEO a PPC analytika
Disallow: /

### Blocked: AI training and bulk data harvesting
User-agent: AI2Bot               # Allen Institute – datasety pro výzkum LLM
User-agent: Amazonbot            # Amazon – Alexa a AI produkty
User-agent: Applebot-Extended    # Apple – trénink Apple Intelligence (jen robots.txt token)
User-agent: Bytespider           # ByteDance / TikTok – AI a doporučovací algoritmy
User-agent: CCBot                # Common Crawl – veřejný archiv, základ většiny LLM
User-agent: ClaudeBot            # Anthropic – sběr dat pro trénink Claude
User-agent: cohere-ai            # Cohere – trénink firemních LLM
User-agent: Diffbot              # Diffbot – AI extrakce dat a znalostní grafy
User-agent: FacebookBot          # Meta – trénink jazykových modelů
User-agent: FirecrawlAgent       # Firecrawl – scraping-as-a-service pro AI pipeline
User-agent: Google-Extended      # Google – trénink Gemini a Vertex AI (jen robots.txt token)
User-agent: GPTBot               # OpenAI – sběr dat pro trénink modelů
User-agent: ImagesiftBot         # The Hive – sběr obrázků pro trénink
User-agent: Meta-ExternalAgent   # Meta – sběr dat pro trénink Llama
User-agent: Omgilibot            # webz.io – prodej dat pro trénink LLM
User-agent: PerplexityBot        # Perplexity – POZOR: blokace ruší citace v Perplexity
User-agent: PetalBot             # Huawei Petal Search – vyhledávač i AI, v ČR marginální
User-agent: Timpibot             # Timpi – decentralizovaný index
User-agent: Webzio-Extended      # webz.io – varianta pro AI trénink
Disallow: /

### Deliberately NOT blocked – tyto boty přinášejí citace a návštěvy:
#   OAI-SearchBot, ChatGPT-User   – ChatGPT search a live fetch (nejsilnější zdroj)
#   Claude-SearchBot, Claude-User – Claude search a live fetch
#   Perplexity-User               – live fetch při odpovědi
#   facebookexternalhit, Twitterbot – náhledy odkazů na sociálních sítích
#   Applebot, Googlebot, Bingbot, SeznamBot – klasické vyhledávání
### Deprecated, nemá smysl uvádět: anthropic-ai, Claude-Web

### Everyone else
User-agent: *
Crawl-delay: 1

### System folders
Disallow: /app/
Disallow: /dev/
Disallow: /downloader/
Disallow: /errors/
Disallow: /includes/
Disallow: /magmi/
Disallow: /media/downloadable/
Disallow: /media/import/
Disallow: /shell/
Disallow: /update/
Disallow: /var/

### Sensitive extensions
Disallow: /*.sh$
Disallow: /*.sql$
Disallow: /*.tgz$
Disallow: /*.zip$

### Params and Shopby multiselect
Disallow: *--*
Disallow: /*?

### Catalog and account internals
Disallow: /ajax/
Disallow: /amconf/
Disallow: /catalog/category/view/
Disallow: /catalog/product/view/
Disallow: /catalog/product_compare/
Disallow: /catalogsearch/
Disallow: /checkout/
Disallow: /customer/
Disallow: /newsletter/
Disallow: /poll/
Disallow: /review/product/post/
Disallow: /rss/
Disallow: /sendfriend/
Disallow: /tag/
Disallow: /wishlist/