# ==============================================================================
# 1. SEO-SPIONE & AGGRESSIVE CRAWLER BLOCKIEREN (Serverlast sparen)
# ==============================================================================
User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: sistrix
Disallow: /

User-agent: dotbot
Disallow: /

User-agent: SEOkicks-Robot
Disallow: /

User-agent: SearchmetricsBot
Disallow: /

User-agent: DataForSeoBot
Disallow: /

User-agent: Screaming Frog SEO Spider
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: BacklinkCrawler
Disallow: /

User-agent: MJ12bot
Disallow: /

User-Agent: SeekportBot
Disallow: /

User-agent: turnitinbot
Disallow: /

User-agent: fidget-spinner-bot
Disallow: /

User-agent: w2gbot
Disallow: /

User-agent: Baiduspider
Disallow: /

User-Agent: Yandex
Disallow: /

User-Agent: YandexBot/3.0
Disallow: /


# ==============================================================================
# 2. KI-SUCHE, USER-ABRUFE UND ZITATIONS-BOTS EXPLIZIT ERLAUBEN
# ==============================================================================

# ------------------------------------------------------------------------------
# OpenAI
# OAI-SearchBot = ChatGPT Search / Discovery
# ChatGPT-User  = Abruf im Auftrag eines ChatGPT-Nutzers
# GPTBot        = Modelltraining / Modellentwicklung
# ------------------------------------------------------------------------------
User-agent: OAI-SearchBot
Allow: /
Disallow: /verwaltung/
Disallow: /admin/

User-agent: ChatGPT-User
Allow: /
Disallow: /verwaltung/
Disallow: /admin/

User-agent: GPTBot
Allow: /
Disallow: /verwaltung/
Disallow: /admin/


# ------------------------------------------------------------------------------
# Perplexity
# PerplexityBot  = Suchindex / Discovery
# Perplexity-User = Abruf im Auftrag eines Nutzers
# ------------------------------------------------------------------------------
User-agent: PerplexityBot
Allow: /
Disallow: /verwaltung/
Disallow: /admin/

User-agent: Perplexity-User
Allow: /
Disallow: /verwaltung/
Disallow: /admin/


# ------------------------------------------------------------------------------
# Anthropic / Claude
# Claude-SearchBot = Claude Search / Discovery
# Claude-User      = Abruf im Auftrag eines Claude-Nutzers
# ClaudeBot        = Modelltraining / Modellentwicklung
# anthropic-ai     = ältere/zusätzliche Kennung vorsorglich weiter erlauben
# ------------------------------------------------------------------------------
User-agent: Claude-SearchBot
Allow: /
Disallow: /verwaltung/
Disallow: /admin/

User-agent: Claude-User
Allow: /
Disallow: /verwaltung/
Disallow: /admin/

User-agent: ClaudeBot
Allow: /
Disallow: /verwaltung/
Disallow: /admin/

User-agent: anthropic-ai
Allow: /
Disallow: /verwaltung/
Disallow: /admin/


# ------------------------------------------------------------------------------
# Google / Gemini
# Google-Extended ist ein robots.txt-Produkt-Token für Gemini-Nutzung.
# Google Search selbst läuft weiterhin über Googlebot bzw. die Standard-Regel.
# ------------------------------------------------------------------------------
User-agent: Google-Extended
Allow: /
Disallow: /verwaltung/
Disallow: /admin/


# ------------------------------------------------------------------------------
# Apple
# Applebot = tatsächlicher Crawler für Apple Search / Siri / Kontext
# Applebot-Extended = Steuerung der Nutzung für Foundation-Modelle
# ------------------------------------------------------------------------------
User-agent: Applebot
Allow: /
Disallow: /verwaltung/
Disallow: /admin/

User-agent: Applebot-Extended
Allow: /
Disallow: /verwaltung/
Disallow: /admin/


# ------------------------------------------------------------------------------
# Amazon Rufus / Alexa Shopping
# ------------------------------------------------------------------------------
User-agent: Amazonbot
Allow: /
Disallow: /verwaltung/
Disallow: /admin/


# ==============================================================================
# 3. STANDARD-REGEL FÜR ALLE ANDEREN CRAWLER (Googlebot, Bingbot etc.)
# ==============================================================================
User-agent: *
Disallow: /verwaltung/
Disallow: /admin/


# ==============================================================================
# 4. SITEMAP
# ==============================================================================
Sitemap: https://www.weingrube.com/sitemap.xml