# robots.txt für www.fluxlernen.de
#
# Suchmaschinen (Googlebot, Bingbot, DuckDuckBot, Applebot, YandexBot, Ecosia, Qwant …) dürfen alles lesen.
# KI-Such-/Antwort-Bots (ChatGPT-Suche, Perplexity, Claude, DuckAssist, Mistral) dürfen die Infoseiten lesen und verlinken,
# aber nicht die App-Daten (/assets/). KI-Trainings- und Daten-Crawler sind ganz ausgeschlossen. Kurzbeschreibung für KI: /llms.txt
# Nutzungsvorbehalt nach § 44b Abs. 3 UrhG / Art. 4 Abs. 3 Richtlinie (EU) 2019/790:
# Text und Data Mining ist ausdrücklich vorbehalten (siehe /impressum.html#nutzungsvorbehalt, /.well-known/tdmrep.json, /ai.txt).

User-agent: *
Allow: /
Disallow: /404.html
Disallow: /api/

# --- KI-Suche / KI-Antworten (zitieren und verlinken Fluxlernen, laut Anbieter kein Training): Infoseiten erlaubt, App-Daten nicht ---
# Die Fragen-Pools liegen in /assets/flux-*.js und sind nur für die App bestimmt (.htaccess sperrt sie für diese Bots zusätzlich).
User-agent: ChatGPT-User
User-agent: OAI-SearchBot
User-agent: Claude-User
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: DuckAssistBot
User-agent: MistralAI-User
Allow: /
Allow: /assets/og/
Disallow: /assets/
Disallow: /api/
Disallow: /404.html

# --- KI-Training, Daten-Sammler, Massen-Crawler: komplett gesperrt (zusätzlich 403 per .htaccess) ---
User-agent: GPTBot
User-agent: CCBot
User-agent: ClaudeBot
User-agent: Claude-Web
User-agent: anthropic-ai
User-agent: Google-Extended
User-agent: Google-CloudVertexBot
User-agent: Applebot-Extended
User-agent: Bytespider
User-agent: Amazonbot
User-agent: meta-externalagent
User-agent: meta-externalfetcher
User-agent: FacebookBot
User-agent: Diffbot
User-agent: Omgilibot
User-agent: Omgili
User-agent: cohere-ai
User-agent: cohere-training-data-crawler
User-agent: ImagesiftBot
User-agent: YouBot
User-agent: Timpibot
User-agent: AI2Bot
User-agent: Ai2Bot-Dolma
User-agent: PanguBot
User-agent: Webzio-Extended
User-agent: VelenPublicWebCrawler
User-agent: iaskspider
User-agent: ICC-Crawler
User-agent: img2dataset
User-agent: Brightbot
User-agent: Crawlspace
User-agent: QualifiedBot
User-agent: SemrushBot-OCOB
User-agent: Scrapy
# --- SEO-/Daten-Crawler ohne Nutzen für Besucher ---
User-agent: AhrefsBot
User-agent: SemrushBot
User-agent: MJ12bot
User-agent: DotBot
User-agent: PetalBot
User-agent: BLEXBot
User-agent: DataForSeoBot
User-agent: magpie-crawler
User-agent: SeekportBot
User-agent: serpstatbot
User-agent: ZoominfoBot
User-agent: HTTrack
Disallow: /

Sitemap: https://www.fluxlernen.de/sitemap.xml