# robots.txt for eilbulldog.de # # ACHTUNG — zwei Fallen, die hier schon zugeschlagen haben (2026-07-28): # # 1. Muster mit fuehrendem "?" greifen nur, wenn der Parameter an ERSTER # Stelle steht. "/*?add-to-cart=" trifft NICHT auf # "/shop/?product-page=5&add-to-cart=123" zu. # Ein "&"-Muster hilft NICHT weiter: "/*&orderby=" matcht gar nichts # (mit protego/RFC 9309 nachgemessen). Richtig ist, das Trennzeichen # komplett wegzulassen: "/*orderby=" greift an jeder Position. # Gegenprobe: pdf-tools/.venv/bin/python pdf-tools/check-robots.py # # 2. Eine eigene User-agent-Gruppe ersetzt die *-Gruppe komplett (RFC 9309: # "the crawler MUST use the group with the most specific user-agent match, # all other groups MUST be ignored"). Eine Gruppe, die nur "Allow: /" # enthaelt, nimmt den Bot damit von SAEMTLICHEN Sperren aus. # Genau das war der Fall: meta-externalagent, Googlebot, Bingbot, GPTBot # u. a. hatten eigene Allow-Gruppen und durften deshalb auch Warenkorb-, # Kassen- und add-to-cart-URLs abklappern. Am 28.07.2026 hat das 86.000 # Warenkorb-Sessions in einer Stunde erzeugt und den Server lahmgelegt. # # Solche "Allow: /"-Gruppen sind ueberfluessig: was die *-Gruppe nicht # verbietet, ist ohnehin erlaubt. Bitte NICHT wieder einfuegen — sonst ist # der betroffene Bot wieder von allem ausgenommen. User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Disallow: /wp-login.php Disallow: /cart/ Disallow: /warenkorb/ Disallow: /checkout/ Disallow: /kasse/ Disallow: /my-account/ Disallow: /mein-konto/ Disallow: /wp-json/ Disallow: /search/ # Warenkorb-Aufrufe: teuer (Session + Cart pro Request, nicht cachebar). # Zusaetzlich haelt das mu-plugin eilbulldog-block-bot-carts-v1.php Crawler ab, # die sich nicht an die robots.txt halten. Disallow: /*add-to-cart= # Suche. Bewusst NUR als erster Parameter gesperrt: "/*s=" waere viel zu breit # und wuerde jeden Parameter treffen, der auf "s=" endet (products=, class= …). # WordPress haengt "s" praktisch immer als ersten Parameter an. Disallow: /*?s= # Sortierung und Filter erzeugen endlose Parameter-Varianten derselben Liste Disallow: /*orderby= Disallow: /*filter_ # AMP-Plugin-Reste (AMP nicht aktiv, alte URLs leaken). # "/*amp=" deckt auch "noamp=" ab, weil das die Zeichenkette enthaelt. Disallow: /*amp= # WeGlot-Plugin-Reste (Polylang ist heute aktiv) Disallow: /*wg-choose-original= # Complianz-Cookiebanner-CSS mit literalem Platzhalter (Plugin-Bug, Datei ist 404) Disallow: /wp-content/uploads/complianz/css/banner-* # Cloudflare-Internals Disallow: /cdn-cgi/ # Suchmaschinen und AI-Crawler sind willkommen — sie brauchen keine eigene # Gruppe. Ueber die *-Regeln oben duerfen sie den gesamten inhaltlichen Teil # des Shops lesen; gesperrt sind nur Funktions-URLs (Warenkorb, Kasse, Konto) # und Parameter-Dubletten. Das ist erwuenscht: dieser Kram gehoert nicht in # den Index und kostet nur Crawl-Budget und Serverlast. # Schlechte Bots blockieren User-agent: AhrefsBot Disallow: / User-agent: SemrushBot Disallow: / User-agent: DotBot Disallow: / User-agent: MJ12bot Disallow: / User-agent: BLEXBot Disallow: / # Sitemap Sitemap: https://eilbulldog.de/sitemap_index.xml