Wenn Webseiten in Bing im Status „Discovered but not crawled“ feststecken, ist das Crawl-Budget der Domain erschöpft. Die Ursache sind oft automatische Spam-Pings des Cloudflare-Features Crawler Hints (via IndexNow), das fälschlicherweise massenhaft Plugin- und Systemdateien (wie .svg oder .woff) an Bing meldet. Die Lösung: Deaktiviere Crawler Hints im Cloudflare-Dashboard und sperre die Verzeichnisse /wp-content/plugins/ und /wp-includes/ dauerhaft in der robots.txt.
Ausgangslage
Ein Kunde trat mit einem akuten Problem an mich heran: Er optimiert seine Plattform strategisch für KI-Suchmaschinen (Generative Engine Optimization). Da Microsoft Copilot direkt auf den Bing-Index zugreift, ist eine fehlerfreie Indexierung bei Bing für seine GEO-Sichtbarkeit überlebenswichtig. Während bei Google alle neuen Seiten sofort indexiert wurden, blieb die Kurve bei Bing jedoch völlig flach.
Hindernis (Das Problem)
Bei der Analyse der Bing Webmaster Tools des Kunden zeigte sich ein extremes Missverhältnis: Über 3.400 eingereichte URLs (Submitted), aber nur 25 tatsächlich indexierte Seiten (Indexed).
Der Großteil seiner wertvollen Content-Seiten verblieb dauerhaft im Status „Discovered but not currently indexed“ oder „Discovered but not crawled“. Bing hatte die Seiten zwar entdeckt, weigerte sich aber strikt, sie zu crawlen.
Versuche
Der Kunde hatte zuvor bereits die XML-Sitemaps überprüft – diese waren absolut sauber. Auch manuelle Indexierungsanträge über sein Dashboard verpufften wirkungslos, da Bing die Befehle ignorierte. Erst als ich eine tiefere Analyse der Server-Logs und des Protokoll-Verhaltens durchführte, kam die technische Ursache ans Licht.
Lösung
Der Übeltäter war die Cloudflare-Funktion „Crawler Hints“, die das IndexNow-Protokoll nutzt. Da Cloudflare als Proxy vor WordPress sitzt, registrierte das System jede minimale Änderung an CSS-, JS- oder Schriftdateien von Plugins und schickte im Sekundentakt automatische API-Pings an Bing. Bing stufte diese Masse an System-Müll als minderwertigen Spam ein, wodurch das Crawl-Budget der gesamten Domain komplett aufgefressen wurde.
Die von mir umgesetzte 3-Schritte-Rettung:
- Cloudflare stoppen: Im Cloudflare-Dashboard des Kunden wurde Crawler Hints (unter Cache >Configuration) deaktiviert.
- Robots.txt korrigieren: Da die standardmäßige Yoast-Konfiguration des Kunden alles erlaubte, habe ich die Datei hart angepasst, um die betroffenen Verzeichnisse gezielt auszusperren:text
User-agent: * Disallow: /wp-content/plugins/ Disallow: /wp-includes/ Allow: / Sitemap: https://[Kunden-Domain]/sitemap_index.xml(Verwende Code mit Vorsicht.)
- Cache flashen & Bing zwingen: Nach einem Custom-Purge des Cloudflare-Caches für die
robots.txtwurde im Robots.txt-Tester von Bing via Fetch latest das Live-Update erzwungen, damit Bing die neuen Regeln sofort einliest.
Ergebnis
Nachdem die technischen Barrieren sauber getrennt waren, verstand der Bing-Crawler die neuen Regeln sofort. Über ein automatisiertes Support-Ticket im Webmaster-Dashboard wurde der blockierte Crawl-Status der Domain zurückgesetzt. Die Bereinigung sorgt nun dafür, dass das Crawl-Budget des Kunden wieder zu 100 % in die echten, wertvollen Inhalte fließt und die Indexierung ansteigt.
Learnings für GEO (Generative Engine Optimization)
Wer heute für generative KI-Engines optimiert, darf nicht nur auf guten Content setzen. Technische SEO-Hygiene ist das Fundament für GEO. Wenn automatisierte CDN-Features wie Crawler Hints unbemerkt System-Spam erzeugen, verliert die Suchmaschine das Vertrauen in die Domain. Die Konsequenz: Die Seite fliegt aus dem Bing-Index – und taucht damit sekundenlater auch in keinem KI-Antwort-Snippet von Microsoft Copilot mehr auf.
