Das WordPress SEO Crawl Budget Problem und wie man es behebt

Haben Sie Schwierigkeiten, Ihre neuen WordPress-Seiten von Google indexieren zu lassen?

Es ist unglaublich frustrierend, wenn Sie hochwertige Inhalte veröffentlichen, aber Suchmaschinen sie nicht so schnell ranken, wie Sie es sich wünschen. Oft liegt das Problem nicht an Ihren Inhalten, sondern an einem technischen Faktor, der als „Crawl-Budget“ bekannt ist.

Bei WPBeginner verwalten wir aktiv unser Crawl-Budget, um sicherzustellen, dass jeder Beitrag die verdiente Aufmerksamkeit erhält.

In diesem Leitfaden erklären wir das WordPress-SEO-Crawl-Budget-Problem und zeigen Ihnen Schritt für Schritt, wie Sie es beheben können.

Da dies ein riesiges Thema ist, haben wir es in leicht verständliche Abschnitte unterteilt. Hier sind die verschiedenen Punkte, die wir in diesem Artikel behandeln werden:

Bereit? Lassen Sie uns damit beginnen, sicherzustellen, dass Ihre Seiten die Aufmerksamkeit erhalten, die sie verdienen.

Wie funktioniert das Crawling durch Suchmaschinen?

Suchmaschinen wie Google verwenden Computerprogramme, oft „Bots“ oder „Spider“ genannt, um Websites im Internet zu besuchen. Diese Bots suchen nach Änderungen auf Ihrer WordPress-Website und vergleichen sie mit dem Hauptsuchindex.

Nehmen wir an, Suchmaschinen finden neue Inhalte auf Ihrer Website. In diesem Fall werden sie diese in ihren Index aufnehmen. Wenn sie Inhalte finden, die bereits im Index sind, aber aktualisiert wurden, werden sie den Index mit den neuen Informationen aktualisieren.

Suchbots folgen dann allen Links auf einer Seite und wiederholen den Vorgang für diese Seiten.

Nun bewegen sich Bots von einem Link zum nächsten auf einer Seite, ähnlich wie echte Spinnen entlang ihrer Netze krabbeln. Deshalb wird der Begriff Crawling verwendet, um diese Aktivität zu beschreiben, und Sie sehen die Bots manchmal auch als Suchmaschinen-Spinnen bezeichnet.

Für besseres SEO müssen Sie sicherstellen, dass Suchmaschinen Ihre Website leicht crawlen können.

Was ist das SEO-Crawl-Budget?

Das SEO-Crawl-Budget ist die Anzahl der Seiten auf Ihrer Website, die Suchmaschinen wie Google crawlen werden.

Google-Bots crawlen täglich Milliarden von Seiten und entscheiden, wie viele Seiten auf jeder WordPress-Website sie crawlen, um ihre Ressourcen sinnvoll einzusetzen. Diese Zahl ist nicht fest und ändert sich täglich aufgrund verschiedener Faktoren. Es gibt also keine festgelegte Anzahl von Seiten, die der Google-Bot auf Ihrer Website oder Ihrem Blog crawlen wird.

Das heißt, größere Websites mit mehr Inhalten haben im Allgemeinen ein höheres Crawl-Budget, und kleinere Websites haben ein geringeres Budget.

Andere Faktoren beeinflussen ebenfalls das Crawl-Budget, wie die Popularität einer URL, Aktualität, Häufigkeit der Aktualisierung und mehr.

Beachten Sie, dass Sie Ihr Crawl-Budget aus verschiedenen Gründen für unerwünschte Seiten verlieren könnten.

Wenn Ihr WordPress-Blog beispielsweise nicht richtig optimiert ist, könnten Suchmaschinen Ihr Crawl-Budget für unwichtige Teile Ihrer Website verschwenden, anstatt für Ihre hochwertigen Inhalte.

Ebenso können Sie versehentlich Suchmaschinen daran hindern, Ihre Website zu crawlen. Wenn dies geschieht, nutzt Ihre Website möglicherweise überhaupt kein Crawl-Budget.

Was verursacht Probleme mit dem WordPress SEO Crawl-Budget?

Die Art und Weise, wie WordPress URLs und doppelte Inhalte generiert, kann zu Problemen mit dem Crawl-Budget führen.

Zum Beispiel generiert WordPress automatisch RSS-Feeds für verschiedene Bereiche Ihrer Website. Es gibt RSS-Feeds für:

• Der Hauptblog
• Kategorien und Schlagwörter
• Kommentare zu jedem Beitrag und jeder Seite
• Benutzerdefinierte Beitragstypen mit separaten RSS-Feed-URLs und mehr.

Links zu diesen RSS-Feeds werden dem HTML-Quellcode Ihrer Website hinzugefügt, wodurch sie für Suchmaschinen auffindbar werden.

Suchmaschinen sind mittlerweile intelligent genug, um duplicate content zu erkennen und zu ignorieren. Sie würden ihn jedoch trotzdem crawlen und Ihr SEO-Crawl-Budget aufbrauchen.

Außerdem crawlen Suchmaschinen oft unwichtige Elemente mehr als nötig. Dazu können unnötige Archivseiten, Autorenarchive für Blogs mit nur einem Autor und PDF-Dateien gehören.

WordPress-Plugins oder andere Tools von Drittanbietern können auch Query-Parameter zu Ihren WordPress-URLs hinzufügen. Googles Spider können diese Query-Parameter als unterschiedliche Seiten betrachten und sie crawlen.

UTM-Parameter werden beispielsweise für das Google Analytics-Tracking verwendet. Obwohl diese für Ihre Marketingdaten unerlässlich sind, erstellen sie doppelte URLs, die von Suchmaschinen technisch nicht gecrawlt werden müssen.

Hier ist ein Beispiel: https://yourdomain.com/landingpage/?utm_source=newsletter

Dies verschwendet Ihr SEO-Crawl-Budget für weniger wichtige Elemente und wird zu einem Problem.

Wie berechnen Sie Ihr SEO-Crawl-Budget?

Das SEO-Crawl-Budget ist keine feste Seitenzahl. Es schwankt stark, und es gibt keine zuverlässige Möglichkeit, vorherzusagen, wie viele Seiten Google an einem bestimmten Tag auf Ihrer Website crawlen wird.

Sie können sich jedoch anhand der jüngsten Crawl-Aktivität einen ziemlich guten Eindruck davon verschaffen, wie Google Ihre Website crawlt.

Wenn Sie dies noch nicht getan haben, müssen Sie zuerst Ihre Website zu Google Search Console hinzufügen. Es ist ein kostenloses Tool von Google, das Websitebesitzern hilft herauszufinden, wie ihre Website in der Google-Suche abschneidet.

Navigieren Sie einfach zu Ihrem 'Search Console'-Dashboard. Wechseln Sie dann im linken Menü zum Menü 'Einstellungen' und klicken Sie neben 'Crawl-Statistiken' auf 'Bericht öffnen'.

Der Bericht „Crawl“-Statistiken zeigt eine Übersicht der Crawl-Anfragen auf Ihrer Website in den letzten Wochen.

Sie können mit der Maus über das Diagramm fahren, um zu sehen, wie viele Seiten täglich angefordert wurden.

Dies gibt Ihnen eine Vorstellung von der durchschnittlichen Crawl-Rate auf Ihrer Website während dieses Zeitraums.

Unten sehen Sie eine Aufschlüsselung der Crawl-Aktivität nach Antwortcode, Dateitypen, Zweck und Google Bot-Typ.

Von hier aus können Sie sehen, wie viel vom Crawl-Budget für Fehler, Syndication (RSS-Feeds), JavaScript, CSS, Bilder und mehr ausgegeben wird.

Dies gibt Ihnen einen Überblick über Elemente, die Sie optimieren können, um das SEO-Crawl-Budget effizienter zu nutzen. Wenn Sie beispielsweise viele 404-Fehler haben, die gecrawlt werden, können Sie ein Weiterleitungs-Plugin verwenden, um sicherzustellen, dass diese Crawler auf hilfreiche Inhalte gelangen.

(Später im Artikel zeigen wir Ihnen Schritt für Schritt, wie Sie Crawling-Fehler umleiten.)

Warum sollten Sie sich für das SEO-Crawl-Budget interessieren?

Suchmaschinen müssen Ihre Website effizient crawlen, um Ihre Inhalte rechtzeitig und richtig zu indexieren. Wenn Ihr SEO-Crawl-Budget jedoch verschwendet wird, werden Ihre wichtigen und neueren Inhalte möglicherweise nicht rechtzeitig gecrawlt.

Es kann Wochen dauern, bis Suchmaschinen Aktualisierungen Ihrer älteren Artikel bemerken oder neue Inhalte entdecken.

Sie verpassen Traffic von Suchmaschinen, Ihre SEO-Rankings verbessern sich möglicherweise nicht, und Sie verlieren Geld durch Verkäufe oder Werbeeinnahmen.

So optimieren Sie das SEO-Crawl-Budget in WordPress ganz einfach

Der einfachste und sicherste Weg, Ihr SEO-Crawl-Budget in WordPress zu optimieren, ist die Verwendung von All in One SEO für WordPress oder AIOSEO.

Es ist das beste WordPress SEO-Plugin mit einem integrierten Tool zur Optimierung des SEO-Crawls.

Um zu beginnen, installieren und aktivieren wir zunächst das Plugin All in One SEO for WordPress. Wenn Sie nicht wissen, wie das geht, finden Sie in unserer Schritt-für-Schritt-Anleitung zur Installation eines WordPress-Plugins.

Nach der Aktivierung zeigt Ihnen das Plugin einen Einrichtungsassistenten an. Befolgen Sie einfach die Anweisungen auf dem Bildschirm, um das Plugin einzurichten.

Anschließend können Sie in Ihrem WordPress-Adminbereich zu All in One SEO » Sucherscheinung navigieren.

Dann möchten Sie zum Tab 'Erweitert' wechseln.

Von hier aus scrollen wir zum Ende der Seite, bis wir die Option „Crawl Cleanup“ finden.

Klicken Sie auf den Schalter, um die Funktion „Crawl Cleanup“ zu aktivieren.

Die erste Option, die Sie im Crawl Cleanup sehen, ist das Entfernen von Query-Argumenten. Dies hilft, Ihre URLs zu bereinigen.

Unten können Sie eine Liste von Abfrageargumenten angeben, die Sie zulassen möchten. Fortgeschrittene Benutzer können hier reguläre Ausdrücke (Regex) verwenden.

Als Nächstes sehen Sie Optionen für WordPress RSS-Feeds. All in One SEO zeigt Ihnen alle Arten von RSS-Feeds an, die von WordPress generiert werden, und Sie können die weniger wichtigen RSS-Feeds deaktivieren.

Wenn Sie beispielsweise einen Blog mit nur einem Autor haben, können Sie die Funktion „Author Feeds“ deaktivieren. Da der Autoren-Feed mit Ihrem Haupt-Blog-Feed identisch ist, spart die Deaktivierung des Crawl-Budgets, ohne die Sichtbarkeit von Inhalten zu verlieren.

Nachdem Sie alle unerwünschten RSS-Feeds deaktiviert haben, vergessen Sie nicht, auf die Schaltfläche „Änderungen speichern“ zu klicken, um Ihre Einstellungen zu speichern.

So richten Sie Weiterleitungen für Fehlerseiten ein

All in One SEO richtet automatisch Weiterleitungen für deaktivierte Feeds ein. Beispielsweise leitet ein Tag-RSS-Feed Benutzer zur Tag-Archivseite weiter.

Sie können zu Ihrem Google Search Console Dashboard wechseln und den Crawl-Statistikbericht öffnen. Hier sehen Sie eine Liste der Seiten, die zu Fehlern geführt haben.

Nun können Sie je nach Statuscode Weiterleitungen für diese Seiten einrichten.

Zum Beispiel können Sie 404-Fehler auf eine ähnliche Seite umleiten. Sie können auch andere Seiten mit Fehlern überprüfen und Weiterleitungen für diese einrichten.

All in One SEO erleichtert die Einrichtung von Weiterleitungen auf Ihrer WordPress-Website erheblich. Gehen Sie einfach zur Seite All in One SEO » Weiterleitungen und fügen Sie die alte URL unter 'Quell-URL' und die neue URL unter dem Feld 'Ziel-URL' hinzu.

Klicken Sie auf die Schaltfläche 'Weiterleitung hinzufügen', um Ihre Einstellungen zu speichern.

Dann können Sie den Vorgang einfach wiederholen, um bei Bedarf weitere Weiterleitungen einzurichten. Weitere Details und alternative Methoden finden Sie in unserem Leitfaden unter Einrichtung von Weiterleitungen in WordPress.

Bonustipp: Erstellen einer Sitemap in WordPress

Eine XML-Sitemap ist eine spezielle Datei, die alle Seiten Ihrer Website in einem Format auflistet, das Suchmaschinen wie Google leicht lesen können. Stellen Sie es sich wie eine Karte für Suchmaschinen vor, damit diese Ihre Inhalte finden und indexieren können.

Eine XML-Sitemap hilft nicht direkt dabei, Ihre Suchrankings zu verbessern, aber sie hilft Suchmaschinen, mehr von Ihren Inhalten zu finden und zu indexieren.

Dies ist besonders nützlich für neue Websites oder Blogs ohne viele Backlinks, da es Suchmaschinen hilft, alle Ihre Seiten zu entdecken. Selbst für etablierte Websites heben Sitemaps wichtige Seiten und die Aktualisierungshäufigkeit hervor, was es für Suchmaschinen einfacher macht, Ihre Inhalte effektiv zu indexieren.

Weitere Informationen zu diesem Thema finden Sie in unserem Leitfaden zu XML-Sitemaps und wie man eine in WordPress erstellt.

Häufig gestellte Fragen zum WordPress SEO Crawl-Budget

Wir verstehen, dass das SEO-Crawl-Budget ein komplexes Thema sein kann, daher haben wir einige der häufigsten Fragen unserer Leser dazu beantwortet. Hier ist eine kurze Zusammenfassung dessen, was Sie wissen müssen.

1. Was ist ein Crawl-Budget und warum ist es für WordPress wichtig?

Das SEO-Crawl-Budget ist die Anzahl der Seiten, die Suchmaschinen wie Google innerhalb eines bestimmten Zeitraums auf Ihrer Website besuchen. Es ist wichtig, denn wenn Ihr Budget für unwichtige Seiten (wie obskure Archive oder doppelte URLs) verschwendet wird, werden Ihre wertvollen neuen Beiträge und wichtigen Updates möglicherweise nicht rechtzeitig entdeckt und in den Suchergebnissen eingestuft.

2. Woher weiß ich, ob ich ein Crawl-Budget-Problem habe?

Der beste Weg, dies zu überprüfen, ist mit Ihrem kostenlosen Google Search Console-Konto. Der Bericht „Crawling-Statistiken“ zeigt an, wie viele Seiten Google täglich anfordert. Wenn Sie feststellen, dass viele Anfragen zu Fehlerseiten oder unwichtigen URLs führen oder Sie bemerken, dass Ihre neuen Inhalte sehr lange brauchen, um in der Suche zu erscheinen, ist dies ein starkes Zeichen dafür, dass Sie Ihr Crawl-Budget optimieren müssen.

3. Was ist der einfachste Weg, Probleme mit dem Crawl-Budget in WordPress zu beheben?

Der einfachste Weg, Ihr Crawl-Budget zu optimieren, ist die Verwendung eines Plugins wie All in One SEO (AIOSEO). Seine integrierte Crawl Cleanup-Funktion ermöglicht es Ihnen, Suchmaschinen einfach daran zu hindern, minderwertige Seiten zu crawlen, wie z. B. bestimmte RSS-Feeds oder Seiten mit bestimmten Abfrageparametern. Dies hilft, Suchmaschinen anzuweisen, sich auf die Inhalte zu konzentrieren, die für Ihr Unternehmen am wichtigsten sind.

4. Muss sich jede WordPress-Website um das Crawl-Budget sorgen?

Während das Crawl-Budget für jede Website ein Faktor ist, wird es für größere Websites mit Tausenden von Seiten zu einem wichtigeren Anliegen. Dennoch profitieren auch kleinere Websites von einer guten Crawl-Optimierung. Sie stellt sicher, dass Suchmaschinen alle Ihre Inhalte effizient finden können, ohne ihre Ressourcen zu verschwenden, was immer eine gute Praxis ist.

5. Wie hilft eine XML-Sitemap meinem Crawl-Budget?

Eine XML-Sitemap funktioniert wie eine Straßenkarte für Suchmaschinen. Sie bietet ihnen eine übersichtliche, organisierte Liste aller wichtigen URLs auf Ihrer Website, die sie crawlen sollen. Obwohl sie Ihr Crawl-Budget nicht direkt erhöht, hilft sie Suchmaschinen, ihr zugewiesenes Budget viel sinnvoller zu nutzen und stellt sicher, dass sie Ihre wichtigsten Seiten nicht übersehen.

Zusätzliche Ressourcen

Wir hoffen, dieser Artikel hat Ihnen geholfen, das Problem des WordPress SEO Crawl-Budgets zu verstehen und wie Sie es beheben können. Möglicherweise möchten Sie auch diese anderen Leitfäden zur Verbesserung Ihres Website-Traffics sehen:

• Der ultimative WordPress SEO-Leitfaden für Anfänger (Schritt für Schritt)
• So bitten Sie Google, URLs Ihrer WordPress-Website neu zu crawlen
• Warum wurde meine WordPress-Site von Google de-indiziert?
• Was ist eine robots.txt-Datei? (SEO Best Practices)
• Interne Verlinkung für SEO: Der ultimative Leitfaden mit Best Practices

Wenn Ihnen dieser Artikel gefallen hat, abonnieren Sie bitte unseren YouTube-Kanal für WordPress-Video-Tutorials. Sie finden uns auch auf Twitter und Facebook.