Das WordPress SEO Crawl Budget Problem und wie man es behebt

Sie suchen nach einer einfachen Möglichkeit, das WordPress SEO Crawl Budget Problem zu beheben. Wir haben einen zuverlässigen Prozess, der Sie Schritt für Schritt durchführt.

Dies ist ein sehr häufiger Kontrollpunkt für Websites, die viele neue Seiten hinzufügen. Ihr Hauptziel ist es einfach, Suchmaschinen zuerst auf Ihre besten und neuesten Inhalte hinzuweisen.

Unser gesamter Ansatz zielt darauf ab, Ihre Website intelligenter und nicht härter arbeiten zu lassen. Dies hilft den Crawlern von Google, ihre Zeit auf den Seiten zu verbringen, die Ihnen den meisten Traffic bringen.

Unsere Arbeit mit unzähligen WordPress-Websites hat gezeigt, dass dies auf eine Reihe von Kernaktionen hinausläuft. Dies sind die spezifischen Schritte, die durchweg die besten Ergebnisse liefern.

Wir werden Ihnen diesen genauen Plan in diesem Artikel darlegen. Sie erhalten klare, umsetzbare Aufgaben, die Sie noch heute auf Ihrer Website ausführen können.

Da dies ein riesiges Thema ist, haben wir es in leicht verständliche Abschnitte unterteilt. Hier sind die verschiedenen Punkte, die wir in diesem Artikel behandeln werden:

• Wie funktioniert das Crawling durch Suchmaschinen?
• Was ist das SEO-Crawl-Budget?
• Was verursacht Probleme mit dem WordPress SEO Crawl-Budget?
• Wie berechnen Sie Ihr SEO-Crawl-Budget?
• Warum Sie sich um das SEO-Crawl-Budget kümmern sollten?
• So optimieren Sie das SEO-Crawl-Budget in WordPress ganz einfach
• Bonustipp: Erstellen einer Sitemap in WordPress
• Häufig gestellte Fragen zum WordPress SEO Crawl-Budget

Bereit? Lassen Sie uns damit beginnen, sicherzustellen, dass Ihre Seiten die Aufmerksamkeit erhalten, die sie verdienen.

Wie funktioniert das Crawling durch Suchmaschinen?

Suchmaschinen wie Google verwenden hochentwickelte Bots oder Computerprogramme, um Websites im Internet zu besuchen. Diese Bots suchen nach Änderungen auf Ihrer WordPress-Website und vergleichen sie mit dem Hauptsuchindex.

Nehmen wir an, Suchmaschinen finden neue Inhalte auf Ihrer Website. In diesem Fall werden sie diese in ihren Index aufnehmen. Wenn sie Inhalte finden, die bereits im Index sind, aber aktualisiert wurden, werden sie den Index mit den neuen Informationen aktualisieren.

Suchbots folgen dann allen Links auf einer Seite und wiederholen den Vorgang für diese Seiten.

Nun bewegen sich Bots von einem Link zum nächsten auf einer Seite, ähnlich wie echte Spinnen entlang ihrer Netze krabbeln. Deshalb wird der Begriff Crawling verwendet, um diese Aktivität zu beschreiben, und Sie sehen die Bots manchmal auch als Suchmaschinen-Spinnen bezeichnet.

Für besseres SEO müssen Sie sicherstellen, dass Suchmaschinen Ihre Website leicht crawlen können.

Was ist das SEO-Crawl-Budget?

Das SEO-Crawl-Budget ist die Anzahl der Seiten auf Ihrer Website, die Suchmaschinen wie Google crawlen werden.

Google-Bots crawlen täglich Milliarden von Seiten und entscheiden, wie viele Seiten auf jeder WordPress-Website sie crawlen, um ihre Ressourcen sinnvoll einzusetzen. Diese Zahl ist nicht fest und ändert sich täglich aufgrund verschiedener Faktoren. Es gibt also keine festgelegte Anzahl von Seiten, die der Google-Bot auf Ihrer Website oder Ihrem Blog crawlen wird.

Das heißt, größere Websites mit mehr Inhalten haben im Allgemeinen ein höheres Crawl-Budget, und kleinere Websites haben ein geringeres Budget.

Andere Faktoren beeinflussen ebenfalls das Crawl-Budget, wie die Popularität einer URL, Aktualität, Häufigkeit der Aktualisierung und mehr.

Beachten Sie, dass Sie Ihr Crawl-Budget aus verschiedenen Gründen für unerwünschte Seiten verlieren könnten.

Wenn Ihr WordPress-Blog beispielsweise nicht richtig optimiert ist, geben Suchmaschinen Ihr Crawl-Budget für weniger wichtige Teile des Blogs aus als für wichtige Inhalte.

Ebenso können Sie versehentlich Suchmaschinen daran hindern, Ihre Website zu crawlen. Wenn dies geschieht, nutzt Ihre Website möglicherweise überhaupt kein Crawl-Budget.

Was verursacht Probleme mit dem WordPress SEO Crawl-Budget?

Die Art und Weise, wie WordPress URLs und doppelte Inhalte generiert, kann zu Problemen mit dem Crawl-Budget führen.

Zum Beispiel generiert WordPress automatisch RSS-Feeds für verschiedene Bereiche Ihrer Website. Es gibt RSS-Feeds für:

• Der Hauptblog
• Kategorien und Schlagwörter
• Kommentare zu jedem Beitrag und jeder Seite
• Benutzerdefinierte Beitragstypen mit separaten RSS-Feed-URLs und mehr.

Links zu diesen RSS-Feeds werden dem HTML-Quellcode Ihrer Website hinzugefügt, wodurch sie für Suchmaschinen auffindbar werden.

Suchmaschinen sind mittlerweile intelligent genug, um duplicate content zu erkennen und zu ignorieren. Sie würden ihn jedoch trotzdem crawlen und Ihr SEO-Crawl-Budget aufbrauchen.

Außerdem würden Suchmaschinen unwichtigere Elemente mehr als nötig crawlen. Dazu gehören Archivseiten, Taxonomien, Autorenarchive und PDF-Dateien.

WordPress-Plugins oder andere Tools von Drittanbietern können auch Query-Parameter zu Ihren WordPress-URLs hinzufügen. Googles Spider können diese Query-Parameter als unterschiedliche Seiten betrachten und sie crawlen.

UTM-Parameter werden beispielsweise für das Google Analytics-Tracking verwendet, und eine Seite mit oder ohne diese Abfrageparameter würde immer noch gleich aussehen.

Hier ist ein Beispiel: https://yourdomain.com/landingpage/?utm_source=newsletter

Dies verschwendet Ihr SEO-Crawl-Budget für weniger wichtige Elemente und wird zu einem Problem.

Wie berechnen Sie Ihr SEO-Crawl-Budget?

Das SEO-Crawl-Budget ist keine feste Seitenzahl. Es schwankt stark, und es gibt keine zuverlässige Möglichkeit, vorherzusagen, wie viele Seiten Google an einem bestimmten Tag auf Ihrer Website crawlen wird.

Sie können sich jedoch anhand der jüngsten Crawl-Aktivität einen ziemlich guten Eindruck davon verschaffen, wie Google Ihre Website crawlt.

Wenn Sie dies noch nicht getan haben, müssen Sie zuerst Ihre Website zu Google Search Console hinzufügen. Es ist ein kostenloses Tool von Google, das Websitebesitzern hilft herauszufinden, wie ihre Website in der Google-Suche abschneidet.

Navigieren Sie einfach zu Ihrem 'Search Console'-Dashboard. Wechseln Sie dann im linken Menü zum Menü 'Einstellungen' und klicken Sie neben 'Crawl-Statistiken' auf 'Bericht öffnen'.

Der Bericht „Crawl“-Statistiken zeigt eine Übersicht der Crawl-Anfragen auf Ihrer Website in den letzten Wochen.

Sie können mit der Maus über das Diagramm fahren, um zu sehen, wie viele Seiten täglich angefordert wurden.

Dies gibt Ihnen eine Vorstellung von der durchschnittlichen Crawl-Rate auf Ihrer Website während dieses Zeitraums.

Unten sehen Sie eine Aufschlüsselung der Crawl-Aktivität nach Antwortcode, Dateitypen, Zweck und Google Bot-Typ.

Von hier aus können Sie sehen, wie viel vom Crawl-Budget für Fehler, Syndication (RSS-Feeds), JavaScript, CSS, Bilder und mehr ausgegeben wird.

Dies gibt Ihnen einen Überblick über Elemente, die Sie optimieren können, um das SEO-Crawl-Budget effizienter zu nutzen. Wenn Sie beispielsweise viele 404-Fehler haben, die gecrawlt werden, können Sie ein Weiterleitungs-Plugin verwenden, um sicherzustellen, dass diese Crawler auf hilfreiche Inhalte gelangen.

(Später im Artikel zeigen wir Ihnen Schritt für Schritt, wie Sie Crawling-Fehler umleiten.)

Warum Sie sich um das SEO-Crawl-Budget kümmern sollten?

Suchmaschinen müssen Ihre Website effizient crawlen, um Ihre Inhalte rechtzeitig und richtig zu indexieren. Wenn Ihr SEO-Crawl-Budget jedoch verschwendet wird, werden Ihre wichtigen und neueren Inhalte möglicherweise nicht rechtzeitig gecrawlt.

Es kann Wochen dauern, bis Suchmaschinen Aktualisierungen Ihrer älteren Artikel bemerken oder neue Inhalte entdecken.

Sie verpassen Traffic von Suchmaschinen, Ihre SEO-Rankings verbessern sich möglicherweise nicht, und Sie verlieren Geld durch Verkäufe oder Werbeeinnahmen.

So optimieren Sie das SEO-Crawl-Budget in WordPress ganz einfach

Der einfachste und sicherste Weg, Ihr SEO-Crawl-Budget in WordPress zu optimieren, ist die Verwendung von All in One SEO für WordPress oder AIOSEO.

Es ist das beste WordPress SEO-Plugin mit einem integrierten Tool zur Optimierung des SEO-Crawls.

Um zu beginnen, installieren und aktivieren wir zunächst das Plugin All in One SEO for WordPress. Wenn Sie nicht wissen, wie das geht, finden Sie in unserer Schritt-für-Schritt-Anleitung zur Installation eines WordPress-Plugins.

Nach der Aktivierung zeigt Ihnen das Plugin einen Einrichtungsassistenten an. Befolgen Sie einfach die Anweisungen auf dem Bildschirm, um das Plugin einzurichten.

Anschließend können Sie in Ihrem WordPress-Adminbereich zu All in One SEO » Sucherscheinung navigieren.

Dann möchten Sie zum Tab 'Erweitert' wechseln.

Von hier aus scrollen wir zum Ende der Seite, bis wir die Option „Crawl Cleanup“ finden.

Klicken Sie auf den Schalter, um die Funktion „Crawl Cleanup“ zu aktivieren.

Die erste Option, die Sie bei der Crawl-Bereinigung sehen, ist das Entfernen von Query-Argumenten.

Unten können Sie eine Liste von Abfrageargumenten angeben, die Sie zulassen möchten. Fortgeschrittene Benutzer können hier reguläre Ausdrücke (Regex) verwenden.

Als Nächstes sehen Sie Optionen für WordPress RSS-Feeds. All in One SEO zeigt Ihnen alle Arten von RSS-Feeds an, die von WordPress generiert werden, und Sie können die weniger wichtigen RSS-Feeds deaktivieren.

Wenn Sie beispielsweise einen Blog mit einem einzigen Autor haben, können Sie die Funktion „Author Feeds“ deaktivieren.

Nachdem Sie alle unerwünschten RSS-Feeds deaktiviert haben, vergessen Sie nicht, auf die Schaltfläche „Änderungen speichern“ zu klicken, um Ihre Einstellungen zu speichern.

So richten Sie Weiterleitungen für Fehlerseiten ein

All in One SEO richtet automatisch Weiterleitungen für deaktivierte Feeds ein. Beispielsweise leitet ein Tag-RSS-Feed Benutzer zur Tag-Archivseite weiter.

Sie können zu Ihrem Google Search Console Dashboard wechseln und den Crawl-Statistikbericht öffnen. Hier sehen Sie eine Liste der Seiten, die zu Fehlern geführt haben.

Nun können Sie je nach Statuscode Weiterleitungen für diese Seiten einrichten.

Zum Beispiel können Sie 404-Fehler auf eine ähnliche Seite umleiten. Sie können auch andere Seiten mit Fehlern überprüfen und Weiterleitungen für diese einrichten.

All in One SEO erleichtert die Einrichtung von Weiterleitungen auf Ihrer WordPress-Website erheblich. Gehen Sie einfach zur Seite All in One SEO » Weiterleitungen und fügen Sie die alte URL unter 'Quell-URL' und die neue URL unter dem Feld 'Ziel-URL' hinzu.

Klicken Sie auf die Schaltfläche 'Weiterleitung hinzufügen', um Ihre Einstellungen zu speichern.

Dann können Sie den Vorgang einfach wiederholen, um bei Bedarf weitere Weiterleitungen einzurichten. Weitere Details und alternative Methoden finden Sie in unserem Leitfaden unter Einrichtung von Weiterleitungen in WordPress.

Bonustipp: Erstellen einer Sitemap in WordPress

Eine XML-Sitemap ist eine spezielle Datei, die alle Seiten Ihrer Website in einem Format auflistet, das Suchmaschinen wie Google leicht lesen können. Stellen Sie es sich wie eine Karte für Suchmaschinen vor, damit diese Ihre Inhalte finden und indexieren können.

Eine XML-Sitemap hilft nicht direkt dabei, Ihre Suchrankings zu verbessern, aber sie hilft Suchmaschinen, mehr von Ihren Inhalten zu finden und zu indexieren.

Dies ist besonders nützlich für neue Websites oder Blogs ohne viele Backlinks, da es Suchmaschinen hilft, alle Ihre Seiten zu entdecken. Selbst für etablierte Websites heben Sitemaps wichtige Seiten und die Aktualisierungshäufigkeit hervor, was es für Suchmaschinen einfacher macht, Ihre Inhalte effektiv zu indexieren.

Weitere Informationen zu diesem Thema finden Sie in unserem Leitfaden zu XML-Sitemaps und wie man eine in WordPress erstellt.

Häufig gestellte Fragen zum WordPress SEO Crawl-Budget

Wir verstehen, dass das SEO-Crawl-Budget ein komplexes Thema sein kann, daher haben wir einige der häufigsten Fragen unserer Leser dazu beantwortet. Hier ist eine kurze Zusammenfassung dessen, was Sie wissen müssen.

1. Was ist ein Crawl-Budget und warum ist es für WordPress wichtig?

Das SEO-Crawl-Budget ist die Anzahl der Seiten, die Suchmaschinen wie Google innerhalb eines bestimmten Zeitraums auf Ihrer Website besuchen. Es ist wichtig, denn wenn Ihr Budget für unwichtige Seiten (wie obskure Archive oder doppelte URLs) verschwendet wird, werden Ihre wertvollen neuen Beiträge und wichtigen Updates möglicherweise nicht rechtzeitig entdeckt und in den Suchergebnissen eingestuft.

2. Woher weiß ich, ob ich ein Crawl-Budget-Problem habe?

Der beste Weg, dies zu überprüfen, ist mit Ihrem kostenlosen Google Search Console-Konto. Der Bericht „Crawling-Statistiken“ zeigt an, wie viele Seiten Google täglich anfordert. Wenn Sie feststellen, dass viele Anfragen zu Fehlerseiten oder unwichtigen URLs führen oder Sie bemerken, dass Ihre neuen Inhalte sehr lange brauchen, um in der Suche zu erscheinen, ist dies ein starkes Zeichen dafür, dass Sie Ihr Crawl-Budget optimieren müssen.

3. Was ist der einfachste Weg, Probleme mit dem Crawl-Budget in WordPress zu beheben?

Der einfachste Weg, Ihr Crawl-Budget zu optimieren, ist die Verwendung eines Plugins wie All in One SEO (AIOSEO). Seine integrierte Crawl Cleanup-Funktion ermöglicht es Ihnen, Suchmaschinen einfach daran zu hindern, minderwertige Seiten zu crawlen, wie z. B. bestimmte RSS-Feeds oder Seiten mit bestimmten Abfrageparametern. Dies hilft, Suchmaschinen anzuweisen, sich auf die Inhalte zu konzentrieren, die für Ihr Unternehmen am wichtigsten sind.

4. Muss sich jede WordPress-Website um das Crawl-Budget sorgen?

Während das Crawl-Budget für jede Website ein Faktor ist, wird es für größere Websites mit Tausenden von Seiten zu einem wichtigeren Anliegen. Dennoch profitieren auch kleinere Websites von einer guten Crawl-Optimierung. Sie stellt sicher, dass Suchmaschinen alle Ihre Inhalte effizient finden können, ohne ihre Ressourcen zu verschwenden, was immer eine gute Praxis ist.

5. Wie hilft eine XML-Sitemap meinem Crawl-Budget?

Eine XML-Sitemap funktioniert wie eine Straßenkarte für Suchmaschinen. Sie bietet ihnen eine übersichtliche, organisierte Liste aller wichtigen URLs auf Ihrer Website, die sie crawlen sollen. Obwohl sie Ihr Crawl-Budget nicht direkt erhöht, hilft sie Suchmaschinen, ihr zugewiesenes Budget viel sinnvoller zu nutzen und stellt sicher, dass sie Ihre wichtigsten Seiten nicht übersehen.

Wir hoffen, dieser Artikel hat Ihnen geholfen, das Problem mit dem WordPress SEO-Crawl-Budget zu verstehen und zu beheben. Möglicherweise möchten Sie auch diese Expertentipps zur Nutzung der Google Search Console zur Steigerung des Traffics oder praktische Beispiele dafür sehen, wie Sie die organische Klickrate (CTR) in WordPress verbessern können.

Wenn Ihnen dieser Artikel gefallen hat, abonnieren Sie bitte unseren YouTube-Kanal für WordPress-Video-Tutorials. Sie finden uns auch auf Twitter und Facebook.