Das WordPress SEO Crawl Budget Problem und wie man es behebt

Versuchen Sie, das WordPress-SEO-Crawl-Budget-Problem zu lösen?

Das SEO-Crawl-Budget gibt an, wie oft die Suchmaschinen die Seiten Ihrer Website crawlen werden. Ein niedrigeres Crawl-Budget kann dazu führen, dass Ihre Seiten nicht rechtzeitig indiziert werden. Dies kann sich negativ auf Ihre SEO-Rankings auswirken und Ihren Gesamtverkehr verringern.

In diesem Artikel erklären wir das WordPress-SEO-Crawl-Budget-Problem und wie man es schnell beheben kann.

Da dies ein umfangreiches Thema ist, haben wir es in leicht verständliche Abschnitte unterteilt. Hier sind die verschiedenen Punkte, die wir in diesem Artikel behandeln werden:

Wie funktioniert Search Crawling?

Suchmaschinen wie Google verwenden hochentwickelte Bots (Computerprogramme), um Websites im Internet zu besuchen.

Diese Bots suchen nach Änderungen auf Ihrer WordPress-Website und vergleichen sie mit dem Hauptsuchindex.

Wenn sie neue Inhalte entdecken, fügen sie diese dem Suchindex hinzu. Wenn sie Inhalte finden, die sich bereits im Index befinden, sich aber geändert haben, aktualisieren sie den Index mit neuen Inhalten.

Die Suchbots folgen dann allen Links auf einer Seite und wiederholen den Vorgang für diese Seiten.

Die Art und Weise, wie sich Bots von einem Link zu anderen Links auf einer Seite bewegen, ähnelt der Art und Weise, wie echte Spider ihre Netze durchkrabbeln.

Aus diesem Grund wird der Begriff Crawling verwendet, um diese Aktivität zu beschreiben, und manchmal werden die Bots auch als Suchmaschinen-Spider bezeichnet.

Für eine bessere Suchmaschinenoptimierung müssen Sie sicherstellen, dass Suchmaschinen Ihre Website problemlos durchsuchen können.

Was ist SEO Crawl Budget?

Das SEO-Crawl-Budget gibt an, wie oft Suchmaschinen wie Google die Seiten Ihrer Website crawlen werden.

Die Google-Bots durchsuchen jeden Tag Milliarden von Seiten. Sie versuchen zu berechnen, wie viele Seiten sie auf jeder Website-Domain crawlen werden, um die Ressourcen effizient zu nutzen.

Diese Zahl wird von den Crawling-Algorithmen auf der Grundlage mehrerer Faktoren automatisch ermittelt.

Sie schwankt täglich, es gibt also keine feste Zahl dafür, wie viele Seiten der Google-Bot auf Ihrer Website oder Ihrem WordPress-Blog crawlen wird.

Im Allgemeinen haben größere Websites mit mehr Inhalt ein höheres Crawl-Budget und kleinere Websites ein geringeres Budget.

Auch andere Faktoren beeinflussen das Crawl-Budget, wie die Popularität einer URL, die Aktualität, die Häufigkeit der Aktualisierungen und vieles mehr.

Allerdings können Sie aus verschiedenen Gründen Ihr Crawl-Budget für unerwünschte Seiten verlieren.

Wenn Ihre Website zum Beispiel nicht richtig optimiert ist, werden die Suchmaschinen Ihr Crawl-Budget für weniger wichtige Teile Ihrer Website als für wichtige Inhalte ausgeben.

Ebenso kann es sein, dass Sie Suchmaschinen versehentlich daran hin dern, Ihre Website zu crawlen. In diesem Fall nutzt Ihre Website das Crawl-Budget möglicherweise gar nicht.

Was sind die Ursachen für WordPress SEO Crawl Budget Probleme?

Die Art und Weise, wie WordPress URLs und doppelte Inhalte generiert, kann zu Problemen beim Crawl-Budget führen.

WordPress generiert zum Beispiel automatisch RSS-Feeds für verschiedene Bereiche Ihrer Website.

Es gibt RSS-Feeds für den Hauptblog, Kategorien und Tags, Kommentare zu jedem einzelnen Beitrag und jeder Seite und sogar benutzerdefinierte Beitragstypen mit eigenen RSS-Feed-URLs.

Links zu diesen RSS-Feeds werden in den HTML-Quellcode Ihrer Website eingefügt, so dass sie von Suchmaschinen gefunden werden können.

Die Suchmaschinen sind inzwischen klug genug, um doppelte Inhalte zu erkennen und zu ignorieren. Sie würden sie aber immer noch crawlen und Ihr SEO-Crawl-Budget ausgeben.

Außerdem würden Suchmaschinen weniger wichtige Elemente mehr als nötig crawlen. Dazu gehören Archivseiten, Taxonomien, Autorenarchive, PDF-Dateien und mehr.

WordPress-Plugins oder andere Tools von Drittanbietern können auch Abfrageparameter zu Ihren WordPress-URLs hinzufügen.

Die Spider von Google können diese Abfrageparameter als eine andere Seite betrachten und sie crawlen.

UTM-Parameter werden z. B. für das Google Analytics-Tracking verwendet, und eine Seite mit oder ohne diese Abfrageparameter würde immer noch gleich aussehen.

Beispiel: https://yourdomain.com/landingpage/?utm_source=newsletter

Dadurch wird Ihr SEO-Crawl-Budget für weniger wichtige Punkte verschwendet und zu einem Problem.

Wie berechnen Sie Ihr SEO Crawl Budget?

Das SEO-Crawl-Budget ist keine festgelegte Anzahl von Seiten.

Sie schwankt stark, und es gibt keine zuverlässige Methode, um vorherzusagen, wie viele Seiten Ihrer Website Google an einem bestimmten Tag crawlen wird.

Sie können sich jedoch anhand der jüngsten Crawling-Aktivitäten ein recht gutes Bild davon machen, wie Google Ihre Website crawlt.

Wenn Sie dies noch nicht getan haben, müssen Sie Ihre Website zunächst zur Google Search Console hinzufügen. Es handelt sich dabei um ein kostenloses Tool von Google, mit dem Website-Besitzer herausfinden können, wie ihre Website in der Google-Suche abschneidet.

Gehen Sie zu Ihrem Search Console Dashboard. Wechseln Sie zum Menü „Einstellungen“ in der linken Spalte und klicken Sie auf „Bericht öffnen“ neben „Crawl-Statistiken“.

Der Crawl-Statistikbericht gibt einen Überblick über die Crawl-Anfragen auf Ihrer Website während der letzten Wochen.

Sie können mit der Maus über das Diagramm fahren, um zu sehen, wie viele Seiten täglich abgerufen wurden.

So erhalten Sie eine Vorstellung davon, wie hoch die durchschnittliche Crawl-Rate auf Ihrer Website in diesem Zeitraum war.

Unten sehen Sie eine Aufschlüsselung der Crawling-Aktivitäten nach Antwortcode, Dateitypen, Zweck und Google-Bot-Typ.

Hier können Sie sehen, wie viel des Crawl-Budgets für Fehler, Syndication (RSS-Feeds), JavaScript, CSS, Bilder und mehr ausgegeben wird.

So erhalten Sie eine Momentaufnahme der Elemente, die Sie optimieren können, um das SEO-Crawl-Budget effizienter zu nutzen.

Wenn Sie zum Beispiel viele 404-Fehler haben, die gecrawlt werden, können Sie ein Umleitungs-Plugin verwenden, um sicherzustellen, dass diese Crawler auf hilfreichen Inhalten landen.

(Später im Artikel zeigen wir Ihnen Schritt für Schritt, wie Sie Crawl-Fehler umleiten können).

Warum sollten Sie sich über SEO Crawl Budget?

Suchmaschinen müssen Ihre Website effizient crawlen, um Ihre Inhalte rechtzeitig und korrekt zu indizieren.

Wenn Ihr SEO-Crawl-Budget jedoch verschwendet wird, werden Ihre wichtigen und neueren Inhalte möglicherweise nicht rechtzeitig gecrawlt.

Es kann Wochen dauern, bis die Suchmaschinen Aktualisierungen Ihrer älteren Artikel bemerken oder neue Inhalte entdecken.

Sie verpassen den Traffic von Suchmaschinen, Ihr SEO-Ranking verbessert sich möglicherweise nicht und Sie verlieren Geld durch Verkäufe oder Werbeeinnahmen.

Wie Sie das SEO-Crawl-Budget in WordPress leicht optimieren können

Der einfachste und sicherste Weg, Ihr SEO-Crawl-Budget in WordPress zu optimieren, ist die Verwendung von All in One SEO für WordPress.

Es ist das beste WordPress SEO-Plugin mit einem eingebauten SEO-Crawl-Optimierungstool.

Installieren und aktivieren Sie zunächst das All in One SEO for WordPress-Plugin. Weitere Details finden Sie in unserer Schritt-für-Schritt-Anleitung für die Installation eines WordPress-Plugins.

Hinweis: Es gibt auch eine kostenlose Version von All in One SEO, die auch eine Crawl-Clean-up-Funktion enthält. Wir empfehlen die Verwendung des PRO-Plans des kostenpflichtigen Plugins, da Sie damit auch Zugriff auf das Tool Redirection Manager haben, um 404-Fehler auf Ihrer Website zu beheben.

Nach der Aktivierung zeigt Ihnen das Plugin einen Einrichtungsassistenten. Folgen Sie einfach den Anweisungen auf dem Bildschirm, um das Plugin einzurichten.

Danach können Sie auf die Seite All in One SEO “ Search Appearance gehen.

Wechseln Sie dann zur Registerkarte Erweitert.

Scrollen Sie zum unteren Ende der Seite, wo Sie die Option „Crawl Cleanup“ finden.

Klicken Sie auf das Kästchen, um die Funktion „Crawl Cleanup“ zu aktivieren.

Die erste Option, die Sie bei der Crawl-Bereinigung sehen, ist das Entfernen der Abfrageargumente.

Unten können Sie eine Liste von Abfrageargumenten angeben, die Sie zulassen möchten. Fortgeschrittene Benutzer können hier reguläre Regex-Ausdrücke verwenden.

Als nächstes sehen Sie Optionen für WordPress-RSS-Feeds. All in One SEO zeigt Ihnen alle Arten von RSS-Feeds an, die von WordPress generiert werden, und Sie können die weniger wichtigen RSS-Feeds deaktivieren.

Wenn Sie zum Beispiel einen Blog mit nur einem Autor haben, können Sie die Autoren-Feeds deaktivieren.

Sobald Sie alle unerwünschten RSS-Feeds deaktiviert haben, vergessen Sie nicht, auf die Schaltfläche „Änderungen speichern“ zu klicken, um Ihre Einstellungen zu speichern.

Wie man Umleitungen für Fehlerseiten einrichtet

All in One SEO richtet automatisch Umleitungen für Feeds ein, die Sie deaktiviert haben. Zum Beispiel wird ein Tag-RSS-Feed die Nutzer auf die Tag-Archiv-Seite umleiten.

Wechseln Sie dann zu Ihrem Google Search Console Dashboard und öffnen Sie den Crawl-Statistikbericht.

Von hier aus können Sie die Seiten sehen, bei denen Fehler aufgetreten sind.

Je nach Statuscode können Sie nun Weiterleitungen für diese Seiten einrichten.

So können Sie beispielsweise 404-Fehler auf eine ähnliche Seite umleiten. Sie können auch andere Seiten mit Fehlern überprüfen und Weiterleitungen für sie einrichten.

All in One SEO macht die Einrichtung von Weiterleitungen auf Ihrer WordPress-Website sehr einfach. Gehen Sie einfach auf die Seite All in One SEO “ Redirects und fügen Sie die alte URL unter dem Feld „Source URL“ und die neue URL unter dem Feld „Target URL“ ein.

Klicken Sie auf die Schaltfläche „Weiterleitung hinzufügen“, um Ihre Einstellungen zu speichern. Anschließend können Sie den Vorgang wiederholen, um bei Bedarf weitere Weiterleitungen einzurichten. Weitere Details und alternative Methoden finden Sie in unserem Leitfaden zur Einrichtung von Weiterleitungen in WordPress.

Wir hoffen, dass dieser Artikel Ihnen geholfen hat, etwas über das WordPress-SEO-Crawl-Budget-Problem zu erfahren und wie Sie es beheben können. Vielleicht interessieren Sie sich auch für diese Expertentipps zur Nutzung der Google Search Console, um den Traffic zu erhöhen, oder für praktische Beispiele, wie Sie die organische Klickrate in WordPress verbessern können.

Wenn Ihnen dieser Artikel gefallen hat, dann abonnieren Sie bitte unseren YouTube-Kanal für WordPress-Videotutorials. Sie können uns auch auf Twitter und Facebook finden.