So verhindern Sie, dass Suchmaschinen eine WordPress-Website crawlen

Wenn Sie eine neue WordPress-Website erstellen, möchten Sie diese vor Suchmaschinen verbergen, bis sie für Besucher bereit ist. Wir tun dies für alle unsere neuen Projekte, da dies ein wichtiger Schritt für einen reibungslosen und professionellen Start ist.

Die Kontrolle darüber, was Suchmaschinen sehen können, ist entscheidend für den Schutz privater Inhalte und die zukünftige SEO Ihrer Website. Es gibt Ihnen die vollständige Kontrolle darüber, wann Ihre Website öffentlich geschaltet wird.

Nach jahrelanger Erfahrung haben wir die zuverlässigsten Methoden zur Verwaltung der Website-Sichtbarkeit gefunden. Dies sind dieselben unkomplizierten Techniken, die wir für unsere eigenen Websites verwenden und unseren Lesern empfehlen.

Lassen Sie uns nun die genauen Schritte durchgehen, um zu verhindern, dass Suchmaschinen Ihre WordPress-Website crawlen.

Warum Suchmaschinen vom Crawlen einer WordPress-Website abhalten?

Für die meisten WordPress-Websites sind Suchmaschinen die größte Traffic-Quelle. Sie fragen sich vielleicht, warum jemand Suchmaschinen abschrecken möchte?

Hier sind einige Situationen, in denen Sie nicht möchten, dass Suchmaschinen Ihre Website indexieren:

• Wenn Sie gerade erst anfangen, wissen Sie vielleicht nicht, wie Sie eine lokale Entwicklungsumgebung oder eine Staging-Website erstellen, und entwickeln stattdessen Ihre Website, während sie live ist. Sie möchten nicht, dass Google Ihre Website indexiert, während sie sich im Bau oder im Wartungsmodus befindet.

• Es gibt auch viele Leute, die WordPress verwenden, um private Blogs zu erstellen. Sie möchten nicht, dass diese von Suchmaschinen indiziert werden, da sie privat sind.

• Sie können WordPress für das Projektmanagement oder ein Intranet verwenden. In diesen Fällen möchten Sie nicht, dass Ihre internen Dokumente öffentlich zugänglich sind.

Ein weit verbreiteter Irrtum ist, dass Suchmaschinen Ihre Website wahrscheinlich nie finden werden, wenn keine Links auf Ihre Domain zeigen. Das stimmt nicht ganz.

Es kann zum Beispiel Links geben, die auf Ihre Website verweisen, weil der Domainname zuvor jemand anderem gehörte. Außerdem gibt es Tausende von Seiten im Internet, die einfach Domainnamen auflisten. Ihre Website könnte auf einer davon erscheinen.

Bevor wir uns mit den Methoden befassen, klären wir kurz zwei wichtige Begriffe:

• Crawling bedeutet, dass Suchmaschinen-Bots (wie Googlebot) Ihre Website besuchen, um deren Inhalte zu entdecken.
• Indexierung bedeutet, dass sie diese Inhalte ihrer riesigen Suchdatenbank hinzufügen, damit sie in den Suchergebnissen erscheinen können.

Stellen Sie es sich wie einen Bibliothekar vor, der ein neues Buch liest (Crawling) und es dann in den Katalog der Bibliothek aufnimmt (Indexierung). Einige der unten aufgeführten Methoden stoppen das Crawling vollständig, während andere nur die Indexierung verhindern. Wir werden klarstellen, welche Methode was tut!

Damit gesagt, schauen wir uns an, wie man Suchmaschinen davon abhält, Ihre Website zu crawlen. Wir werden vier Methoden behandeln:

1. Suchmaschinen bitten, Ihre WordPress-Website nicht zu crawlen
2. Suchmaschinen bitten, einzelne Seiten nicht zu crawlen
3. Eine gesamte Website mit cPanel passwortgeschützt machen
4. WordPress mit einem Plugin passwortgeschützt machen
5. Häufig gestellte Fragen (FAQs)
6. Experten-Anleitungen zum Crawling und Indexieren von Suchmaschinen

Methode 1: Suchmaschinen bitten, Ihre WordPress-Website nicht zu crawlen

Dies ist die einfachste Methode, schützt Ihre Website jedoch nicht vollständig vor dem Crawling.

WordPress verfügt über eine integrierte Funktion, mit der Sie Suchmaschinen anweisen können, Ihre Website nicht zu indizieren. Alles, was Sie tun müssen, ist Einstellungen » Lesen zu besuchen und das Kontrollkästchen neben „Suchmaschinen-Sichtbarkeit“ zu aktivieren.

Wenn dieses Feld aktiviert ist, fügt WordPress diese Zeile zum Header Ihrer Website hinzu:

<meta name='robots' content='noindex,follow' />

Dieses Tag weist Suchmaschinen an, diese Seite nicht in den Suchergebnissen anzuzeigen (noindex), aber sie können den Links auf dieser Seite weiterhin folgen, um andere Seiten zu entdecken (follow).

WordPress modifiziert auch die  robots.txt -Datei Ihrer Website und fügt ihr eine Disallow-Regel hinzu:

User-agent: *
Disallow: /

Diese Zeilen fordern Robots (Webcrawler oder Bots) auf, Ihre Webseiten nicht zu indexieren. Es liegt jedoch vollständig bei den Suchmaschinen, diese Anfrage zu akzeptieren oder zu ignorieren. Obwohl die meisten Suchmaschinen die Anfrage respektieren, besteht immer noch die Möglichkeit, dass einige Seiten oder Bilder von Ihrer Website indexiert werden.

Wenn Sie es für Suchmaschinen unmöglich machen möchten, Ihre Website zu indexieren oder zu crawlen, müssen Sie Ihre WordPress-Site mit Methode 3 oder 4 mit einem Passwort schützen.

Methode 2: Suchmaschinen bitten, einzelne Seiten nicht zu indexieren

Möglicherweise möchten Sie, dass Suchmaschinen Ihre Website crawlen und indexieren, aber bestimmte Beiträge oder Seiten nicht in den Suchergebnisseiten anzeigen.

Der einfachste Weg, dies zu tun, ist die Verwendung des All in One SEO (AIOSEO) Plugins. Es ist das beste SEO-Tool für WordPress und wird von über 3 Millionen Unternehmen vertraut.

Für dieses Tutorial verwenden wir die kostenlose Version von AIOSEO , da sie das SEO-Analyse-Tool enthält. Es gibt auch eine Premium-Version von AIOSEO , die mehr Funktionen wie Sitemap-Tools, einen Weiterleitungsmanager, Schema-Markup, einen Robots.txt-Editor und mehr bietet.

Das erste, was Sie tun müssen, ist, das AIOSEO-Plugin auf Ihrer Website zu installieren und zu aktivieren. Sie können lernen, wie Sie das Plugin installieren und konfigurieren, indem Sie unserer Schritt-für-Schritt-Anleitung folgen, wie Sie All in One SEO für WordPress richtig einrichten.

Sobald das Plugin eingerichtet ist, können Sie es verwenden, um Suchmaschinen anzuweisen, bestimmte Beiträge und Seiten nicht zu indexieren. Auch hier liegt es vollständig bei den Suchmaschinen, diese Anfrage anzunehmen oder zu ignorieren.

Bearbeiten Sie einfach den Beitrag oder die Seite, die Sie nicht indizieren lassen möchten. Sie müssen nach unten zu den AIOSEO-Einstellungen am Ende des WordPress-Editors scrollen und dann auf die Registerkarte „Erweitert“ klicken.

Beachten Sie, dass der Artikel die Standardeinstellungen für Robots verwendet.

Um dies zu ändern, müssen Sie den Schalter „Standardeinstellungen verwenden“ auf die Aus-Position stellen.

Jetzt können Sie das Kontrollkästchen 'Nicht indizieren' aktivieren. Sobald der Beitrag veröffentlicht oder aktualisiert wurde, werden Suchmaschinen gebeten, ihn nicht zu indizieren.

Weitere Informationen finden Sie in unserem detaillierten AIOSEO-Testbericht.

Methode 3: Eine gesamte Website mit cPanel mit einem Passwort schützen

Wenn Ihr WordPress-Hosting-Anbieter cPanel-Zugriff zur Verwaltung Ihres Hosting-Kontos anbietet, können Sie Ihre gesamte Website mit cPanel schützen.

Sie müssen sich lediglich in Ihr cPanel-Dashboard einloggen und dann im Abschnitt 'Dateien' auf das Symbol 'Verzeichnisschutz' klicken.

Als Nächstes müssen Sie den Ordner finden, in dem Sie WordPress installiert haben. Normalerweise ist dies der Ordner public_html.

Danach klicken Sie einfach auf die Schaltfläche „Bearbeiten“ neben diesem Ordner.

Dies bringt Sie zu einem Bildschirm, auf dem Sie den Passwortschutz aktivieren können.

Aktivieren Sie einfach das Kontrollkästchen „Dieses Verzeichnis mit einem Passwort schützen“ und klicken Sie auf die Schaltfläche „Speichern“. Wenn Sie möchten, können Sie auch den Namen für das geschützte Verzeichnis anpassen.

Sie sehen eine Bestätigungsnachricht, die besagt, dass die Zugriffsberechtigungen für das Verzeichnis geändert wurden.

Als Nächstes müssen Sie auf die Schaltfläche „Zurück“ klicken.

Sie werden zu einem Bildschirm weitergeleitet, auf dem Sie einen Benutzernamen und ein Passwort erstellen können, die beim Zugriff auf dieses Verzeichnis verwendet werden müssen.

Sie müssen einen Benutzernamen und ein Passwort eingeben und dann das Passwort bestätigen. Notieren Sie sich Ihren Benutzernamen und Ihr Passwort an einem sicheren Ort, z. B. in einer Passwort-Manager-App.

Sobald Sie auf die Schaltfläche 'Speichern' klicken, haben Sie erfolgreich einen Passwortschutz für Ihre WordPress-Website hinzugefügt.

Nun werden jedes Mal, wenn ein Benutzer oder eine Suchmaschine Ihre Website besucht, die von Ihnen zuvor erstellten Anmeldedaten zur Ansicht der Website abgefragt.

Methode 4: WordPress mit einem Plugin passwortgeschützt machen

Wenn Sie eine Managed WordPress Hosting-Lösung verwenden, haben Sie möglicherweise keinen Zugriff auf cPanel. In diesem Fall können Sie ein WordPress-Plugin verwenden, um Ihre Website mit einem Passwort zu schützen.

Hier sind die beiden beliebtesten Lösungen:

1. SeedProd ist das führende Plugin für WordPress, um eine „Coming Soon“- oder Wartungsseite zu erstellen. Es wird auf über 2 Millionen Websites verwendet. Es bietet vollständige Zugriffskontrolle und Berechtigungsfunktionen, mit denen Sie Ihre Website vor allen verbergen können, einschließlich Suchmaschinen. Wir haben eine Schritt-für-Schritt-Anleitung für SeedProd.
2. Password Protected ist eine sehr einfache Möglichkeit, Ihre WordPress-Site mit einem einzigen Passwort zu schützen (keine Benutzererstellung erforderlich). Sehen Sie sich unsere Schritt-für-Schritt-Anleitung an, wie Sie eine WordPress-Site mit einem Passwort schützen können.

Häufig gestellte Fragen (FAQs)

Hier sind Antworten auf einige der häufigsten Fragen, die wir zum Stoppen von Suchmaschinen beim Crawlen von WordPress-Websites erhalten.

1. Was ist der Unterschied zwischen dem Blockieren des Crawlings und dem Blockieren der Indizierung?

Das Blockieren von Crawling (mit robots.txt) ist wie das Anbringen eines „Betreten verboten“-Schildes. Es bittet Suchmaschinen-Bots, den Inhalt Ihrer Website nicht anzusehen. Das Blockieren von Indexierung (mit einem noindex-Tag) weist Suchmaschinen an, Ihre Website nicht in ihren Suchergebnissen aufzulisten, selbst wenn sie sie gecrawlt haben.

2. Reicht die integrierte WordPress-Option „Suchmaschinen abweisen“ aus, um meine Website zu verbergen?

Für die temporäre Entwicklung ist dies oft ausreichend. Diese Methode ist jedoch nur eine Anfrage, und einige Suchmaschinen halten sich möglicherweise nicht daran. Für vollständige Privatsphäre oder zum Schutz sensibler Informationen ist der Passwortschutz die einzig garantierte Methode.

3. Wird das Passwortschützen meiner Website meine SEO beeinträchtigen, wenn ich bereit bin, zu starten?

Nein, das schadet Ihrem SEO nicht. Wenn Ihre Website passwortgeschützt ist, können Suchmaschinen nicht darauf zugreifen, sodass sie keinen SEO-Status hat (positiv oder negativ). Sobald Sie den Passwortschutz entfernen und die Indexierung zulassen, beginnen Suchmaschinen, sie normal zu crawlen und zu ranken.

4. Wie kann ich überprüfen, ob Google meine Website bereits indexiert hat?

Der einfachste Weg ist eine Site-Suche bei Google. Gehen Sie zu google.com und geben Sie site:ihredomain.de in die Suchleiste ein. Ersetzen Sie dabei „ihredomain.de“ durch die tatsächliche Adresse Ihrer Website. Wenn Ergebnisse angezeigt werden, wurde Ihre Website indexiert.

Experten-Anleitungen zum Crawling und Indexieren von Suchmaschinen

Wir hoffen, dieser Artikel hat Ihnen geholfen, Suchmaschinen daran zu hindern, Ihre WordPress-Website zu crawlen oder zu indexieren. Möglicherweise möchten Sie sich einige andere Anleitungen zum Crawlen und Indexieren durch Suchmaschinen ansehen:

• So verstecken Sie eine WordPress-Seite vor Google
• Wie bekomme ich meine WordPress-Website bei Google gelistet? (Anfängerleitfaden)
• Warum wurde meine WordPress-Site von Google de-indiziert?
• So bitten Sie Google, URLs Ihrer WordPress-Website neu zu crawlen
• So optimieren Sie Ihre WordPress Robots.txt für SEO
• Das WordPress SEO Crawl Budget Problem und wie man es behebt

Wenn Ihnen dieser Artikel gefallen hat, abonnieren Sie bitte unseren YouTube-Kanal für WordPress-Video-Tutorials. Sie finden uns auch auf Twitter und Facebook.