Kürzlich fragte uns einer unserer Nutzer, wie er Suchmaschinen davon abhalten kann, seine WordPress-Website zu crawlen und zu indizieren.
Es gibt verschiedene Szenarien, in denen Sie Suchmaschinen davon abhalten möchten, Ihre Website zu crawlen und in den Suchergebnissen aufzuführen.
In diesem Artikel zeigen wir Ihnen, wie Sie Suchmaschinen davon abhalten, eine WordPress-Website zu crawlen.
Warum sollte man Suchmaschinen davon abhalten, eine WordPress-Website zu crawlen?
Für die meisten WordPress-Websites sind Suchmaschinen die wichtigste Quelle für Besucher. Sie fragen sich vielleicht, warum jemand Suchmaschinen entmutigen möchte?
Hier sind einige Situationen, in denen Sie nicht möchten, dass Suchmaschinen Ihre Website indizieren:
- Wenn Sie neu anfangen, wissen Sie vielleicht nicht, wie man eine lokale Entwicklungsumgebung oder eine Staging-Site erstellt, und entwickeln Ihre Website stattdessen im laufenden Betrieb. Sie werden nicht wollen, dass Google Ihre Website indiziert, wenn sie sich im Aufbau oder im Wartungsmodus befindet.
- Es gibt auch viele Leute, die WordPress verwenden, um private Blogs zu erstellen. Sie wollen nicht, dass sie von Suchmaschinen indiziert werden, weil sie privat sind.
- Sie können WordPress für das Projektmanagement oder ein Intranet verwenden. In diesen Fällen werden Sie nicht wollen, dass Ihre internen Dokumente öffentlich zugänglich sind.
Ein weit verbreiteter Irrglaube ist, dass Suchmaschinen Ihre Website wahrscheinlich nie finden werden, wenn Sie keine Links haben, die auf Ihre Domain verweisen. Das ist nicht ganz richtig.
So kann es beispielsweise sein, dass Links auf Ihre Website verweisen, weil der Domänenname zuvor jemand anderem gehörte. Außerdem gibt es Tausende von Seiten im Internet, die einfach nur Domänennamen auflisten. Ihre Website könnte auf einer dieser Seiten erscheinen.
Schauen wir uns also an, wie man Suchmaschinen davon abhält, Ihre Website zu crawlen. Wir werden vier Methoden behandeln:
Methode 1: Suchmaschinen bitten, Ihre WordPress-Site nicht zu crawlen
Dies ist die einfachste Methode, schützt Ihre Website aber nicht vollständig vor dem Crawling.
WordPress verfügt über eine integrierte Funktion, mit der Sie Suchmaschinen anweisen können, Ihre Website nicht zu indizieren. Alles, was Sie tun müssen, ist, Einstellungen “ Lesen zu besuchen und das Kästchen neben „Suchmaschinensichtbarkeit“ zu aktivieren.
Wenn dieses Kästchen markiert ist, fügt WordPress diese Zeile in die Kopfzeile Ihrer Website ein:
<meta name='robots' content='noindex,follow' />
WordPress ändert auch die robots.txt-Datei Ihrer Website und fügt ihr eine Verbotsregel hinzu:
User-agent: *
Disallow: /
Mit diesen Zeilen werden Robots (Webcrawler oder Bots) aufgefordert, Ihre Webseiten nicht zu indizieren. Es liegt jedoch ganz im Ermessen der Suchmaschinen, diese Aufforderung zu akzeptieren oder zu ignorieren. Auch wenn die meisten Suchmaschinen die Anfrage respektieren, besteht immer noch die Möglichkeit, dass einige Seiten oder Bilder Ihrer Website indexiert werden.
Wenn Sie es Suchmaschinen unmöglich machen wollen, Ihre Website zu indizieren oder zu crawlen, dann müssen Sie Ihre WordPress-Website mit den Methoden 3 oder 4 passwortgeschützt machen.
Methode 2: Suchmaschinen bitten, einzelne Seiten nicht zu crawlen
Sie möchten vielleicht, dass Suchmaschinen Ihre Website durchsuchen und indexieren, aber einen bestimmten Beitrag oder eine bestimmte Seite nicht in die Suchergebnisse aufnehmen.
Am einfachsten geht das mit dem All in One SEO (AIOSEO) Plugin. Es ist das beste SEO-Tool für WordPress und genießt das Vertrauen von über 3 Millionen Unternehmen.
Für dieses Tutorial werden wir die kostenlose Version von AIOSEO verwenden, da sie das SEO-Analyse-Tool enthält. Es gibt auch eine Premium-Version von AIOSEO, die mehr Funktionen wie Sitemap-Tools, Redirection Manager, Schema-Markup, robots.txt-Editor und mehr bietet.
Als Erstes müssen Sie das AIOSEO-Plugin auf Ihrer Website installieren und aktivieren. Wie Sie das Plugin installieren und konfigurieren, erfahren Sie in unserer Schritt-für-Schritt-Anleitung für die Einrichtung von All in One SEO für WordPress.
Sobald das Plugin eingerichtet ist, können Sie es verwenden, um Suchmaschinen zu bitten, bestimmte Beiträge und Seiten nicht zu indizieren. Auch hier ist es den Suchmaschinen überlassen, ob sie diese Anfrage akzeptieren oder ignorieren.
Bearbeiten Sie einfach den Beitrag oder die Seite, die nicht indiziert werden soll. Scrollen Sie unten im WordPress-Editor zu AIOSEO-Einstellungen und klicken Sie dann auf die Registerkarte „Erweitert“.
Beachten Sie, dass der Artikel die Standardeinstellungen für Robots verwendet.
Um dies zu ändern, müssen Sie den Schalter „Standardeinstellungen verwenden“ auf „Aus“ stellen.
Jetzt können Sie das Kontrollkästchen „Kein Index“ anklicken. Sobald der Beitrag veröffentlicht oder aktualisiert wurde, werden die Suchmaschinen aufgefordert, ihn nicht zu indizieren.
Weitere Informationen finden Sie in unserem ausführlichen AIOSEO-Test.
Methode 3: Passwortschutz für eine ganze Website mit cPanel
Wenn Ihr WordPress-Hosting-Anbieter einen cPanel-Zugang zur Verwaltung Ihres Hosting-Kontos anbietet, können Sie Ihre gesamte Website mit cPanel schützen.
Loggen Sie sich einfach in Ihr cPanel-Dashboard ein und klicken Sie auf das Symbol „Verzeichnisschutz“ im Abschnitt „Dateien“.
Als nächstes müssen Sie den Ordner finden, in dem Sie WordPress installiert haben. Normalerweise ist dies der Ordner public_html.
Klicken Sie dann einfach auf die Schaltfläche „Bearbeiten“ neben dem betreffenden Ordner.
Hinweis: Wenn Sie mehrere WordPress-Sites im Verzeichnis public_html installiert haben, müssen Sie auf den Link public_html klicken, um diese Sites zu durchsuchen, und dann den Ordner für die Website bearbeiten, die Sie mit einem Passwort schützen möchten.
Dadurch gelangen Sie zu einem Bildschirm, auf dem Sie den Passwortschutz aktivieren können.
Aktivieren Sie einfach das Kontrollkästchen „Passwortschutz für dieses Verzeichnis“ und klicken Sie auf die Schaltfläche „Speichern“. Wenn Sie möchten, können Sie auch den Namen für das geschützte Verzeichnis anpassen.
Sie erhalten eine Bestätigungsmeldung, dass die Zugriffsrechte für das Verzeichnis geändert wurden.
Anschließend müssen Sie auf die Schaltfläche „Zurück“ klicken.
Sie werden zu einem Bildschirm weitergeleitet, auf dem Sie einen Benutzernamen und ein Kennwort erstellen können, die Sie für den Zugriff auf dieses Verzeichnis verwenden müssen.
Sie müssen einen Benutzernamen und ein Passwort eingeben und dann das Passwort bestätigen. Achten Sie darauf, dass Sie Ihren Benutzernamen und Ihr Passwort an einem sicheren Ort aufbewahren, z. B. in einer Passwortmanager-App.
Sobald Sie auf die Schaltfläche „Speichern“ klicken, haben Sie Ihrer WordPress-Website erfolgreich einen Passwortschutz hinzugefügt.
Wenn nun ein Benutzer oder eine Suchmaschine Ihre Website besucht, werden sie aufgefordert, den Benutzernamen und das Kennwort einzugeben, die Sie zuvor erstellt haben, um die Website anzuzeigen.
Methode 4: Passwortschutz für WordPress mit einem Plugin
Wenn Sie eine verwaltete WordPress-Hosting-Lösung verwenden, haben Sie möglicherweise keinen Zugang zu cPanel. In diesem Fall können Sie ein WordPress-Plugin verwenden, um Ihre Website mit einem Passwort zu schützen.
Hier sind die beiden beliebtesten Lösungen:
- SeedProd ist die Nummer 1 unter den „Coming Soon“- und Wartungsmodus-Plugins für WordPress und wird auf über 800.000 Websites verwendet. Es verfügt über eine vollständige Zugriffskontrolle und Berechtigungsfunktionen, mit denen Sie Ihre Website vor allen anderen verbergen können, einschließlich Suchmaschinen. Wir haben eine Schritt-für-Schritt-Anleitung für SeedProd.
- Password Protected ist eine sehr einfache Möglichkeit, Ihre WordPress-Website mit einem einzigen Passwort zu schützen (keine Benutzererstellung erforderlich). In unserer Schritt-für-Schritt-Anleitung erfahren Sie, wie Sie eine WordPress-Website mit einem Passwort schützen können.
Expertenleitfäden zum Crawling und zur Indexierung durch Suchmaschinen
Da Sie nun wissen, wie Sie Suchmaschinen davon abhalten können, Ihre Website zu crawlen, möchten Sie vielleicht weitere Anleitungen zum Crawlen und Indizieren von Suchmaschinen in WordPress lesen.
- Wie man eine WordPress-Seite vor Google verbirgt
- Wie bekomme ich meine WordPress-Website bei Google aufgelistet? (Anleitung für Anfänger)
- Warum wurde meine WordPress-Website von Google indiziert?
- So bitten Sie Google, die URLs Ihrer WordPress-Website neu zu crawlen
- Wie Sie Ihre WordPress Robots.txt für SEO optimieren
- Das WordPress SEO Crawl Budget Problem und wie man es behebt
Wir hoffen, dass dieser Artikel Ihnen geholfen hat, Suchmaschinen davon abzuhalten, Ihre WordPress-Website zu crawlen oder zu indizieren. Vielleicht interessieren Sie sich auch für unseren Leitfaden zur Beschleunigung der Leistung Ihrer Website oder für unsere Expertenauswahl der besten WordPress-Plugins für Landing Pages.
Wenn Ihnen dieser Artikel gefallen hat, dann abonnieren Sie bitte unseren YouTube-Kanal für WordPress-Videotutorials. Sie können uns auch auf Twitter und Facebook finden.
Syed Balkhi says
Hey WPBeginner readers,
Did you know you can win exciting prizes by commenting on WPBeginner?
Every month, our top blog commenters will win HUGE rewards, including premium WordPress plugin licenses and cash prizes.
You can get more details about the contest from here.
Start sharing your thoughts below to stand a chance to win!
Jiří Vaněk says
I have read that often these procedures, as well as robots.txt, are only recommended behavior for a robot. How to avoid being searched for real. Is it possible, for example, to block the ranges of Google and Bing, for example, with the help of an .htaccess file?
WPBeginner Support says
You would use method 3 or 4 for completely blocking access to your site.
Admin
mohadese esmaeeli says
Is the prevalent belief correct that having a large number of indexed pages within a site has no effect on indexing the rest of the pages?
WPBeginner Support says
Just because you have pages that are indexed on your site does not mean you can’t have other pages hidden from crawlers to prevent indexing.
Admin
Moinuddin Waheed says
I have been several times in the thinking while in the settings tab of the wordpress dashboard that why would any one would want to discourage Google to show the page or post from visibility. Today infact after reading this post , I came to know about the reasons why would anyone discourage search engine indexing.
it is very simple to do infact. we need to check the box in settings tab reading section where it asks to discourage search engines for visibility.
Thanks for clearing my long held doubt.
WPBeginner Support says
Glad we should share why someone would use the checkbox
Admin
Charlotte says
This is was just what I was looking for. After I moved my dev site to the client’s live site, I didn’t want any traffic coming back to the old one. Thank you!
WPBeginner Support says
Glad our guide was helpful
Admin
Ryan says
I deleted my site permanently from wordpress and when I google my name, the old wordpress site still appears, despite the fact that it’s gone. Can someone from the support team help me to delete it? I don’t want my clients getting confused with my actual, live site.
WPBeginner Support says
For your old site in the results on Google if you crawl the site as google it can help update Google’s cache. For more ways to completely remove the site you would want to take a look at our post here: https://www.wpbeginner.com/wp-tutorials/how-to-permanently-delete-a-wordpress-site-from-internet/
Admin
Divyanshu says
if we disable indexing the wordpress site to prevent it from hackers, then will it affect google indexing or not, and if then how to allow google to index my pages
Andy says
Doesn’t seem to work. Followed the directions with confidence. My subdomain is still publicly viewable.
WPBeginner Support says
Hi Andy,
If you have password protected your subdomain directory, then please review its settings again in cPanel. If everything looks alright, then you may want to contact your WordPress hosting provider.
Admin
Jay says
Yeah, whats written under „Discourage search engines from indexing site“ is very true. Google doesnt seems to honor this
chinju says
Hi, I have a doubt that if website have 1 million subpages, search engine block all subpage when we add
User-agent: *
Disallow: /
in robots file?
Shekhar Sardar says
Yes. Adding Disallow:/ in robot.txt will tell all search engine bots, do not crawl this site or web page.
anand says
i want memebership pages member profile page to be not indes by any search engines how to do ????
Kenneth says
I tried this but it messed up my .htccess for my WordPress install.
So proceed with caution.
Joojo says
Hello,
I’m currently having a WordPress.com Blog (Free Plan) & desire to sell my Digital Stuff online without setting-up a website and relying wholly on the Blog, at first (have been short of funds). Thus, going through with this thought I have made changes to my Blog, under this after making the payment, the customer is redirected to my blog page haivng a link to download the digital content. So, I just want the payment gateway to be able to redirect the traffic to the Download page on my blog and not have it searchable via search engines, etc. & neither be it listed under the WordPress.com Posts list/Pages, etc. because if the download page is searchable by the Search Engines & listed under my Blog’s post, I wouldn’t earn anything because then the customer would directly download the content without making the payment.
Regards,
Joojo.
Jennifer says
I’m learning WP now and designing my site. For now, I don’t want the site crawled, so I’ve checked the Search Engine Visibility Box and I’ve add the password protection. However, in a few months, I’ll want the site to go live and I’ll want visitors to my site. If I uncheck the Search Engine Visibility box and take off the password protection, will the robots nofollow header automatically be updated? Or will I have to manually update this in the header section?
WPBeginner Support says
Yes, it will be. However, to be extra sure you need to submit your site’s xml sitemap using Google webmaster tools. This will allow you to see if any crawl errors are found on your site.
Admin
Ryan says
Is it possible to block only specific pages on your site, rather than blocking the entire site?
Chad says
WordPress offers a Password Protect Option on any of your pages and posts. Simply change „visibility“ in your page or post edit to „password protected“.
WPBeginner Staff says
Please take a look at this thread.
Patrick says
How can I get Google and bing to crawl my site while stopping SeMalt from crawling my site. SeMalt sends traffic to my site making it look like I have more hits, however thesclicks leave my site straight away and by so doing so increase the bounce rate to my wordpress site.
Any help on this matter would be great.
Patrick
Pawan Reddy says
Thanks for this tip. I didn’t know this was possible