Récemment, l’un de nos utilisateurs/utilisatrices nous a demandé comment empêcher les moteurs de recherche d’explorer et d’indexer son site WordPress.
Il existe plusieurs cas de figure dans lesquels vous souhaitez empêcher les moteurs de recherche d’explorer votre site et de le faire figurer dans les résultats de recherche.
Dans cet article, nous allons vous afficher comment empêcher les moteurs de recherche d’explorer un site WordPress.
Pourquoi empêcher les moteurs de recherche d’explorer un site WordPress ?
Pour la plupart des sites WordPress, les moteurs de recherche constituent la plus grande source de trafic. Vous pouvez vous demander pourquoi quelqu’un voudrait décourager les moteurs de recherche ?
Voici quelques situations dans lesquelles vous ne souhaiterez pas que les moteurs de recherche indexent votre site :
- Lorsque vous débutez, vous ne savez peut-être pas comment créer un environnement de développement local ou un site de staging, et vous développez plutôt votre site pendant qu’il est en direct. Vous ne voudrez pas que Google indexe votre site lorsqu’il est en construction ou en mode maintenance.
- De nombreuses personnes utilisent également WordPress pour créer des blogs privés. Ils ne veulent pas qu’ils soient indexés par les moteurs de recherche parce qu’ils sont privés.
- Vous pouvez utiliser WordPress pour la gestion de projets ou pour un intranet. Dans ces cas, vous ne voudrez pas que vos documents internes soient accessibles au public.
Une idée fausse très répandue est que si vous n’avez pas de liens pointant vers votre domaine, les moteurs de recherche ne trouveront probablement jamais votre site. Ce n’est pas tout à fait vrai.
Par exemple, il se peut que des liens pointent vers votre site parce que le nom de domaine appartenait auparavant à quelqu’un d’autre. Par ailleurs, il existe des milliers de pages sur l’internet qui répertorient simplement des noms de domaine. Il se peut que votre site apparaisse sur l’une d’entre elles.
Ceci étant dit, voyons comment empêcher les moteurs de recherche d’explorer votre site. Nous aborderons quatre méthodes :
Méthode 1 : Demander aux moteurs de recherche de ne pas explorer votre site WordPress
Il s’agit de la méthode la plus simple, mais elle ne protège pas totalement votre site contre l’exploration.
WordPress est doté d’une fonctionnalité intégrée qui vous permet d’indiquer aux moteurs de recherche de ne pas indexer votre site. Il vous suffit de vous rendre dans Réglages » Lecture et de cocher la case située à côté de » Visibilité pour les moteurs de recherche « .
Lorsque cette case est cochée, WordPress ajoute cette ligne à l’en-tête de votre site :
<meta name='robots' content='noindex,follow' />
WordPress modifie également le fichier robots.txt de votre site et y ajoute une règle disallow :
User-agent: *
Disallow: /
Ces lignes demandent aux robots (robots d’indexation ou bots) de ne pas indexer vos pages web. Toutefois, il appartient totalement aux moteurs de recherche d’accepter cette demande ou de l’ignorer. Même si la plupart des moteurs de recherche respectent cette demande, il est toujours possible que certaines pages ou images de votre site soient indexées.
Si vous souhaitez empêcher les moteurs de recherche d’indexer ou d’explorer votre site, vous devrez protéger votre site WordPress par un mot de passe à l’aide des méthodes 3 ou 4.
Méthode 2 : Demander aux moteurs de recherche de ne pas explorer des pages individuelles
Vous pouvez souhaiter que les moteurs de recherche explorent et indexent votre site, mais qu’ils n’incluent pas une certaine publication ou une page spécifique dans les pages de résultats de recherche.
La façon la plus simple de le faire est d’utiliser l’extension All in One SEO (AIOSEO). C’est le meilleur outil de référencement pour WordPress et plus de 3 millions d’entreprises lui font confiance.
Pour ce tutoriel, nous utiliserons la version gratuite d’AIOSEO car elle comprend l’outil d’analyse SEO. Il existe également une version premium d’AIOSEO qui offre plus de fonctionnalités comme les outils de plan de site, le gestionnaire de redirection, le marquage de schéma, l’éditeur robots.txt, et plus encore.
La première chose que vous devrez faire est d’installer et d’activer l’extension AIOSEO sur votre site. Vous pouvez apprendre à installer et à configurer le plugin en suivant notre guide étape par étape sur la façon de configurer All in One SEO pour WordPress.
Une fois l’extension définie, vous pouvez l’utiliser pour demander aux moteurs de recherche de ne pas indexer certaines publications et pages. Encore une fois, il appartient totalement aux moteurs de recherche d’accepter cette demande ou de l’ignorer.
Il suffit de modifier la publication ou la page que vous ne souhaitez pas voir indexée. Vous devez défiler vers les Réglages AIOSEO en bas de l’éditeur WordPress, puis cliquer sur l’onglet » Avancé « .
Notez que l’article utilise les Réglages par défaut des robots.
Pour modifier cela, vous devez permuter le bouton « Utiliser les réglages par défaut » sur la position inactive.
Vous pouvez maintenant cliquer sur la case à cocher « Aucun index ». Une fois la publication publiée ou mise à jour, les moteurs de recherche seront invités à ne pas l’indexer.
Pour en savoir plus, consultez notre avis détaillé sur AIOSEO.
Méthode 3 : Protection par mot de passe d’un site entier à l’aide de cPanel
Si votre fournisseur d’hébergement WordPress propose un accès cPanel pour gérer votre compte d’hébergement, vous pouvez alors protéger l’ensemble de votre site à l’aide de cPanel.
Il vous suffit de vous connecter à votre Tableau de bord cPanel et de cliquer sur l’icône « Confidentialité du répertoire » dans la section « Fichiers ».
Ensuite, vous devez trouver le dossier dans lequel vous avez installé WordPress. En général, il s’agit du dossier public_html.
Ensuite, il suffit de cliquer sur le bouton « Modifier » à côté de ce dossier.
Note : Si plusieurs sites WordPress sont installés dans le répertoire public_html, vous devez cliquer sur le lien public_html pour parcourir ces sites, puis modifier le dossier du site que vous souhaitez protéger par un mot de passe.
Vous accédez alors à un écran dans lequel vous pouvez activer la protection par mot de passe.
Il vous suffit de cocher la case « Protéger ce répertoire par un mot de passe » et de cliquer sur le bouton « Enregistrer ». Si vous le souhaitez, vous pouvez également personnaliser le nom du répertoire protégé.
Un message de confirmation s’affiche, indiquant que les droits d’accès au répertoire ont été modifiés.
Ensuite, vous devez cliquer sur le bouton « Retour ».
Vous accéderez à un écran où vous pourrez créer un identifiant et un mot de passe qui devront être utilisés pour accéder à ce répertoire.
Vous devez saisir un identifiant et un mot de passe, puis confirmer le mot de passe. Confirmez bien que vous notez votre identifiant et votre mot de passe dans un endroit sûr, par exemple dans une appli de gestion de mots de passe.
Une fois que vous avez cliqué sur le bouton « Enregistrer », vous avez bien ajouté la protection par mot de passe à votre site WordPress.
Désormais, chaque fois qu’un utilisateur ou un moteur de recherche visitera votre site, il sera invité à saisir l’identifiant et le mot de passe que vous avez créés précédemment pour voir le site.
Méthode 4 : Protéger WordPress par mot de passe à l’aide d’une extension
Si vous utilisez une solution d’hébergement WordPress gérée, il se peut que vous n’ayez pas accès à cPanel. Dans ce cas, vous pouvez utiliser une extension WordPress pour protéger votre site par un mot de passe.
Voici les deux solutions les plus populaires :
- SeedProd est l’extension #1 pour WordPress, utilisée sur plus de 800 000 sites. Il est livré avec des fonctionnalités terminées de contrôle d’accès et de droits que vous pouvez utiliser pour masquer votre site de tout le monde, y compris les moteurs de recherche. Nous avons un guide pratique étape par étape pour SeedProd.
- Password Protected est un moyen très simple de protéger votre site WordPress par un mot de passe unique (aucune création d’utilisateur n’est nécessaire). Voir notre guide étape par étape sur la façon de protéger un site WordPress par un mot de passe.
Guides d’experts sur l’exploration et l’indexation des moteurs de recherche
Maintenant que vous savez comment empêcher les moteurs de recherche d’explorer votre site, vous pouvez consulter d’autres guides sur l’exploration et l’indexation des moteurs de recherche dans WordPress.
- Comment cacher une page WordPress à Google
- Comment référencer mon site WordPress sur Google ? (Guide du débutant)
- Pourquoi mon site WordPress a-t-il été désindexé de Google ?
- Comment demander à Google de recrawler les URL de votre site WordPress ?
- Comment optimiser votre WordPress Robots.txt pour le référencement
- Le problème du budget de référencement de WordPress et comment le résoudre
Nous espérons que cet article vous a aidé à empêcher les moteurs de recherche d’explorer ou d’indexer votre site WordPress. Vous pouvez également consulter notre guide sur la façon d’accélérer les performances de votre site Web ou nos choix d’experts pour les meilleures extensions de page d’atterrissage WordPress.
If you liked this article, then please subscribe to our YouTube Channel for WordPress video tutorials. You can also find us on Twitter and Facebook.
Syed Balkhi says
Hey WPBeginner readers,
Did you know you can win exciting prizes by commenting on WPBeginner?
Every month, our top blog commenters will win HUGE rewards, including premium WordPress plugin licenses and cash prizes.
You can get more details about the contest from here.
Start sharing your thoughts below to stand a chance to win!
mohadese esmaeeli says
Is the prevalent belief correct that having a large number of indexed pages within a site has no effect on indexing the rest of the pages?
WPBeginner Support says
Just because you have pages that are indexed on your site does not mean you can’t have other pages hidden from crawlers to prevent indexing.
Administrateur
Moinuddin Waheed says
I have been several times in the thinking while in the settings tab of the wordpress dashboard that why would any one would want to discourage Google to show the page or post from visibility. Today infact after reading this post , I came to know about the reasons why would anyone discourage search engine indexing.
it is very simple to do infact. we need to check the box in settings tab reading section where it asks to discourage search engines for visibility.
Thanks for clearing my long held doubt.
WPBeginner Support says
Glad we should share why someone would use the checkbox
Administrateur
Charlotte says
This is was just what I was looking for. After I moved my dev site to the client’s live site, I didn’t want any traffic coming back to the old one. Thank you!
WPBeginner Support says
Glad our guide was helpful
Administrateur
Ryan says
I deleted my site permanently from wordpress and when I google my name, the old wordpress site still appears, despite the fact that it’s gone. Can someone from the support team help me to delete it? I don’t want my clients getting confused with my actual, live site.
WPBeginner Support says
For your old site in the results on Google if you crawl the site as google it can help update Google’s cache. For more ways to completely remove the site you would want to take a look at our post here: https://www.wpbeginner.com/wp-tutorials/how-to-permanently-delete-a-wordpress-site-from-internet/
Administrateur
Divyanshu says
if we disable indexing the wordpress site to prevent it from hackers, then will it affect google indexing or not, and if then how to allow google to index my pages
Andy says
Doesn’t seem to work. Followed the directions with confidence. My subdomain is still publicly viewable.
WPBeginner Support says
Hi Andy,
If you have password protected your subdomain directory, then please review its settings again in cPanel. If everything looks alright, then you may want to contact your WordPress hosting provider.
Administrateur
Jay says
Yeah, whats written under « Discourage search engines from indexing site » is very true. Google doesnt seems to honor this
chinju says
Hi, I have a doubt that if website have 1 million subpages, search engine block all subpage when we add
User-agent: *
Disallow: /
in robots file?
Shekhar Sardar says
Yes. Adding Disallow:/ in robot.txt will tell all search engine bots, do not crawl this site or web page.
anand says
i want memebership pages member profile page to be not indes by any search engines how to do ????
Kenneth says
I tried this but it messed up my .htccess for my WordPress install.
So proceed with caution.
Joojo says
Hello,
I’m currently having a WordPress.com Blog (Free Plan) & desire to sell my Digital Stuff online without setting-up a website and relying wholly on the Blog, at first (have been short of funds). Thus, going through with this thought I have made changes to my Blog, under this after making the payment, the customer is redirected to my blog page haivng a link to download the digital content. So, I just want the payment gateway to be able to redirect the traffic to the Download page on my blog and not have it searchable via search engines, etc. & neither be it listed under the WordPress.com Posts list/Pages, etc. because if the download page is searchable by the Search Engines & listed under my Blog’s post, I wouldn’t earn anything because then the customer would directly download the content without making the payment.
Regards,
Joojo.
Jennifer says
I’m learning WP now and designing my site. For now, I don’t want the site crawled, so I’ve checked the Search Engine Visibility Box and I’ve add the password protection. However, in a few months, I’ll want the site to go live and I’ll want visitors to my site. If I uncheck the Search Engine Visibility box and take off the password protection, will the robots nofollow header automatically be updated? Or will I have to manually update this in the header section?
WPBeginner Support says
Yes, it will be. However, to be extra sure you need to submit your site’s xml sitemap using Google webmaster tools. This will allow you to see if any crawl errors are found on your site.
Administrateur
Ryan says
Is it possible to block only specific pages on your site, rather than blocking the entire site?
Chad says
WordPress offers a Password Protect Option on any of your pages and posts. Simply change « visibility » in your page or post edit to « password protected ».
WPBeginner Staff says
Please take a look at this thread.
Patrick says
How can I get Google and bing to crawl my site while stopping SeMalt from crawling my site. SeMalt sends traffic to my site making it look like I have more hits, however thesclicks leave my site straight away and by so doing so increase the bounce rate to my wordpress site.
Any help on this matter would be great.
Patrick
Pawan Reddy says
Thanks for this tip. I didn’t know this was possible