Recentemente, uno dei nostri utenti ci ha chiesto come impedire ai motori di ricerca di effettuare il crawling e l’indicizzazione del proprio sito WordPress.
Esistono diversi scenari in cui si desidera impedire ai motori di ricerca di effettuare il crawling del proprio sito web e di inserirlo nei risultati di ricerca.
In questo articolo vi mostreremo come impedire ai motori di ricerca di effettuare il crawling di un sito WordPress.
Perché impedire ai motori di ricerca di effettuare il crawling di un sito WordPress?
Per la maggior parte dei siti web WordPress, i motori di ricerca sono la principale fonte di traffico. Vi chiederete: perché mai qualcuno vorrebbe scoraggiare i motori di ricerca?
Ecco alcune situazioni in cui non volete che i motori di ricerca indicizzino il vostro sito web:
- Quando si inizia, è possibile che non si sappia come creare un ambiente di sviluppo locale o un sito di staging e che invece si sviluppi il sito web mentre è in funzione. Non vorrete che Google indicizzi il vostro sito quando è in costruzione o in modalità di manutenzione.
- Ci sono anche molte persone che usano WordPress per creare blog privati. Non vogliono che siano indicizzati dai motori di ricerca perché sono privati.
- Potete utilizzare WordPress per la gestione di progetti o per una intranet. In questi casi, non vorrete che i vostri documenti interni siano accessibili al pubblico.
Un’idea sbagliata comune è che se non ci sono link che puntano al vostro dominio, probabilmente i motori di ricerca non troveranno mai il vostro sito web. Questo non è del tutto vero.
Ad esempio, potrebbero esserci dei link che puntano al vostro sito perché il nome di dominio era precedentemente di proprietà di qualcun altro. Inoltre, su Internet esistono migliaia di pagine che elencano semplicemente i nomi di dominio. Il vostro sito potrebbe comparire in una di queste.
Detto questo, vediamo come impedire ai motori di ricerca di effettuare il crawling del vostro sito web. Verranno illustrati quattro metodi:
Metodo 1: Chiedere ai motori di ricerca di non effettuare il crawling del vostro sito WordPress
Questo è il metodo più semplice, ma non protegge completamente il vostro sito web dal crawling.
WordPress è dotato di una funzione integrata che consente di indicare ai motori di ricerca di non indicizzare il sito. Tutto ciò che dovete fare è visitare Impostazioni ” Lettura e selezionare la casella accanto a “Visibilità per i motori di ricerca”.
Quando questa casella è selezionata, WordPress aggiunge questa riga all’intestazione del sito web:
<meta name='robots' content='noindex,follow' />
WordPress modifica anche il file robots.txt del sito e vi aggiunge una regola di disconoscimento:
User-agent: *
Disallow: /
Queste righe chiedono ai robot (web crawler o bot) di non indicizzare le vostre pagine web. Tuttavia, spetta ai motori di ricerca accettare questa richiesta o ignorarla. Anche se la maggior parte dei motori di ricerca rispetta la richiesta, esiste comunque la possibilità che alcune pagine o immagini del vostro sito vengano indicizzate.
Se volete rendere impossibile l’indicizzazione o la scansione del vostro sito web da parte dei motori di ricerca, dovrete proteggere il vostro sito WordPress con una password, utilizzando i metodi 3 o 4.
Metodo 2: Chiedere ai motori di ricerca di non effettuare il crawling di singole pagine
Potreste volere che i motori di ricerca effettuino il crawling e l’indicizzazione del vostro sito web, ma non includere un determinato post o una pagina specifica nelle pagine dei risultati di ricerca.
Il modo più semplice per farlo è utilizzare il plugin All in One SEO (AIOSEO). È il miglior strumento SEO per WordPress e gode della fiducia di oltre 3 milioni di aziende.
Per questo tutorial utilizzeremo la versione gratuita di AIOSEO, che include lo strumento di analisi SEO. Esiste anche una versione premium di AIOSEO che offre ulteriori funzionalità, come gli strumenti per le sitemap, il gestore dei reindirizzamenti, lo schema markup, l’editor robots.txt e altro ancora.
La prima cosa da fare è installare e attivare il plugin AIOSEO sul vostro sito web. Per sapere come installare e configurare il plugin, seguite la nostra guida passo passo su come configurare All in One SEO per WordPress.
Una volta impostato il plugin, è possibile utilizzarlo per chiedere ai motori di ricerca di non indicizzare determinati post e pagine. Anche in questo caso, spetta ai motori di ricerca accettare la richiesta o ignorarla.
È sufficiente modificare il post o la pagina che non si desidera sia indicizzata. È necessario scorrere fino a Impostazioni AIOSEO nella parte inferiore dell’editor di WordPress e poi fare clic sulla scheda “Avanzate”.
Si noti che l’articolo utilizza le impostazioni predefinite del robot.
Per modificare questa impostazione, è necessario spostare la levetta “Usa impostazioni predefinite” su off.
Ora è possibile fare clic sulla casella di controllo “No Index”. Una volta pubblicato o aggiornato il post, i motori di ricerca saranno invitati a non indicizzarlo.
Per saperne di più, consultate la nostra recensione dettagliata di AIOSEO.
Metodo 3: protezione con password di un intero sito tramite cPanel
Se il vostro provider di hosting WordPress offre l’accesso a cPanel per gestire il vostro account di hosting, potete proteggere l’intero sito utilizzando cPanel.
Tutto ciò che dovete fare è accedere alla vostra dashboard cPanel e poi fare clic sull’icona “Directory Privacy” nella sezione “File”.
Successivamente, è necessario trovare la cartella in cui è stato installato WordPress. Di solito è la cartella public_html.
A questo punto, è sufficiente fare clic sul pulsante “Modifica” accanto alla cartella.
Nota: se avete più siti WordPress installati nella directory public_html, dovete fare clic sul link public_html per sfogliare i siti e poi modificare la cartella del sito che volete proteggere con password.
Si accede così a una schermata in cui è possibile attivare la protezione con password.
È sufficiente selezionare la casella “Proteggi questa directory con password” e fare clic sul pulsante “Salva”. Se volete, potete anche personalizzare il nome della directory protetta.
Verrà visualizzato un messaggio di conferma che indica che le autorizzazioni di accesso alla directory sono state modificate.
Successivamente, è necessario fare clic sul pulsante “Torna indietro”.
Verrà visualizzata una schermata in cui è possibile creare un nome utente e una password da utilizzare per l’accesso alla directory.
È necessario inserire un nome utente e una password, quindi confermare la password. Assicurarsi di annotare il nome utente e la password in un luogo sicuro, ad esempio in un’applicazione di gestione delle password.
Una volta fatto clic sul pulsante “Salva”, avete aggiunto con successo la protezione con password al vostro sito WordPress.
Ora, ogni volta che un utente o un motore di ricerca visita il vostro sito web, gli verrà richiesto di inserire il nome utente e la password che avete creato in precedenza per visualizzare il sito.
Metodo 4: Protezione con password di WordPress con un plugin
Se utilizzate una soluzione di hosting WordPress gestito, potreste non avere accesso a cPanel. In questo caso, potete utilizzare un plugin di WordPress per proteggere il vostro sito con una password.
Ecco le due soluzioni più diffuse:
- SeedProd è il plugin numero 1 per la modalità coming soon e manutenzione di WordPress, utilizzato da oltre 800.000 siti web. È dotato di funzioni complete di controllo degli accessi e dei permessi che potete utilizzare per nascondere il vostro sito web a tutti, compresi i motori di ricerca. Abbiamo una guida passo-passo per SeedProd.
- Password Protected è un modo molto semplice per proteggere il vostro sito WordPress con una sola password (non è necessario creare un utente). Consultate la nostra guida passo passo su come proteggere con password un sito WordPress.
Guide di esperti sul crawling e l’indicizzazione dei motori di ricerca
Ora che sapete come impedire ai motori di ricerca di effettuare il crawling del vostro sito, potreste voler consultare altre guide sul crawling e l’indicizzazione dei motori di ricerca in WordPress.
- Come nascondere una pagina di WordPress da Google
- Come faccio a inserire il mio sito WordPress in Google? (Guida per principianti)
- Perché il mio sito WordPress è stato deindicizzato da Google?
- Come chiedere a Google di recrawlare gli URL del vostro sito WordPress
- Come ottimizzare il file Robots.txt di WordPress per la SEO
- Il problema del crawl budget di WordPress SEO e come risolverlo
Speriamo che questo articolo vi abbia aiutato a impedire ai motori di ricerca di effettuare il crawling o l’indicizzazione del vostro sito WordPress. Potreste anche voler consultare la nostra guida su come accelerare le prestazioni del vostro sito web o le nostre scelte di esperti sui migliori plugin per landing page di WordPress.
Se questo articolo vi è piaciuto, iscrivetevi al nostro canale YouTube per le esercitazioni video su WordPress. Potete trovarci anche su Twitter e Facebook.
Syed Balkhi says
Hey WPBeginner readers,
Did you know you can win exciting prizes by commenting on WPBeginner?
Every month, our top blog commenters will win HUGE rewards, including premium WordPress plugin licenses and cash prizes.
You can get more details about the contest from here.
Start sharing your thoughts below to stand a chance to win!
Jiří Vaněk says
I have read that often these procedures, as well as robots.txt, are only recommended behavior for a robot. How to avoid being searched for real. Is it possible, for example, to block the ranges of Google and Bing, for example, with the help of an .htaccess file?
WPBeginner Support says
You would use method 3 or 4 for completely blocking access to your site.
Admin
Jiří Vaněk says
I understand that, but I assume that then the website will not be public and only those who know the login and password will be able to access it? My idea was just to try to find the ip ranges of the bots and block them at the htacess file level eg. Does that make sense or is it nonsense?
WPBeginner Support says
There is no guarantee that the bots would not find the site at a later date with a different IP. If you want to be certain that your site is not crawled you would want it to be a private site, otherwise the best option is to use the robots.txt to request the site not be crawled.
mohadese esmaeeli says
Is the prevalent belief correct that having a large number of indexed pages within a site has no effect on indexing the rest of the pages?
WPBeginner Support says
Just because you have pages that are indexed on your site does not mean you can’t have other pages hidden from crawlers to prevent indexing.
Admin
Moinuddin Waheed says
I have been several times in the thinking while in the settings tab of the wordpress dashboard that why would any one would want to discourage Google to show the page or post from visibility. Today infact after reading this post , I came to know about the reasons why would anyone discourage search engine indexing.
it is very simple to do infact. we need to check the box in settings tab reading section where it asks to discourage search engines for visibility.
Thanks for clearing my long held doubt.
WPBeginner Support says
Glad we should share why someone would use the checkbox
Admin
Charlotte says
This is was just what I was looking for. After I moved my dev site to the client’s live site, I didn’t want any traffic coming back to the old one. Thank you!
WPBeginner Support says
Glad our guide was helpful
Admin
Ryan says
I deleted my site permanently from wordpress and when I google my name, the old wordpress site still appears, despite the fact that it’s gone. Can someone from the support team help me to delete it? I don’t want my clients getting confused with my actual, live site.
WPBeginner Support says
For your old site in the results on Google if you crawl the site as google it can help update Google’s cache. For more ways to completely remove the site you would want to take a look at our post here: https://www.wpbeginner.com/wp-tutorials/how-to-permanently-delete-a-wordpress-site-from-internet/
Admin
Divyanshu says
if we disable indexing the wordpress site to prevent it from hackers, then will it affect google indexing or not, and if then how to allow google to index my pages
Andy says
Doesn’t seem to work. Followed the directions with confidence. My subdomain is still publicly viewable.
WPBeginner Support says
Hi Andy,
If you have password protected your subdomain directory, then please review its settings again in cPanel. If everything looks alright, then you may want to contact your WordPress hosting provider.
Admin
Jay says
Yeah, whats written under “Discourage search engines from indexing site” is very true. Google doesnt seems to honor this
chinju says
Hi, I have a doubt that if website have 1 million subpages, search engine block all subpage when we add
User-agent: *
Disallow: /
in robots file?
Shekhar Sardar says
Yes. Adding Disallow:/ in robot.txt will tell all search engine bots, do not crawl this site or web page.
anand says
i want memebership pages member profile page to be not indes by any search engines how to do ????
Kenneth says
I tried this but it messed up my .htccess for my WordPress install.
So proceed with caution.
Joojo says
Hello,
I’m currently having a WordPress.com Blog (Free Plan) & desire to sell my Digital Stuff online without setting-up a website and relying wholly on the Blog, at first (have been short of funds). Thus, going through with this thought I have made changes to my Blog, under this after making the payment, the customer is redirected to my blog page haivng a link to download the digital content. So, I just want the payment gateway to be able to redirect the traffic to the Download page on my blog and not have it searchable via search engines, etc. & neither be it listed under the WordPress.com Posts list/Pages, etc. because if the download page is searchable by the Search Engines & listed under my Blog’s post, I wouldn’t earn anything because then the customer would directly download the content without making the payment.
Regards,
Joojo.
Jennifer says
I’m learning WP now and designing my site. For now, I don’t want the site crawled, so I’ve checked the Search Engine Visibility Box and I’ve add the password protection. However, in a few months, I’ll want the site to go live and I’ll want visitors to my site. If I uncheck the Search Engine Visibility box and take off the password protection, will the robots nofollow header automatically be updated? Or will I have to manually update this in the header section?
WPBeginner Support says
Yes, it will be. However, to be extra sure you need to submit your site’s xml sitemap using Google webmaster tools. This will allow you to see if any crawl errors are found on your site.
Admin
Ryan says
Is it possible to block only specific pages on your site, rather than blocking the entire site?
Chad says
WordPress offers a Password Protect Option on any of your pages and posts. Simply change “visibility” in your page or post edit to “password protected”.
WPBeginner Staff says
Please take a look at this thread.
Patrick says
How can I get Google and bing to crawl my site while stopping SeMalt from crawling my site. SeMalt sends traffic to my site making it look like I have more hits, however thesclicks leave my site straight away and by so doing so increase the bounce rate to my wordpress site.
Any help on this matter would be great.
Patrick
Pawan Reddy says
Thanks for this tip. I didn’t know this was possible