Quando stai creando un nuovo sito WordPress, vorrai tenerlo nascosto ai motori di ricerca finché non sarà pronto per i visitatori. Facciamo questo per tutti i nostri nuovi progetti, poiché è un passaggio fondamentale per un lancio fluido e professionale.
Controllare ciò che i motori di ricerca possono vedere è essenziale per proteggere i contenuti privati e la futura SEO del tuo sito. Ti dà il controllo completo su quando il tuo sito diventa pubblico.
Dopo anni di esperienza, abbiamo trovato i metodi più affidabili per gestire la visibilità del sito. Queste sono le stesse tecniche semplici che utilizziamo per i nostri siti web e che raccomandiamo ai nostri lettori.
Ora, esaminiamo i passaggi esatti per impedire ai motori di ricerca di scansionare il tuo sito WordPress.
Perché impedire ai motori di ricerca di scansionare un sito WordPress?
Per la maggior parte dei siti web WordPress, i motori di ricerca sono la principale fonte di traffico. Potresti chiederti, perché qualcuno vorrebbe scoraggiare i motori di ricerca?
Ecco alcune situazioni in cui non vorrai che i motori di ricerca indicizzino il tuo sito web:
- All'inizio, potresti non sapere come creare un ambiente di sviluppo locale o un sito di staging, e invece, sviluppi il tuo sito web mentre è online. Non vorrai che Google indicizzi il tuo sito quando è in costruzione o in modalità di manutenzione.
- Ci sono anche molte persone che usano WordPress per creare blog privati. Non vogliono che vengano indicizzati dai motori di ricerca perché sono privati.
- Puoi usare WordPress per la gestione di progetti o per un'intranet. In questi casi, non vorrai che i tuoi documenti interni siano accessibili pubblicamente.
Un'idea sbagliata comune è che se non ci sono link che puntano al tuo dominio, i motori di ricerca non troveranno mai il tuo sito web. Questo non è del tutto vero.
Ad esempio, potrebbero esserci link che puntano al tuo sito perché il nome di dominio era precedentemente di proprietà di qualcun altro. Inoltre, ci sono migliaia di pagine su Internet che elencano semplicemente i nomi di dominio. Il tuo sito potrebbe apparire su una di quelle.
Prima di addentrarci nei metodi, chiariamo rapidamente due termini importanti:
- Scansione (Crawling) è quando i bot dei motori di ricerca (come Googlebot) visitano il tuo sito web per scoprirne il contenuto.
- Indicizzazione (Indexing) è quando aggiungono quel contenuto al loro enorme database di ricerca in modo che possa apparire nei risultati di ricerca.
Pensala come un bibliotecario che legge un nuovo libro (scansione) e poi lo aggiunge al catalogo della biblioteca (indicizzazione). Alcuni dei metodi seguenti interrompono completamente la scansione, mentre altri impediscono solo l'indicizzazione. Renderemo chiaro quale sia quale!
Detto questo, diamo un'occhiata a come impedire ai motori di ricerca di scansionare il tuo sito web. Tratteremo quattro metodi:
- Chiedere ai motori di ricerca di non scansionare il tuo sito WordPress
- Chiedere ai motori di ricerca di non scansionare singole pagine
- Proteggere con password un intero sito utilizzando cPanel
- Proteggere WordPress con un plugin
- Domande frequenti (FAQ)
- Guide esperte su crawling e indicizzazione dei motori di ricerca
Metodo 1: Chiedere ai motori di ricerca di non eseguire il crawling del tuo sito WordPress
Questo è il metodo più semplice ma non protegge completamente il tuo sito web dal crawling.
WordPress è dotato di una funzionalità integrata che ti consente di istruire i motori di ricerca a non indicizzare il tuo sito. Tutto quello che devi fare è visitare Impostazioni » Lettura e selezionare la casella accanto a ‘Visibilità ai motori di ricerca’.
Quando questa casella è selezionata, WordPress aggiunge questa riga all'intestazione del tuo sito web:
<meta name='robots' content='noindex,follow' />
Questo tag indica ai motori di ricerca di non mostrare questa pagina nei risultati di ricerca (noindex), ma che possono comunque seguire i link su questa pagina per scoprirne altre (follow).
WordPress modifica anche il file robots.txt del tuo sito e aggiunge una regola di disallow:
User-agent: *
Disallow: /
Queste righe chiedono ai robot (crawler web o bot) di non indicizzare le tue pagine web. Tuttavia, spetta interamente ai motori di ricerca accettare questa richiesta o ignorarla. Anche se la maggior parte dei motori di ricerca rispetta la richiesta, c'è ancora la possibilità che alcune pagine o immagini del tuo sito vengano indicizzate.
Se vuoi rendere impossibile per i motori di ricerca indicizzare o eseguire la scansione del tuo sito web, dovrai proteggere con password il tuo sito WordPress utilizzando i Metodi 3 o 4.
Metodo 2: Chiedere ai motori di ricerca di non indicizzare pagine individuali
Potresti voler che i motori di ricerca eseguano la scansione e indicizzino il tuo sito web, ma che non includano un certo post o una pagina specifica nelle pagine dei risultati di ricerca.
Il modo più semplice per farlo è utilizzare il plugin All in One SEO (AIOSEO). È il miglior strumento SEO per WordPress ed è utilizzato da oltre 3 milioni di aziende.
Per questo tutorial, utilizzeremo la versione gratuita di AIOSEO poiché include lo strumento di analisi SEO. Esiste anche una versione premium di AIOSEO che offre più funzionalità come strumenti per la sitemap, gestore delle reindirizzamenti, markup schema, editor robots.txt e altro ancora.
La prima cosa che dovrai fare è installare e attivare il plugin AIOSEO sul tuo sito web. Puoi imparare come installare e configurare il plugin seguendo la nostra guida passo passo su come impostare correttamente All in One SEO per WordPress.
Una volta configurato il plugin, puoi usarlo per chiedere ai motori di ricerca di non indicizzare determinati post e pagine. Ancora una volta, spetta interamente ai motori di ricerca accettare questa richiesta o ignorarla.
Modifica semplicemente il post o la pagina che non desideri venga indicizzata. Devi scorrere verso il basso fino alle Impostazioni AIOSEO nella parte inferiore dell'editor di WordPress e quindi fare clic sulla scheda 'Avanzate'.
Nota che l'articolo sta utilizzando le impostazioni predefinite dei robot.
Per cambiare questo, devi spostare l'interruttore 'Usa impostazioni predefinite' sulla posizione disattivata.
Ora puoi selezionare la casella di controllo 'No Index'. Una volta che il post è stato pubblicato o aggiornato, verrà chiesto ai motori di ricerca di non indicizzarlo.
Per saperne di più, consulta la nostra dettagliata recensione AIOSEO.
Metodo 3: Proteggere con password un intero sito utilizzando cPanel
Se il tuo provider di hosting WordPress offre l'accesso a cPanel per gestire il tuo account di hosting, allora puoi proteggere il tuo intero sito utilizzando cPanel.
Tutto quello che devi fare è accedere alla tua dashboard cPanel e quindi fare clic sull'icona 'Privacy directory' nella sezione 'File'.
Successivamente, devi trovare la cartella in cui hai installato WordPress. Di solito, è la cartella public_html.
Dopo di che, fai semplicemente clic sul pulsante 'Modifica' accanto a quella cartella.
Nota: Se hai più siti WordPress installati nella directory public_html, allora devi fare clic sul link public_html per sfogliare quei siti, e quindi modificare la cartella del sito web che desideri proteggere con password.
Questo ti porta a una schermata in cui puoi attivare la protezione con password.
Seleziona semplicemente la casella che dice 'Proteggi con password questa directory' e fai clic sul pulsante 'Salva'. Se lo desideri, puoi anche personalizzare il nome della directory protetta.
Vedrai un messaggio di conferma che indica che le autorizzazioni di accesso per la directory sono state modificate.
Successivamente, devi fare clic sul pulsante ‘Torna indietro’.
Verrai portato a una schermata in cui potrai creare un nome utente e una password che dovranno essere utilizzati quando accederai a questa directory.
Devi inserire un nome utente e una password, quindi confermare la password. Assicurati di annotare il tuo nome utente e la tua password in un luogo sicuro, come un app per la gestione delle password.
Una volta fatto clic sul pulsante ‘Salva’, avrai aggiunto correttamente la protezione tramite password al tuo sito WordPress.
Ora, ogni volta che un utente o un motore di ricerca visita il tuo sito web, gli verrà richiesto di inserire il nome utente e la password che hai creato in precedenza per visualizzare il sito.
Metodo 4: Proteggere con password WordPress con un plugin
If you are using a managed WordPress hosting solution, then you may not have access to cPanel. In that case, you can use a WordPress plugin to password-protect your site.
Here are the two most popular solutions:
- SeedProd is the #1 coming soon and maintenance mode plugin for WordPress, used on over 2 million websites. It comes with complete access control and permissions features that you can use to hide your website from everyone, including search engines. We have a step-by-step how-to guide for SeedProd.
- Password Protected is a very simple way to password-protect your WordPress site with a single password (no user creation needed). See our step-by-step guide on how to password-protect a WordPress site.
Domande frequenti (FAQ)
Here are answers to some of the most common questions we receive about stopping search engines from crawling WordPress sites.
1. What’s the difference between blocking crawling and blocking indexing?
Bloccare il crawling (usando robots.txt) è come mettere un cartello 'vietato l'ingresso'. Chiede ai bot dei motori di ricerca di non guardare il contenuto del tuo sito. Bloccare l'indicizzazione (usando un tag noindex) dice ai motori di ricerca di non elencare il tuo sito nei loro risultati di ricerca, anche se lo hanno già scansionato.
2. L'opzione integrata di WordPress 'Scoraggia i motori di ricerca' è sufficiente per nascondere il mio sito?
Per lo sviluppo temporaneo, è spesso sufficiente. Tuttavia, questo metodo è solo una richiesta e alcuni motori di ricerca potrebbero non rispettarla. Per una privacy completa o per proteggere informazioni sensibili, la protezione tramite password è l'unico metodo garantito.
3. La protezione tramite password del mio sito danneggerà la mia SEO quando sarò pronto per il lancio?
No, non danneggerà la tua SEO. Quando il tuo sito è protetto da password, i motori di ricerca non possono accedervi, quindi non ha alcuna posizione SEO (positiva o negativa). Una volta rimossa la protezione tramite password e consentita l'indicizzazione, i motori di ricerca inizieranno a scansionarlo e classificarlo normalmente.
4. Come posso verificare se Google ha già indicizzato il mio sito?
Il modo più semplice è effettuare una ricerca per sito su Google. Vai su google.com e digita site:tuodominio.com nella barra di ricerca, sostituendo 'tuodominio.com' con l'indirizzo effettivo del tuo sito web. Se compaiono dei risultati, il tuo sito è stato indicizzato.
Guide esperte su crawling e indicizzazione dei motori di ricerca
Speriamo che questo articolo ti abbia aiutato a impedire ai motori di ricerca di scansionare o indicizzare il tuo sito WordPress. Potresti voler consultare altre guide relative al crawling e all'indicizzazione dei motori di ricerca:
- Come nascondere una pagina WordPress da Google
- Come faccio a far apparire il mio sito WordPress su Google? (Guida per principianti)
- Perché il mio sito WordPress è stato deindicizzato da Google?
- Come chiedere a Google di ricreare le URL del tuo sito WordPress
- Come ottimizzare il tuo file Robots.txt di WordPress per la SEO
- Il problema del budget di crawling SEO di WordPress e come risolverlo
Se ti è piaciuto questo articolo, iscriviti al nostro canale YouTube per tutorial video su WordPress. Puoi anche trovarci su Twitter e Facebook.
Oyatogun Oluwaseun Samuel
Wow!, Grazie wpBeginner, non avevo mai pensato di attivare la protezione tramite password sulla cartella public_html. Grazie per aver fornito questa prospettiva. Grazie mille!
Jiří Vaněk
Ho letto che spesso queste procedure, così come robots.txt, sono solo comportamenti raccomandati per un robot. Come evitare di essere cercati davvero. È possibile, ad esempio, bloccare gli intervalli di Google e Bing, ad esempio, con l'aiuto di un file .htaccess?
Supporto WPBeginner
Useresti il metodo 3 o 4 per bloccare completamente l'accesso al tuo sito.
Amministratore
Jiří Vaněk
Capisco, ma presumo che il sito web non sarà pubblico e solo coloro che conoscono login e password potranno accedervi? La mia idea era solo quella di provare a trovare gli intervalli IP dei bot e bloccarli a livello di file htacess, ad esempio. Ha senso o è una sciocchezza?
Supporto WPBeginner
Non c'è garanzia che i bot non trovino il sito in un secondo momento con un IP diverso. Se vuoi essere sicuro che il tuo sito non venga scansionato, dovresti renderlo un sito privato, altrimenti l'opzione migliore è usare robots.txt per richiedere che il sito non venga scansionato.
Jiří Vaněk
Capisco e ti ringrazio per la risposta. Pensavo di poter risolvere bloccando l'intervallo, ma hai ragione sul fatto che il bot potrebbe provenire da un IP diverso o da un nuovo intervallo. Cercherò di affidarmi al file robots.txt e spero che tutto andrà bene.
mohadese esmaeeli
È corretta la convinzione prevalente che avere un gran numero di pagine indicizzate all'interno di un sito non abbia alcun effetto sull'indicizzazione delle altre pagine?
Supporto WPBeginner
Solo perché hai pagine indicizzate sul tuo sito non significa che non puoi avere altre pagine nascoste ai crawler per impedirne l'indicizzazione.
Amministratore
Moinuddin Waheed
Sono stato diverse volte a pensare, mentre nella scheda impostazioni della dashboard di WordPress, al perché qualcuno vorrebbe scoraggiare Google dal mostrare la pagina o il post alla visibilità. Oggi, infatti, dopo aver letto questo post, ho capito le ragioni per cui qualcuno scoraggerebbe l'indicizzazione da parte dei motori di ricerca.
È molto semplice da fare, infatti. Dobbiamo selezionare la casella nella sezione "Lettura" della scheda impostazioni, dove chiede di scoraggiare i motori di ricerca dalla visibilità.
Grazie per aver chiarito il mio dubbio di lunga data.
Supporto WPBeginner
Glad we should share why someone would use the checkbox
Amministratore
Charlotte
Era proprio quello che stavo cercando. Dopo aver spostato il mio sito di sviluppo sul sito live del cliente, non volevo che traffico tornasse a quello vecchio. Grazie!
Supporto WPBeginner
Glad our guide was helpful
Amministratore
Ryan
Ho eliminato definitivamente il mio sito da WordPress e quando cerco il mio nome su Google, il vecchio sito WordPress appare ancora, nonostante sia stato eliminato. Qualcuno dal team di supporto può aiutarmi a eliminarlo? Non voglio che i miei clienti si confondano con il mio sito attuale e attivo.
Supporto WPBeginner
Per il tuo vecchio sito nei risultati di Google, se esegui la scansione del sito come Google, questo può aiutare ad aggiornare la cache di Google. Per ulteriori modi per rimuovere completamente il sito, dovresti dare un'occhiata al nostro post qui: https://www.wpbeginner.com/wp-tutorials/how-to-permanently-delete-a-wordpress-site-from-internet/
Amministratore
Divyanshu
se disabilitiamo l'indicizzazione del sito WordPress per proteggerlo dagli hacker, ciò influirà sull'indicizzazione di Google o no, e in tal caso come permettere a Google di indicizzare le mie pagine
Andy
Non sembra funzionare. Ho seguito le istruzioni con fiducia. Il mio sottodominio è ancora visibile pubblicamente.
Supporto WPBeginner
Ciao Andy,
Se hai protetto con password la directory del tuo sottodominio, rivedi nuovamente le sue impostazioni in cPanel. Se tutto sembra a posto, potresti voler contattare il tuo provider di hosting WordPress.
Amministratore
Jay
Sì, ciò che è scritto sotto “Scoraggia i motori di ricerca dall'indicizzare il sito” è molto vero. Google non sembra rispettarlo
chinju
Ciao, ho un dubbio sul fatto che se un sito web ha 1 milione di sottopagine, i motori di ricerca blocchino tutte le sottopagine quando aggiungiamo
User-agent: *
Disallow: /
nel file robots?
Shekhar Sardar
Sì. Aggiungere Disallow:/ in robot.txt dirà a tutti i bot dei motori di ricerca di non eseguire la scansione di questo sito o pagina web.
anand
voglio che le pagine di iscrizione e la pagina del profilo del membro non siano indicizzate da nessun motore di ricerca, come fare????
Kenneth
Ho provato questo ma ha compromesso il mio .htccess per la mia installazione di Wordpress.
Quindi procedi con cautela.
Joojo
Salve,
Attualmente ho un blog Wordpress.com (Piano Gratuito) e desidero vendere la mia roba digitale online senza creare un sito web e affidandomi interamente al blog, all'inizio (sono stato a corto di fondi). Pertanto, andando avanti con questo pensiero ho apportato modifiche al mio blog, sotto questo dopo aver effettuato il pagamento, il cliente viene reindirizzato alla mia pagina del blog con un link per scaricare il contenuto digitale. Quindi, voglio solo che il gateway di pagamento sia in grado di reindirizzare il traffico alla pagina di download sul mio blog e non farlo ricercare dai motori di ricerca, ecc. né che sia elencato nell'elenco Post/Pagine di Wordpress.com, ecc. perché se la pagina di download è ricercabile dai motori di ricerca ed è elencata nei post del mio blog, non guadagnerei nulla perché il cliente scaricherebbe direttamente il contenuto senza effettuare il pagamento.
Cordiali saluti,
Joojo.
Jennifer
Sto imparando WP ora e sto progettando il mio sito. Per ora, non voglio che il sito venga scansionato, quindi ho selezionato la casella di visibilità dei motori di ricerca e ho aggiunto la protezione con password. Tuttavia, tra qualche mese, vorrò che il sito vada online e vorrò visitatori sul mio sito. Se deseleziono la casella di visibilità dei motori di ricerca e rimuovo la protezione con password, l'intestazione robots nofollow verrà aggiornata automaticamente? O dovrò aggiornarla manualmente nella sezione dell'intestazione?
Supporto WPBeginner
Sì, lo sarà. Tuttavia, per essere più sicuri, è necessario inviare la sitemap xml del tuo sito utilizzando gli strumenti per webmaster di Google. Questo ti permetterà di vedere se ci sono errori di scansione sul tuo sito.
Amministratore
Ryan
È possibile bloccare solo pagine specifiche del tuo sito, piuttosto che bloccare l'intero sito?
Chad
WordPress offre un'opzione di protezione tramite password su qualsiasi tua pagina e post. Cambia semplicemente la "visibilità" nella modifica della tua pagina o post in "protetto da password".
Staff di WPBeginner
Dai un'occhiata a questo thread.
Patrick
Come posso fare in modo che Google e Bing scansionino il mio sito, impedendo al contempo a SeMalt di scansionarlo. SeMalt invia traffico al mio sito facendolo sembrare che abbia più visite, tuttavia questi clic lasciano subito il mio sito e, facendo così, aumentano il bounce rate del mio sito WordPress.
Qualsiasi aiuto in merito sarebbe molto apprezzato.
Patrick
Pawan Reddy
Grazie per questo consiglio. Non sapevo fosse possibile