Nascondiamo sempre i nostri nuovi siti dai motori di ricerca finché non sono pronti per i visitatori reali. Lanciare un sito non finito può essere stressante quando vuoi che tutto appaia perfetto.
Controllare la visibilità del tuo sito protegge il tuo lavoro privato e impedisce a Google di indicizzare pagine incomplete. Ti dà il controllo completo su quando il tuo sito web diventa pubblico.
Ci affidiamo a pochi semplici trucchi per mantenere i nostri progetti in corso completamente privati. Ora, ti guideremo attraverso i passaggi esatti per impedire ai motori di ricerca di scansionare il tuo sito web.
Perché impedire ai motori di ricerca di scansionare un sito WordPress?
Per la maggior parte dei siti WordPress, i motori di ricerca sono la principale fonte di traffico. Potresti chiederti, perché qualcuno dovrebbe scoraggiare i motori di ricerca?
Ecco alcune situazioni in cui non vorrai che i motori di ricerca indicizzino il tuo sito web:
- Quando inizi, potresti non sapere come creare un ambiente di sviluppo locale o un sito di staging, e invece sviluppi il tuo sito web mentre è online. Non vorrai che Google indicizzi il tuo sito quando è in costruzione o in modalità di manutenzione.
- Ci sono anche molte persone che usano WordPress per creare blog privati. Non vogliono che vengano indicizzati dai motori di ricerca perché sono privati.
- Puoi usare WordPress per la gestione di progetti o un'intranet. In questi casi, non vorrai che i tuoi documenti interni siano pubblicamente accessibili.
Un'idea sbagliata comune è che se non ci sono link che puntano al tuo dominio, i motori di ricerca non troveranno mai il tuo sito web. Questo non è del tutto vero.
Ad esempio, potrebbero esserci link che puntano al tuo sito perché il nome di dominio era precedentemente di proprietà di qualcun altro. Inoltre, ci sono migliaia di pagine su Internet che elencano semplicemente i nomi di dominio. Il tuo sito potrebbe apparire su una di quelle.
Prima di addentrarci nei metodi, chiariamo rapidamente due termini importanti:
- Scansione (Crawling) è quando i bot dei motori di ricerca (come Googlebot) visitano il tuo sito web per scoprirne il contenuto.
- Indicizzazione (Indexing) è quando aggiungono quel contenuto al loro enorme database di ricerca in modo che possa apparire nei risultati di ricerca.
Pensala come un bibliotecario che legge un nuovo libro (scansione) e poi lo aggiunge al catalogo della biblioteca (indicizzazione). Alcuni dei metodi seguenti interrompono completamente la scansione, mentre altri impediscono solo l'indicizzazione. Renderemo chiaro quale sia quale!
Detto questo, diamo un'occhiata a come impedire ai motori di ricerca di scansionare il tuo sito web. Tratteremo quattro metodi:
- Chiedere ai motori di ricerca di non scansionare il tuo sito WordPress
- Metodo 2: Chiedere ai motori di ricerca di non indicizzare pagine individuali
- Metodo 3: Proteggere con password un intero sito utilizzando cPanel
- Metodo 4: Proteggere con password WordPress con un plugin
- Domande frequenti (FAQ)
- Guide esperte su crawling e indicizzazione dei motori di ricerca
Metodo 1: Chiedere ai motori di ricerca di non eseguire il crawling del tuo sito WordPress
Questo è il metodo più semplice ma non protegge completamente il tuo sito web dal crawling.
WordPress è dotato di una funzionalità integrata che ti consente di istruire i motori di ricerca a non indicizzare il tuo sito. Tutto quello che devi fare è visitare Impostazioni » Lettura e selezionare la casella accanto a ‘Visibilità ai motori di ricerca’.
Quando questa casella è selezionata, WordPress aggiunge questa riga all'intestazione del tuo sito web:
<meta name='robots' content='noindex,nofollow' />
Questo tag dice ai motori di ricerca di non mostrare questa pagina nei risultati di ricerca (noindex) e li istruisce anche a non seguire i link su questa pagina (nofollow).
WordPress modifica anche il file robots.txt del tuo sito e aggiunge una regola di disallow:
User-agent: *
Disallow: /
Le righe di robots.txt chiedono ai crawler web di non scansionare le tue pagine, mentre il meta tag dice loro esplicitamente di non indicizzare il tuo sito. Tuttavia, c'è un intoppo.
Poiché il file robots.txt impedisce ai motori di ricerca di scansionare il tuo sito web, potrebbero non vedere mai il tuo meta tag noindex. Se un altro sito web linka al tuo dominio, Google potrebbe comunque indicizzare il tuo URL (spesso mostrando 'Informazioni non disponibili per questa pagina' nei risultati di ricerca).
Se vuoi rendere impossibile per i motori di ricerca indicizzare o eseguire la scansione del tuo sito web, dovrai proteggere con password il tuo sito WordPress utilizzando i Metodi 3 o 4.
Metodo 2: Chiedere ai motori di ricerca di non indicizzare pagine individuali
Potresti voler che i motori di ricerca eseguano la scansione e indicizzino il tuo sito web, ma che non includano un certo post o una pagina specifica nelle pagine dei risultati di ricerca.
Il modo più semplice per farlo è usare il plugin All in One SEO (AIOSEO). È il miglior strumento SEO per WordPress ed è fidato da oltre 3 milioni di aziende.
Per questo tutorial, useremo la versione gratuita di AIOSEO poiché include lo strumento di analisi SEO. Esiste anche una versione premium di AIOSEO che offre più funzionalità come strumenti per le sitemap, gestore di reindirizzamenti, markup schema, editor robots.txt e altro.
La prima cosa che dovrai fare è installare e attivare il plugin AIOSEO sul tuo sito web. Puoi imparare come installare e configurare il plugin seguendo la nostra guida passo passo su come configurare All in One SEO per WordPress.
Una volta configurato il plugin, puoi usarlo per chiedere ai motori di ricerca di non indicizzare determinati post e pagine. Ancora una volta, spetta interamente ai motori di ricerca accettare questa richiesta o ignorarla.
Modifica semplicemente il post o la pagina che non desideri venga indicizzata. Devi scorrere verso il basso fino alle Impostazioni AIOSEO nella parte inferiore dell'editor di WordPress e quindi fare clic sulla scheda 'Avanzate'.
Per impostazione predefinita, il tuo articolo utilizzerà le impostazioni standard di robots. Andiamo avanti e cambiamole.
Per cambiare questo, devi spostare l'interruttore 'Usa impostazioni predefinite' sulla posizione disattivata.
Ora puoi selezionare la casella di controllo 'No Index'. Una volta che il post è stato pubblicato o aggiornato, verrà chiesto ai motori di ricerca di non indicizzarlo.
Per saperne di più, consulta la nostra recensione dettagliata di AIOSEO.
Metodo 3: Proteggere con password un intero sito utilizzando cPanel
Se il tuo provider di hosting WordPress offre l'accesso a cPanel per gestire il tuo account di hosting, allora puoi proteggere l'intero sito utilizzando cPanel.
Tutto quello che devi fare è accedere alla tua dashboard cPanel e quindi fare clic sull'icona 'Privacy directory' nella sezione 'File'.
Successivamente, devi trovare la cartella in cui hai installato WordPress. Di solito, è la cartella public_html.
Suggerimento Pro: Se fai clic sull'icona della cartella, questa si aprirà per mostrarti cosa c'è dentro. Per proteggerla con password, devi semplicemente fare clic sul pulsante 'Modifica' accanto al nome della cartella.
Dopo di che, fai semplicemente clic sul pulsante 'Modifica' accanto a quella cartella.
Nota: Se hai più siti WordPress installati nella directory public_html, allora devi fare clic sul link public_html per sfogliare quei siti, e quindi modificare la cartella del sito web che desideri proteggere con password.
Questo ti porta a una schermata in cui puoi attivare la protezione con password.
Seleziona semplicemente la casella che dice 'Proteggi con password questa directory' e fai clic sul pulsante 'Salva'. Se lo desideri, puoi anche personalizzare il nome della directory protetta.
Vedrai un messaggio di conferma che indica che le autorizzazioni di accesso per la directory sono state modificate.
Successivamente, devi fare clic sul pulsante ‘Torna indietro’.
Nella schermata successiva, ti verrà chiesto di creare un nuovo utente. Inserisci un nome utente e una password, quindi conferma la tua password.
Assicurati di annotare questi dettagli di accesso in un luogo sicuro, come un'app per la gestione delle password, poiché ti serviranno per visualizzare il tuo sito.
Una volta fatto clic sul pulsante ‘Salva’, avrai aggiunto correttamente la protezione tramite password al tuo sito WordPress.
Attenzione: Proteggere con password il tuo sito a livello di server bloccherà l'accesso a tutto al tuo sito web. Se stai cercando di testare servizi di terze parti come cron job esterni o gateway di pagamento (come Stripe o PayPal), non saranno in grado di connettersi al tuo sito.
Ora, ogni volta che un utente o un motore di ricerca visita il tuo sito web, gli verrà richiesto di inserire il nome utente e la password che hai creato in precedenza per visualizzare il sito.
Metodo 4: Proteggere con password WordPress con un plugin
Se stai utilizzando una soluzione di hosting WordPress gestito, potresti non avere accesso a cPanel. In tal caso, puoi utilizzare un plugin WordPress per proteggere il tuo sito con password.
Here are the two most popular solutions:
- SeedProd è il plugin #1 per la modalità "coming soon" e manutenzione per WordPress, utilizzato su oltre 2 milioni di siti web. È la soluzione perfetta per i siti in costruzione perché puoi visualizzare una bellissima landing page personalizzata ai visitatori umani, nascondendo completamente il tuo sito incompiuto e il codice ai motori di ricerca. Abbiamo una guida passo passo su come usare SeedProd.
- Password Protected è un modo molto semplice per proteggere con password il tuo sito WordPress con una singola password (non è necessaria la creazione di utenti). Vedi la nostra guida passo passo su come proteggere con password un sito WordPress.
Domande frequenti (FAQ)
Here are answers to some of the most common questions we receive about stopping search engines from crawling WordPress sites.
1. What’s the difference between blocking crawling and blocking indexing?
Bloccare il crawling (usando robots.txt) è come mettere un cartello 'vietato l'ingresso'. Chiede ai bot dei motori di ricerca di non guardare il contenuto del tuo sito. Bloccare l'indicizzazione (usando un tag noindex) dice ai motori di ricerca di non elencare il tuo sito nei loro risultati di ricerca, anche se lo hanno già scansionato.
2. L'opzione integrata di WordPress 'Scoraggia i motori di ricerca' è sufficiente per nascondere il mio sito?
Per lo sviluppo temporaneo, è spesso sufficiente. Tuttavia, questo metodo è solo una richiesta e alcuni motori di ricerca potrebbero non rispettarla. Per una privacy completa o per proteggere informazioni sensibili, la protezione tramite password è l'unico metodo garantito.
3. La protezione tramite password del mio sito danneggerà la mia SEO quando sarò pronto per il lancio?
No, non danneggerà la tua SEO. Quando il tuo sito è protetto da password, i motori di ricerca non possono accedervi, quindi non ha alcuna posizione SEO (positiva o negativa). Una volta rimossa la protezione tramite password e consentita l'indicizzazione, i motori di ricerca inizieranno a scansionarlo e classificarlo normalmente.
4. Come posso verificare se Google ha già indicizzato il mio sito?
Il modo più semplice è effettuare una ricerca per sito su Google. Vai su google.com e digita site:iltuodominio.com nella barra di ricerca. Se compaiono dei risultati, il tuo sito è stato indicizzato.
Per un approccio più tecnico e accurato, puoi utilizzare la Google Search Console gratuita. Puoi incollare gli URL del tuo sito web nel loro strumento di ispezione URL per vedere il suo esatto stato di indicizzazione e scoprire se Googlebot lo ha sottoposto correttamente a scansione.
5. Come disattivo la SEO in WordPress?
Non esiste un unico "interruttore" per disattivare la SEO, ma puoi effettivamente disattivarla scoraggiando i motori di ricerca dall'indicizzare il tuo sito.
Puoi utilizzare l'impostazione integrata di WordPress in Impostazioni » Lettura, o per una soluzione più completa, utilizzare un plugin come SeedProd per mettere il tuo sito in modalità di manutenzione.
Se stai utilizzando un plugin SEO come All in One SEO, puoi anche usarlo per impostare globalmente le tue pagine su 'noindex'.
6. Come nascondo il mio sito WordPress dai motori di ricerca durante i test?
Il modo più sicuro per nascondere un sito di test o staging ai motori di ricerca è utilizzare la protezione tramite password. Puoi farlo impostando una password di directory nel pannello di controllo del tuo web hosting (come cPanel) o utilizzando un plugin WordPress come SeedProd per mettere il tuo sito in modalità manutenzione. Poiché i bot dei motori di ricerca non possono inserire password, sono completamente bloccati dall'esplorazione o dall'indicizzazione dei tuoi contenuti di test.
Guide esperte su crawling e indicizzazione dei motori di ricerca
Speriamo che questo articolo ti abbia aiutato a impedire ai motori di ricerca di scansionare o indicizzare il tuo sito WordPress. Potresti voler consultare altre guide relative al crawling e all'indicizzazione dei motori di ricerca:
- Come nascondere una pagina WordPress da Google
- Come faccio a far apparire il mio sito WordPress su Google? (Guida per principianti)
- Perché il mio sito WordPress è stato deindicizzato da Google?
- Come chiedere a Google di ricreare le URL del tuo sito WordPress
- Come ottimizzare il tuo file Robots.txt di WordPress per la SEO
- Il problema del budget di crawling SEO di WordPress e come risolverlo
Se ti è piaciuto questo articolo, iscriviti al nostro Canale YouTube per tutorial video su WordPress. Puoi trovarci anche su Twitter e Facebook.
Oyatogun Oluwaseun Samuel
Wow!, Grazie wpBeginner, non avevo mai pensato di attivare la protezione tramite password sulla cartella public_html. Grazie per aver fornito questa prospettiva. Grazie mille!
Jiří Vaněk
Ho letto che spesso queste procedure, così come robots.txt, sono solo comportamenti raccomandati per un robot. Come evitare di essere cercati davvero. È possibile, ad esempio, bloccare gli intervalli di Google e Bing, ad esempio, con l'aiuto di un file .htaccess?
Supporto WPBeginner
Useresti il metodo 3 o 4 per bloccare completamente l'accesso al tuo sito.
Amministratore
Jiří Vaněk
Capisco, ma presumo che il sito web non sarà pubblico e solo coloro che conoscono login e password potranno accedervi? La mia idea era solo quella di provare a trovare gli intervalli IP dei bot e bloccarli a livello di file htacess, ad esempio. Ha senso o è una sciocchezza?
Supporto WPBeginner
Non c'è garanzia che i bot non trovino il sito in un secondo momento con un IP diverso. Se vuoi essere sicuro che il tuo sito non venga scansionato, dovresti renderlo un sito privato, altrimenti l'opzione migliore è usare robots.txt per richiedere che il sito non venga scansionato.
Jiří Vaněk
Capisco e ti ringrazio per la risposta. Pensavo di poter risolvere bloccando l'intervallo, ma hai ragione sul fatto che il bot potrebbe provenire da un IP diverso o da un nuovo intervallo. Cercherò di affidarmi al file robots.txt e spero che tutto andrà bene.
mohadese esmaeeli
È corretta la convinzione prevalente che avere un gran numero di pagine indicizzate all'interno di un sito non abbia alcun effetto sull'indicizzazione delle altre pagine?
Supporto WPBeginner
Solo perché hai pagine indicizzate sul tuo sito non significa che non puoi avere altre pagine nascoste ai crawler per impedirne l'indicizzazione.
Amministratore
Moinuddin Waheed
Sono stato diverse volte a pensare, mentre nella scheda impostazioni della dashboard di WordPress, al perché qualcuno vorrebbe scoraggiare Google dal mostrare la pagina o il post alla visibilità. Oggi, infatti, dopo aver letto questo post, ho capito le ragioni per cui qualcuno scoraggerebbe l'indicizzazione da parte dei motori di ricerca.
È molto semplice da fare, infatti. Dobbiamo selezionare la casella nella sezione "Lettura" della scheda impostazioni, dove chiede di scoraggiare i motori di ricerca dalla visibilità.
Grazie per aver chiarito il mio dubbio di lunga data.
Supporto WPBeginner
Glad we should share why someone would use the checkbox
Amministratore
Charlotte
Era proprio quello che stavo cercando. Dopo aver spostato il mio sito di sviluppo sul sito live del cliente, non volevo che traffico tornasse a quello vecchio. Grazie!
Supporto WPBeginner
Glad our guide was helpful
Amministratore
Ryan
Ho eliminato definitivamente il mio sito da WordPress e quando cerco il mio nome su Google, il vecchio sito WordPress appare ancora, nonostante sia stato eliminato. Qualcuno dal team di supporto può aiutarmi a eliminarlo? Non voglio che i miei clienti si confondano con il mio sito attuale e attivo.
Supporto WPBeginner
Per il tuo vecchio sito nei risultati su Google, se esegui la scansione del sito come Google, puoi contribuire ad aggiornare la cache di Google. Per ulteriori modi per rimuovere completamente il sito, dovresti dare un'occhiata al nostro post qui: https://www.wpbeginner.com/wp-tutorials/how-to-permanently-delete-a-wordpress-site-from-internet/
Amministratore
Divyanshu
se disabilitiamo l'indicizzazione del sito WordPress per proteggerlo dagli hacker, ciò influirà sull'indicizzazione di Google o no, e in tal caso come permettere a Google di indicizzare le mie pagine
Andy
Non sembra funzionare. Ho seguito le istruzioni con fiducia. Il mio sottodominio è ancora visibile pubblicamente.
Supporto WPBeginner
Ciao Andy,
Se hai protetto con password la directory del tuo sottodominio, rivedi nuovamente le sue impostazioni in cPanel. Se tutto sembra a posto, potresti voler contattare il tuo provider di hosting WordPress.
Amministratore
Jay
Sì, ciò che è scritto sotto “Scoraggia i motori di ricerca dall'indicizzare il sito” è molto vero. Google non sembra rispettarlo
chinju
Ciao, ho un dubbio sul fatto che se un sito web ha 1 milione di sottopagine, i motori di ricerca blocchino tutte le sottopagine quando aggiungiamo
User-agent: *
Disallow: /
nel file robots?
Shekhar Sardar
Sì. Aggiungere Disallow:/ in robot.txt dirà a tutti i bot dei motori di ricerca di non eseguire la scansione di questo sito o pagina web.
anand
voglio che le pagine di iscrizione e la pagina del profilo del membro non siano indicizzate da nessun motore di ricerca, come fare????
Kenneth
Ho provato questo ma ha compromesso il mio .htccess per la mia installazione di Wordpress.
Quindi procedi con cautela.
Joojo
Salve,
Attualmente ho un blog Wordpress.com (Piano Gratuito) e desidero vendere la mia roba digitale online senza creare un sito web e affidandomi interamente al blog, all'inizio (sono stato a corto di fondi). Pertanto, andando avanti con questo pensiero ho apportato modifiche al mio blog, sotto questo dopo aver effettuato il pagamento, il cliente viene reindirizzato alla mia pagina del blog con un link per scaricare il contenuto digitale. Quindi, voglio solo che il gateway di pagamento sia in grado di reindirizzare il traffico alla pagina di download sul mio blog e non farlo ricercare dai motori di ricerca, ecc. né che sia elencato nell'elenco Post/Pagine di Wordpress.com, ecc. perché se la pagina di download è ricercabile dai motori di ricerca ed è elencata nei post del mio blog, non guadagnerei nulla perché il cliente scaricherebbe direttamente il contenuto senza effettuare il pagamento.
Cordiali saluti,
Joojo.
Jennifer
Sto imparando WP ora e sto progettando il mio sito. Per ora, non voglio che il sito venga scansionato, quindi ho selezionato la casella di visibilità dei motori di ricerca e ho aggiunto la protezione con password. Tuttavia, tra qualche mese, vorrò che il sito vada online e vorrò visitatori sul mio sito. Se deseleziono la casella di visibilità dei motori di ricerca e rimuovo la protezione con password, l'intestazione robots nofollow verrà aggiornata automaticamente? O dovrò aggiornarla manualmente nella sezione dell'intestazione?
Supporto WPBeginner
Sì, lo sarà. Tuttavia, per essere più sicuri, è necessario inviare la sitemap xml del tuo sito utilizzando gli strumenti per webmaster di Google. Questo ti permetterà di vedere se ci sono errori di scansione sul tuo sito.
Amministratore
Ryan
È possibile bloccare solo pagine specifiche del tuo sito, piuttosto che bloccare l'intero sito?
Chad
WordPress offre un'opzione di protezione tramite password su qualsiasi tua pagina e post. Cambia semplicemente la "visibilità" nella modifica della tua pagina o post in "protetto da password".
Staff di WPBeginner
Dai un'occhiata a questa discussione.
Patrick
Come posso fare in modo che Google e Bing scansionino il mio sito, impedendo al contempo a SeMalt di scansionarlo. SeMalt invia traffico al mio sito facendolo sembrare che abbia più visite, tuttavia questi clic lasciano subito il mio sito e, facendo così, aumentano il bounce rate del mio sito WordPress.
Qualsiasi aiuto in merito sarebbe molto apprezzato.
Patrick
Pawan Reddy
Grazie per questo consiglio. Non sapevo fosse possibile