Come ottimizzare il file Robots.txt di WordPress per la SEO

Recentemente, uno dei nostri lettori ci ha chiesto come ottimizzare il file robots.txt per migliorare la SEO.

Il file robots.txt indica ai motori di ricerca come effettuare il crawling del vostro sito web, il che lo rende uno strumento SEO incredibilmente potente.

In questo articolo vi mostreremo alcuni consigli su come creare un file robots.txt perfetto per la SEO.

Che cos’è un file Robots.txt?

Robots.txt è un file di testo che i proprietari di siti web possono creare per indicare ai bot dei motori di ricerca come scansionare e indicizzare le pagine dei loro siti.

In genere viene memorizzato nella directory principale (nota anche come cartella principale) del sito web. Il formato di base di un file robots.txt è il seguente:

User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
 
User-agent: [user-agent name]
Allow: [URL string to be crawled]
 
Sitemap: [URL of your XML Sitemap]

È possibile avere più righe di istruzioni per consentire o non consentire URL specifici e aggiungere più sitemap. Se non si disconosce un URL, i bot dei motori di ricerca presumono di poterlo scansionare.

Ecco come può apparire un file robots.txt di esempio:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/

Sitemap: https://example.com/sitemap_index.xml

Nell’esempio di robots.txt di cui sopra, abbiamo permesso ai motori di ricerca di scansionare e indicizzare i file nella cartella uploads di WordPress.

In seguito, abbiamo impedito ai bot di ricerca di effettuare il crawling e l’indicizzazione dei plugin e delle cartelle di amministrazione di WordPress.

Infine, abbiamo fornito l’URL della nostra sitemap XML.

Avete bisogno di un file Robots.txt per il vostro sito WordPress?

Se non si dispone di un file robots.txt, i motori di ricerca effettueranno comunque la scansione e l’indicizzazione del sito web. Tuttavia, non sarete in grado di dire loro quali pagine o cartelle non devono essere scansionate.

Questo non avrà molto impatto quando si apre un blog per la prima volta e non si hanno molti contenuti.

Tuttavia, quando il vostro sito web cresce e aggiungete più contenuti, è probabile che vogliate avere un controllo migliore sul modo in cui il vostro sito web viene carrellato e indicizzato.

Ecco perché.

I bot di ricerca hanno una quota di crawl per ogni sito web.

Ciò significa che il sistema esegue il crawling di un certo numero di pagine durante una sessione di crawling. Se esauriscono il budget di crawling prima di aver terminato la scansione di tutte le pagine del vostro sito, torneranno e riprenderanno la scansione nella sessione successiva.

Questo può rallentare il tasso di indicizzazione del vostro sito web.

È possibile risolvere questo problema impedendo ai bot di ricerca di tentare la scansione di pagine non necessarie, come le pagine di amministrazione di WordPress, i file dei plugin e la cartella dei temi.

Disabilitando le pagine non necessarie, si risparmia la quota di crawl. Questo aiuta i motori di ricerca a scansionare un numero ancora maggiore di pagine del vostro sito e a indicizzarle il più rapidamente possibile.

Un altro buon motivo per utilizzare un file robots.txt è quando si vuole impedire ai motori di ricerca di indicizzare un post o una pagina del proprio sito web.

Questo non è il modo più sicuro per nascondere i contenuti al pubblico, ma vi aiuterà a evitare che i contenuti appaiano nei risultati di ricerca.

Come si presenta un file Robots.txt ideale?

Molti blog popolari utilizzano un file robots.txt molto semplice. Il loro contenuto può variare a seconda delle esigenze del sito specifico:

User-agent: *
Disallow:

Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

Questo file robots.txt consente a tutti i bot di indicizzare tutti i contenuti e fornisce loro un link alle sitemap XML del sito web.

Per i siti WordPress, si consiglia di inserire le seguenti regole nel file robots.txt:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/

Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

Indica ai bot di ricerca di indicizzare tutte le immagini e i file di WordPress. Impedisce ai bot di ricerca di indicizzare l’area di amministrazione di WordPress, il file readme e i link affiliati occultati.

Aggiungendo le sitemap al file robots.txt, si facilita ai bot di Google l’individuazione di tutte le pagine del sito.

Ora che conoscete l’aspetto di un file robots.txt ideale, vediamo come creare un file robots.txt in WordPress.

Come creare un file Robots.txt in WordPress

Esistono due modi per creare un file robots.txt in WordPress. Potete scegliere il metodo che funziona meglio per voi.

Metodo 1: Modifica del file Robots.txt con All in One SEO

All in One SEO, noto anche come AIOSEO, è il miglior plugin SEO per WordPress sul mercato, utilizzato da oltre 3 milioni di siti web. È facile da usare e viene fornito con un generatore di file robots.txt.

Per saperne di più, consultate la nostra recensione dettagliata di AIOSEO.

Se non avete ancora installato il plugin AIOSEO, potete consultare la nostra guida passo passo su come installare un plugin per WordPress.

Una volta installato e attivato il plugin, è possibile utilizzarlo per creare e modificare il file robots.txt direttamente dall’area di amministrazione di WordPress.

Basta andare su All in One SEO ” Strumenti per modificare il file robots.txt.

Per prima cosa, è necessario attivare l’opzione di modifica facendo clic sulla levetta blu “Enable Custom Robots.txt”.

Con questa opzione attivata, è possibile creare un file robots.txt personalizzato in WordPress.

All in One SEO mostrerà il file robots.txt esistente nella sezione “Anteprima robots.txt” nella parte inferiore dello schermo.

Questa versione mostra le regole predefinite aggiunte da WordPress.

Queste regole predefinite indicano ai motori di ricerca di non effettuare il crawling dei file principali di WordPress, consentono ai bot di indicizzare tutti i contenuti e forniscono loro un link alle sitemap XML del sito.

Ora è possibile aggiungere regole personalizzate per migliorare il robots.txt per la SEO.

Per aggiungere una regola, inserire un agente utente nel campo “Agente utente”. Utilizzando un *, la regola verrà applicata a tutti gli agenti utente.

Quindi, selezionare se si desidera “Consentire” o “Disconsentire” il crawling dei motori di ricerca.

Quindi, inserire il nome del file o il percorso della directory nel campo “Percorso directory”.

La regola verrà automaticamente applicata al file robots.txt. Per aggiungere un’altra regola, basta fare clic sul pulsante “Aggiungi regola”.

Si consiglia di aggiungere regole fino a creare il formato robots.txt ideale che abbiamo condiviso sopra.

Le regole personalizzate avranno il seguente aspetto.

Una volta terminato, non dimenticate di fare clic sul pulsante “Salva modifiche” per memorizzare le modifiche.

Metodo 2: Modifica del file Robots.txt con WPCode

WPCode è un potente plugin per gli snippet di codice che consente di aggiungere codice personalizzato al proprio sito web in modo semplice e sicuro.

Include anche una comoda funzione che consente di modificare rapidamente il file robots.txt.

La prima cosa da fare è installare il plugin WPCode. Per istruzioni passo passo, consultate la nostra guida per principianti su come installare un plugin di WordPress.

All’attivazione, è necessario navigare nella pagina WPCode ” File Editor. Una volta lì, è sufficiente fare clic sulla scheda ‘robots.txt’ per modificare il file.

Ora è possibile incollare o digitare il contenuto del file robots.txt.

Una volta terminato, assicurarsi di fare clic sul pulsante “Salva modifiche” in fondo alla pagina per memorizzare le impostazioni.

Metodo 3: Modifica manuale del file Robots.txt tramite FTP

Per questo metodo, è necessario utilizzare un client FTP per modificare il file robots.txt. In alternativa, potete utilizzare il file manager fornito dal vostro hosting WordPress.

È sufficiente collegarsi ai file del proprio sito web WordPress utilizzando un client FTP.

Una volta entrati, sarà possibile vedere il file robots.txt nella cartella principale del sito web.

Se non ne vedete uno, è probabile che non abbiate un file robots.txt.

In questo caso, si può procedere a crearne uno.

Robots.txt è un file di testo semplice, il che significa che è possibile scaricarlo sul computer e modificarlo con qualsiasi editor di testo semplice, come Notepad o TextEdit.

Dopo aver salvato le modifiche, è possibile caricare il file robots.txt nella cartella principale del sito web.

Come testare il file Robots.txt

Una volta creato il file robots.txt, è sempre una buona idea testarlo utilizzando uno strumento robots.txt tester.

Esistono molti strumenti di verifica del robots.txt, ma noi consigliamo di utilizzare quello presente all’interno di Google Search Console.

Per prima cosa, è necessario che il vostro sito sia collegato a Google Search Console. Se non l’avete ancora fatto, consultate la nostra guida su come aggiungere il vostro sito WordPress a Google Search Console.

Quindi, è possibile utilizzare lo strumento di test dei robot di Google Search Console.

È sufficiente selezionare la proprietà dall’elenco a discesa.

Lo strumento recupera automaticamente il file robots.txt del vostro sito web ed evidenzia gli errori e gli avvertimenti se ne trova qualcuno.

Pensieri finali

L’obiettivo dell’ottimizzazione del file robots.txt è quello di impedire ai motori di ricerca di scansionare le pagine che non sono disponibili pubblicamente. Ad esempio, le pagine della cartella wp-plugins o quelle della cartella di amministrazione di WordPress.

Un mito comune tra gli esperti SEO è che il blocco delle categorie, dei tag e delle pagine di archivio di WordPress migliori la velocità di crawl e porti a un’indicizzazione più rapida e a classifiche più alte.

Questo non è vero. È anche contrario alle linee guida per i webmaster di Google.

Si consiglia di seguire il formato robots.txt di cui sopra per creare un file robots.txt per il proprio sito web.

Guide di esperti sull’uso di Robots.txt in WordPress

Ora che sapete come ottimizzare il vostro file robots.txt, potreste voler vedere altri articoli relativi all’uso di robots.txt in WordPress.

• Glossario: Robots.txt
• Come nascondere una pagina di WordPress da Google
• Come impedire ai motori di ricerca di effettuare il crawling di un sito WordPress
• Come eliminare definitivamente un sito WordPress da internet
• Come nascondere facilmente (noindex) i file PDF in WordPress
• Come correggere l’errore “Googlebot non può accedere ai file CSS e JS” in WordPress
• Come configurare correttamente Tutto-in-uno SEO per WordPress (Guida definitiva)

Speriamo che questo articolo vi abbia aiutato a capire come ottimizzare il file robots.txt di WordPress per la SEO. Potreste anche voler consultare la nostra guida definitiva alla SEO di WordPress e le nostre scelte di esperti sui migliori strumenti SEO per WordPress per far crescere il vostro sito web.

Se questo articolo vi è piaciuto, iscrivetevi al nostro canale YouTube per le esercitazioni video su WordPress. Potete trovarci anche su Twitter e Facebook.