Il problema del crawl budget di WordPress SEO e come risolverlo

State cercando di risolvere il problema del crawl budget di WordPress SEO?

Il crawl budget SEO è il numero di volte in cui i motori di ricerca effettuano il crawling delle pagine del vostro sito web. Un crawl budget inferiore può ritardare l’indicizzazione delle pagine in tempo. Questo può danneggiare le classifiche SEO e ridurre il traffico complessivo.

In questo articolo spiegheremo il problema del crawl budget di WordPress SEO e come risolverlo rapidamente.

Poiché l’argomento è molto vasto, lo abbiamo suddiviso in sezioni di facile comprensione. Ecco i diversi argomenti che tratteremo in questo articolo:

Come funziona il crawling di ricerca?

I motori di ricerca come Google utilizzano sofisticati bot (programmi informatici) per visitare i siti web su Internet.

Questi bot cercano le modifiche apportate al vostro sito WordPress e le confrontano con l’indice di ricerca principale.

Se scoprono nuovi contenuti, li aggiungono all’indice di ricerca. Se trovano contenuti già presenti nell’indice ma modificati, aggiornano l’indice con contenuti nuovi.

I bot di ricerca seguono quindi tutti i link di una pagina e ripetono il processo per quelle pagine.

Il modo in cui i bot si spostano da un link ad altri link di una pagina è simile al modo in cui gli spider reali strisciano lungo il web.

Per questo motivo si usa il termine crawling per descrivere questa attività e a volte i bot vengono chiamati spider dei motori di ricerca.

Per una migliore SEO, è necessario assicurarsi che i motori di ricerca possano scansionare facilmente il vostro sito web.

Che cos’è il SEO Crawl Budget?

Il crawl budget SEO è il numero di volte in cui i motori di ricerca come Google effettuano il crawling delle pagine del vostro sito web.

I bot di Google scansionano miliardi di pagine ogni giorno. Cercano di calcolare il numero di pagine da scansionare su ciascun dominio web per utilizzare le risorse in modo efficiente.

Questo numero viene determinato automaticamente dagli algoritmi di crawling in base a diversi fattori.

Il numero di pagine che il bot di Google scansionerà sul vostro sito web o blog WordPress è variabile ogni giorno, quindi non esiste un numero fisso.

In genere, i siti web più grandi e con più contenuti hanno un budget di crawl più elevato, mentre i siti web più piccoli hanno un budget inferiore.

Anche altri fattori influenzano il crawl budget, come la popolarità di un URL, la freschezza, la frequenza di aggiornamento e altro ancora.

Tuttavia, è possibile che si perda il budget di crawl sulle pagine indesiderate per diversi motivi.

Ad esempio, se il vostro sito web non è adeguatamente ottimizzato, i motori di ricerca spenderanno il vostro budget per il crawling su parti del vostro sito web meno significative rispetto ai contenuti importanti.

Allo stesso modo, potreste bloccare accidentalmente i motori di ricerca dal crawling del vostro sito web. In questo caso, il vostro sito web potrebbe non utilizzare affatto il crawl budget.

Quali sono le cause dei problemi di crawl budget di WordPress SEO?

Il modo in cui WordPress genera gli URL e i contenuti duplicati può causare problemi di crawl budget.

Ad esempio, WordPress genera automaticamente i feed RSS per le diverse aree del sito.

Ci sono feed RSS per il blog principale, per le categorie e i tag, per i commenti su ogni singolo post e pagina e persino per i tipi di post personalizzati che hanno URL di feed RSS separati.

I link a questi feed RSS vengono aggiunti al codice sorgente HTML del vostro sito web, rendendoli così individuabili dai motori di ricerca.

Ora i motori di ricerca sono abbastanza intelligenti da riconoscere e ignorare i contenuti duplicati. Tuttavia, continueranno a strisciarli e a spendere il vostro budget per le strisciate SEO.

Inoltre, i motori di ricerca effettuano il crawling di elementi meno importanti più del necessario. Ciò include pagine di archivio, tassonomie, archivi di autori, file PDF e altro ancora.

I plugin di WordPress o altri strumenti di terze parti possono anche aggiungere parametri di query agli URL di WordPress.

Gli spider di Google potrebbero considerare questi parametri di query come una pagina diversa e quindi effettuare il crawling.

Ad esempio, i parametri UTM sono utilizzati per il tracciamento di Google Analytics e una pagina con o senza questi parametri di query avrebbe lo stesso aspetto.

Esempio: https://yourdomain.com/landingpage/?utm_source=newsletter

Questo spreca il budget per le strisciate SEO su elementi meno importanti e diventa un problema.

Come si calcola il budget per il crawl SEO?

Il budget per il crawl SEO non è un numero fisso di pagine.

Le fluttuazioni sono notevoli e non c’è un modo affidabile per prevedere quante pagine Google scansionerà sul vostro sito web in un determinato giorno.

Tuttavia, è possibile farsi un’idea abbastanza precisa basandosi sulle attività di crawling recenti per vedere come Google effettua il crawling del vostro sito web.

Se non l’avete ancora fatto, dovete prima aggiungere il vostro sito web a Google Search Console. Si tratta di uno strumento gratuito messo a disposizione da Google per aiutare i proprietari di siti web a conoscere l’andamento del loro sito nella ricerca di Google.

Accedere alla dashboard di Search Console. Passate al menu “Impostazioni” dalla colonna di sinistra e fate clic su “Apri rapporto” accanto a “Statistiche di crawling”.

Il report Crawl stats mostra una panoramica delle richieste di crawl sul vostro sito web nelle ultime settimane.

È possibile passare il mouse sul grafico per vedere quante pagine sono state richieste ogni giorno.

In questo modo si può avere un’idea di quale sia stata la velocità media di crawling del sito durante questo periodo.

Di seguito, è possibile vedere una ripartizione dell’attività di crawling per codice di risposta, tipi di file, scopo e tipo di bot di Google.

Da qui si può vedere quanto il budget per il crawl viene speso per errori, syndication (feed RSS), JavaScript, CSS, immagini e altro ancora.

In questo modo si ottiene un’istantanea degli elementi che si possono ottimizzare per utilizzare in modo più efficiente il budget per le strisciate SEO.

Ad esempio, se si verificano molti errori 404, è possibile utilizzare un plugin di reindirizzamento per garantire che i crawler arrivino a contenuti utili.

(Più avanti nell’articolo, mostreremo come reindirizzare gli errori di crawl passo dopo passo).

Perché dovreste preoccuparvi del SEO Crawl Budget?

I motori di ricerca devono effettuare il crawling del vostro sito web in modo efficiente per indicizzare i vostri contenuti in modo puntuale e corretto.

Tuttavia, se il budget per il crawl SEO viene sprecato, i contenuti importanti e più recenti potrebbero non essere crawlati in tempo.

Potrebbero volerci settimane prima che i motori di ricerca notino gli aggiornamenti dei vostri vecchi articoli o scoprano nuovi contenuti.

Perderete traffico dai motori di ricerca, il vostro posizionamento SEO potrebbe non migliorare e perderete denaro dalle vendite o dagli introiti pubblicitari.

Come ottimizzare facilmente il bilancio delle strisciate SEO in WordPress

Il modo più semplice e sicuro per ottimizzare il budget di crawl SEO in WordPress è utilizzare All in One SEO for WordPress.

È il miglior plugin SEO per WordPress con uno strumento di ottimizzazione del crawl SEO integrato.

Innanzitutto, installate e attivate il plugin All in One SEO for WordPress. Per maggiori dettagli, consultate la nostra guida passo passo su come installare un plugin di WordPress.

Nota: esiste anche una versione gratuita di All in One SEO, che include anche una funzione di crawl clean-up. Vi consigliamo di utilizzare il piano PRO del plugin a pagamento, perché vi darà anche accesso allo strumento Redirection Manager per correggere gli errori 404 sul vostro sito web.

Dopo l’attivazione, il plugin mostra una procedura di configurazione guidata. È sufficiente seguire le istruzioni sullo schermo per configurare il plugin.

Successivamente, è possibile accedere alla pagina All in One SEO ” Aspetto della ricerca.

Passare quindi alla scheda Avanzate.

Scorrete fino alla fine della pagina e vedrete l’opzione “Crawl Cleanup”.

Fare clic sulla levetta per attivare la funzione “Crawl Cleanup”.

La prima opzione visualizzata nella pulizia del crawl è la rimozione degli argomenti della query.

Di seguito, è possibile fornire un elenco di argomenti di query che si desidera consentire. Gli utenti avanzati possono utilizzare le espressioni regolari Regex.

Successivamente, vedrete le opzioni per i feed RSS di WordPress. All in One SEO vi mostrerà tutti i tipi di feed RSS generati da WordPress e potrete disabilitare i feed RSS meno importanti.

Ad esempio, se avete un blog con un solo autore, potete disattivare i feed degli autori.

Una volta disattivati tutti i feed RSS indesiderati, non dimenticate di fare clic sul pulsante “Salva modifiche” per memorizzare le impostazioni.

Come impostare i reindirizzamenti per le pagine di errore

All in One SEO imposta automaticamente i reindirizzamenti per i feed che avete disabilitato. Ad esempio, un feed RSS di tag reindirizzerà gli utenti alla pagina dell’archivio dei tag.

Quindi, passare alla dashboard di Google Search Console e aprire il rapporto sulle statistiche di crawl.

Da qui è possibile vedere le pagine che hanno dato luogo a errori.

A questo punto, a seconda del codice di stato, è possibile impostare dei reindirizzamenti per quelle pagine.

Ad esempio, è possibile reindirizzare gli errori 404 a una pagina simile. È inoltre possibile controllare altre pagine con errori e impostare per esse dei reindirizzamenti.

All in One SEO rende molto semplice l’impostazione dei reindirizzamenti sul vostro sito web WordPress. Basta andare alla pagina All in One SEO ” Reindirizzamenti e aggiungere il vecchio URL nel campo “URL di origine” e il nuovo URL nel campo “URL di destinazione”.

Fare clic sul pulsante “Aggiungi reindirizzamento” per salvare le impostazioni. In seguito, è possibile ripetere la procedura per impostare altri reindirizzamenti, se necessario. Per maggiori dettagli e metodi alternativi, consultate la nostra guida su come impostare i reindirizzamenti in WordPress.

Speriamo che questo articolo vi abbia aiutato a conoscere il problema del crawl budget SEO di WordPress e a capire come risolverlo. Potreste anche voler consultare questi consigli degli esperti sull’utilizzo di Google Search Console per aumentare il traffico o vedere esempi pratici di come migliorare il tasso di clic organico in WordPress.

Se questo articolo vi è piaciuto, iscrivetevi al nostro canale YouTube per le esercitazioni video su WordPress. Potete trovarci anche su Twitter e Facebook.