Recentemente, um de nossos usuários nos perguntou como eles podem impedir que os mecanismos de pesquisa rastreiem e indexem seu site WordPress.
Há várias situações em que você deseja impedir que os mecanismos de pesquisa rastreiem seu site e o listem nos resultados de pesquisa.
Neste artigo, mostraremos como impedir que os mecanismos de pesquisa rastreiem um site WordPress.
Por que impedir que os mecanismos de pesquisa rastreiem um site WordPress?
Para a maioria dos sites WordPress, os mecanismos de pesquisa são a maior fonte de tráfego. Você pode se perguntar: por que alguém iria querer desencorajar os mecanismos de pesquisa?
Aqui estão algumas situações em que você não quer que os mecanismos de pesquisa indexem seu site:
- Ao começar, talvez você não saiba como criar um ambiente de desenvolvimento local ou um site de teste e, em vez disso, desenvolva seu website enquanto ele estiver ativo. Você não vai querer que o Google indexe seu site quando ele estiver em construção ou em modo de manutenção.
- Há também muitas pessoas que usam o WordPress para criar blogs particulares. Elas não querem que eles sejam indexados pelos mecanismos de pesquisa porque são privados.
- Você pode usar o WordPress para gerenciamento de projetos ou para uma intranet. Nesses casos, você não desejará que seus documentos internos sejam acessíveis ao público.
Um equívoco comum é que, se você não tiver links apontando para o seu domínio, os mecanismos de pesquisa provavelmente nunca encontrarão seu site. Isso não é totalmente verdade.
Por exemplo, pode haver links apontando para o seu site porque o nome de domínio já pertenceu a outra pessoa. Além disso, há milhares de páginas na Internet que simplesmente listam nomes de domínios. Seu site pode aparecer em uma delas.
Dito isso, vamos dar uma olhada em como impedir que os mecanismos de pesquisa rastreiem o seu site. Abordaremos quatro métodos:
Método 1: Solicitar que os mecanismos de pesquisa não rastreiem seu site WordPress
Esse é o método mais simples, mas não protege totalmente seu site contra rastreamento.
O WordPress vem com um recurso interno que permite instruir os mecanismos de pesquisa a não indexar seu site. Tudo o que você precisa fazer é acessar Configurações ” Leitura e marcar a caixa ao lado de “Visibilidade do mecanismo de pesquisa”.
Quando essa caixa está marcada, o WordPress adiciona essa linha ao cabeçalho do seu site:
<meta name='robots' content='noindex,follow' />
O WordPress também modifica o arquivo robots.txt do seu site e adiciona uma regra de não permissão a ele:
User-agent: *
Disallow: /
Essas linhas solicitam aos robôs (rastreadores ou bots da Web) que não indexem suas páginas da Web. No entanto, cabe totalmente aos mecanismos de busca aceitar ou ignorar essa solicitação. Embora a maioria dos mecanismos de pesquisa respeite a solicitação, ainda há uma chance de que algumas páginas ou imagens do seu site sejam indexadas.
Se você quiser impossibilitar que os mecanismos de pesquisa indexem ou rastreiem seu site, precisará proteger seu site WordPress com senha usando os Métodos 3 ou 4.
Método 2: Solicitar que os mecanismos de pesquisa não rastreiem páginas individuais
Talvez você queira que os mecanismos de pesquisa rastreiem e indexem seu site, mas não incluam um determinado post ou uma página específica nas páginas de resultados de pesquisa.
A maneira mais fácil de fazer isso é usar o plug-in All in One SEO (AIOSEO). Ele é a melhor ferramenta de SEO para WordPress e tem a confiança de mais de 3 milhões de empresas.
Para este tutorial, usaremos a versão gratuita do AIOSEO, pois ela inclui a ferramenta de análise de SEO. Há também uma versão premium do AIOSEO que oferece mais recursos, como ferramentas de mapa do site, gerenciador de redirecionamento, marcação de esquema, editor de robots.txt e muito mais.
A primeira coisa que você precisará fazer é instalar e ativar o plug-in AIOSEO em seu site. Você pode saber como instalar e configurar o plug-in seguindo nosso guia passo a passo sobre como configurar o All in One SEO para WordPress.
Depois que o plug-in estiver configurado, você poderá usá-lo para solicitar aos mecanismos de pesquisa que não indexem determinados posts e páginas. Novamente, cabe totalmente aos mecanismos de pesquisa aceitar ou ignorar essa solicitação.
Basta editar o post ou a página que você não deseja que seja indexada. Você precisa rolar para baixo até Configurações do AIOSEO na parte inferior do editor do WordPress e, em seguida, clicar na guia “Avançado”.
Observe que o artigo está usando as configurações padrão dos robôs.
Para alterar isso, você precisa alternar a opção “Use Default Settings” (Usar configurações padrão) para a posição desligada.
Agora você pode clicar na caixa de seleção “No Index”. Quando a postagem for publicada ou atualizada, os mecanismos de pesquisa serão solicitados a não indexá-la.
Para saber mais, consulte nossa análise detalhada do AIOSEO.
Método 3: Proteção de um site inteiro com senha usando o cPanel
Se o seu provedor de hospedagem WordPress oferecer acesso ao cPanel para gerenciar sua conta de hospedagem, você poderá proteger todo o seu site usando o cPanel.
Tudo o que você precisa fazer é fazer login no painel do cPanel e clicar no ícone “Directory Privacy” (Privacidade do diretório) na seção “Files” (Arquivos).
Em seguida, você precisa localizar a pasta onde instalou o WordPress. Normalmente, é a pasta public_html.
Depois disso, basta clicar no botão “Edit” (Editar) ao lado dessa pasta.
Observação: Se você tiver vários sites do WordPress instalados no diretório public_html, precisará clicar no link public_html para procurar esses sites e, em seguida, editar a pasta do site que deseja proteger com senha.
Isso o leva a uma tela em que é possível ativar a proteção por senha.
Basta marcar a caixa que diz “Password protect this directory” (Proteger este diretório com senha) e clicar no botão “Save” (Salvar). Se desejar, você também pode personalizar o nome do diretório protegido.
Você verá uma mensagem de confirmação informando que as permissões de acesso ao diretório foram alteradas.
Em seguida, você deve clicar no botão “Go Back” (Voltar).
Você será levado a uma tela onde poderá criar um nome de usuário e uma senha que precisarão ser usados para acessar esse diretório.
É necessário inserir um nome de usuário e uma senha e, em seguida, confirmar a senha. Não se esqueça de anotar seu nome de usuário e senha em um local seguro, como um aplicativo gerenciador de senhas.
Depois de clicar no botão “Salvar”, você adicionou com êxito a proteção por senha ao seu site WordPress.
Agora, sempre que um usuário ou mecanismo de pesquisa visitar o seu site, ele será solicitado a inserir o nome de usuário e a senha que você criou anteriormente para visualizar o site.
Método 4: Proteção do WordPress por senha com um plug-in
Se você estiver usando uma solução de hospedagem gerenciada do WordPress, talvez não tenha acesso ao cPanel. Nesse caso, você pode usar um plug-in do WordPress para proteger seu site com senha.
Aqui estão as duas soluções mais populares:
- OSeedProd é o plug-in nº 1 de modo de manutenção e de lançamento em breve para WordPress, usado em mais de 800.000 sites. Ele vem com recursos completos de controle de acesso e permissões que podem ser usados para ocultar seu site de todos, inclusive dos mecanismos de pesquisa. Temos um guia passo a passo de como fazer o SeedProd.
- OPassword Protected é uma maneira muito simples de proteger seu site WordPress com uma única senha (não é necessário criar um usuário). Consulte nosso guia passo a passo sobre como proteger um site WordPress com senha.
Guias especializados sobre rastreamento e indexação de mecanismos de pesquisa
Agora que você sabe como impedir que os mecanismos de busca rastreiem seu site, talvez queira ver mais alguns guias sobre rastreamento e indexação de mecanismos de busca no WordPress.
- Como ocultar uma página do WordPress do Google
- Como faço para que meu site WordPress seja listado no Google? (Guia para iniciantes)
- Por que meu site WordPress foi desindexado do Google?
- Como pedir ao Google para rastrear novamente os URLs de seu site WordPress
- Como otimizar seu Robots.txt do WordPress para SEO
- O problema do orçamento de rastreamento de SEO do WordPress e como corrigi-lo
Esperamos que este artigo tenha ajudado a impedir que os mecanismos de pesquisa rastreiem ou indexem seu site WordPress. Talvez você também queira ver nosso guia sobre como acelerar o desempenho do seu site ou nossas escolhas de especialistas para os melhores plug-ins de página de destino do WordPress.
Se você gostou deste artigo, inscreva-se em nosso canal do YouTube para receber tutoriais em vídeo sobre o WordPress. Você também pode nos encontrar no Twitter e no Facebook.
Syed Balkhi says
Hey WPBeginner readers,
Did you know you can win exciting prizes by commenting on WPBeginner?
Every month, our top blog commenters will win HUGE rewards, including premium WordPress plugin licenses and cash prizes.
You can get more details about the contest from here.
Start sharing your thoughts below to stand a chance to win!
Jiří Vaněk says
I have read that often these procedures, as well as robots.txt, are only recommended behavior for a robot. How to avoid being searched for real. Is it possible, for example, to block the ranges of Google and Bing, for example, with the help of an .htaccess file?
WPBeginner Support says
You would use method 3 or 4 for completely blocking access to your site.
Administrador
mohadese esmaeeli says
Is the prevalent belief correct that having a large number of indexed pages within a site has no effect on indexing the rest of the pages?
WPBeginner Support says
Just because you have pages that are indexed on your site does not mean you can’t have other pages hidden from crawlers to prevent indexing.
Administrador
Moinuddin Waheed says
I have been several times in the thinking while in the settings tab of the wordpress dashboard that why would any one would want to discourage Google to show the page or post from visibility. Today infact after reading this post , I came to know about the reasons why would anyone discourage search engine indexing.
it is very simple to do infact. we need to check the box in settings tab reading section where it asks to discourage search engines for visibility.
Thanks for clearing my long held doubt.
WPBeginner Support says
Glad we should share why someone would use the checkbox
Administrador
Charlotte says
This is was just what I was looking for. After I moved my dev site to the client’s live site, I didn’t want any traffic coming back to the old one. Thank you!
WPBeginner Support says
Glad our guide was helpful
Administrador
Ryan says
I deleted my site permanently from wordpress and when I google my name, the old wordpress site still appears, despite the fact that it’s gone. Can someone from the support team help me to delete it? I don’t want my clients getting confused with my actual, live site.
WPBeginner Support says
For your old site in the results on Google if you crawl the site as google it can help update Google’s cache. For more ways to completely remove the site you would want to take a look at our post here: https://www.wpbeginner.com/wp-tutorials/how-to-permanently-delete-a-wordpress-site-from-internet/
Administrador
Divyanshu says
if we disable indexing the wordpress site to prevent it from hackers, then will it affect google indexing or not, and if then how to allow google to index my pages
Andy says
Doesn’t seem to work. Followed the directions with confidence. My subdomain is still publicly viewable.
WPBeginner Support says
Hi Andy,
If you have password protected your subdomain directory, then please review its settings again in cPanel. If everything looks alright, then you may want to contact your WordPress hosting provider.
Administrador
Jay says
Yeah, whats written under “Discourage search engines from indexing site” is very true. Google doesnt seems to honor this
chinju says
Hi, I have a doubt that if website have 1 million subpages, search engine block all subpage when we add
User-agent: *
Disallow: /
in robots file?
Shekhar Sardar says
Yes. Adding Disallow:/ in robot.txt will tell all search engine bots, do not crawl this site or web page.
anand says
i want memebership pages member profile page to be not indes by any search engines how to do ????
Kenneth says
I tried this but it messed up my .htccess for my WordPress install.
So proceed with caution.
Joojo says
Hello,
I’m currently having a WordPress.com Blog (Free Plan) & desire to sell my Digital Stuff online without setting-up a website and relying wholly on the Blog, at first (have been short of funds). Thus, going through with this thought I have made changes to my Blog, under this after making the payment, the customer is redirected to my blog page haivng a link to download the digital content. So, I just want the payment gateway to be able to redirect the traffic to the Download page on my blog and not have it searchable via search engines, etc. & neither be it listed under the WordPress.com Posts list/Pages, etc. because if the download page is searchable by the Search Engines & listed under my Blog’s post, I wouldn’t earn anything because then the customer would directly download the content without making the payment.
Regards,
Joojo.
Jennifer says
I’m learning WP now and designing my site. For now, I don’t want the site crawled, so I’ve checked the Search Engine Visibility Box and I’ve add the password protection. However, in a few months, I’ll want the site to go live and I’ll want visitors to my site. If I uncheck the Search Engine Visibility box and take off the password protection, will the robots nofollow header automatically be updated? Or will I have to manually update this in the header section?
WPBeginner Support says
Yes, it will be. However, to be extra sure you need to submit your site’s xml sitemap using Google webmaster tools. This will allow you to see if any crawl errors are found on your site.
Administrador
Ryan says
Is it possible to block only specific pages on your site, rather than blocking the entire site?
Chad says
WordPress offers a Password Protect Option on any of your pages and posts. Simply change “visibility” in your page or post edit to “password protected”.
WPBeginner Staff says
Please take a look at this thread.
Patrick says
How can I get Google and bing to crawl my site while stopping SeMalt from crawling my site. SeMalt sends traffic to my site making it look like I have more hits, however thesclicks leave my site straight away and by so doing so increase the bounce rate to my wordpress site.
Any help on this matter would be great.
Patrick
Pawan Reddy says
Thanks for this tip. I didn’t know this was possible