O Robots.txt é um arquivo de texto que permite que um site forneça instruções aos bots de rastreamento da Web.
Ele informa aos mecanismos de pesquisa como o Google quais partes do seu site podem ou não ser acessadas ao indexá-lo.
Isso torna o robots.txt uma ferramenta poderosa para SEO e também pode ser usado para garantir que determinadas páginas não apareçam nos resultados de pesquisa do Google.
Como funciona o Robots.txt?
Robots.txt é um arquivo de texto que você pode criar para informar aos bots dos mecanismos de pesquisa quais páginas devem ser rastreadas e indexadas no seu site. Normalmente, ele é armazenado no diretório raiz de seu site.
Mecanismos de pesquisa como o Google usam rastreadores da Web, às vezes chamados de robôs da Web, para arquivar e categorizar sites. A maioria dos bots é configurada para procurar um arquivo robots.txt no servidor antes de ler qualquer outro arquivo do site. Um bot faz isso para verificar se o proprietário de um site tem instruções especiais sobre o rastreamento e a indexação do site.
O arquivo robots.txt contém um conjunto de instruções que solicita que o bot ignore arquivos ou diretórios específicos. Isso pode ocorrer por motivos de privacidade ou porque o proprietário do site acredita que o conteúdo desses arquivos e diretórios é irrelevante para a categorização do site nos mecanismos de pesquisa.
Aqui está um exemplo de um arquivo robots.txt:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml
Neste exemplo, o asterisco “*” após “User-Agent” especifica que as instruções são para todos os mecanismos de busca.
Em seguida, permitimos que os mecanismos de pesquisa rastreiem e indexem arquivos em nossa pasta de uploads do WordPress. Depois, não permitimos que eles rastreiem e indexem plug-ins e pastas de administração do WordPress.
Observe que, se você não proibir um URL, os bots dos mecanismos de pesquisa presumirão que podem indexá-lo.
Por fim, fornecemos o URL do nosso sitemap XML.
Como criar um arquivo Robots.txt no WordPress
A maneira mais fácil de criar um arquivo robots.txt é usar o All in One SEO. Ele é o melhor plug-in de SEO para WordPress do mercado e vem com um gerador de arquivos robots.txt fácil de usar.
Outra ferramenta que você pode usar é o WPCode, um poderoso plug-in de trechos de código que permite adicionar códigos personalizados ao seu site com facilidade e segurança. A versão Pro inclui um recurso útil que permite editar rapidamente o arquivo robots.txt.
No entanto, se você estiver familiarizado com códigos, poderá criar o arquivo robots.txt manualmente. Você precisará usar um cliente FTP para editar o arquivo robots.txt. Como alternativa, você pode usar o gerenciador de arquivos fornecido pela sua hospedagem do WordPress.
Para obter mais detalhes sobre a criação de um arquivo robots.txt, consulte nosso guia sobre como otimizar o robots.txt do WordPress para SEO.
Como usar o Robots.txt para impedir que os mecanismos de pesquisa rastreiem um site
Os mecanismos de pesquisa são a maior fonte de tráfego para a maioria dos sites. No entanto, há alguns motivos pelos quais você pode querer desencorajar os mecanismos de pesquisa a indexar seu site.
Por exemplo, se você ainda estiver construindo o seu site, não vai querer que ele apareça nos resultados de pesquisa. O mesmo se aplica a blogs privados e intranets de negócios.
Você pode usar regras de não permissão em seu arquivo robots.txt para solicitar aos mecanismos de pesquisa que não indexem todo o seu site ou apenas determinadas páginas. Você encontrará instruções detalhadas em nosso guia sobre como impedir que os mecanismos de pesquisa rastreiem um site WordPress.
Você pode usar ferramentas como o All in One SEO para adicionar automaticamente essas regras ao seu arquivo robots.txt.
É importante observar que nem todos os bots respeitarão um arquivo robots.txt. Alguns bots mal-intencionados até mesmo leem o arquivo robots.txt para descobrir quais arquivos e diretórios devem ser visados primeiro.
Além disso, mesmo que um arquivo robots.txt instrua os bots a ignorar páginas específicas do site, essas páginas ainda poderão aparecer nos resultados de pesquisa se estiverem vinculadas a outras páginas rastreadas.
Esperamos que este artigo tenha ajudado você a saber mais sobre o robots.txt no WordPress. Talvez você também queira ver nossa lista de Leitura adicional abaixo para obter artigos relacionados sobre dicas, truques e ideias úteis para o WordPress.
Se você gostou deste artigo, inscreva-se em nosso canal do YouTube para receber tutoriais em vídeo sobre o WordPress. Você também pode nos encontrar no Twitter e no Facebook.
