Recientemente, uno de nuestros usuarios nos preguntó cómo impedir que los motores de búsqueda rastreen e indexen su sitio de WordPress.
Existen varias situaciones en las que puede impedir que los motores de búsqueda rastreen su sitio web y lo incluyan en los resultados de búsqueda.
En este artículo, le mostraremos cómo evitar que los motores de búsqueda rastreen un sitio WordPress.
¿Por qué impedir que los motores de búsqueda rastreen un sitio WordPress?
Para la mayoría de los sitios web de WordPress, los motores de búsqueda son la mayor fuente de tráfico. Te preguntarás, ¿por qué querría alguien desanimar a los motores de búsqueda?
Estas son algunas situaciones en las que no querrá que los motores de búsqueda indexen su sitio web:
- Al empezar, es posible que no sepas cómo crear un entorno de desarrollo local o un sitio de ensayo y, en su lugar, desarrolles tu sitio web mientras está activo. No querrás que Google indexe tu sitio cuando esté en construcción o en modo de mantenimiento.
- También hay mucha gente que utiliza WordPress para crear blogs privados. No quieren que los motores de búsqueda los indexen porque son privados.
- Puedes utilizar WordPress para gestionar proyectos o una intranet. En estos casos, no querrás que tus documentos internos sean de acceso público.
Una idea errónea muy extendida es que si no tiene enlaces que apunten a su dominio, es probable que los motores de búsqueda nunca encuentren su sitio web. Esto no es del todo cierto.
Por ejemplo, puede haber enlaces que apunten a su sitio porque el nombre de dominio pertenecía anteriormente a otra persona. Además, hay miles de páginas en Internet en las que simplemente se anuncian nombres de dominio. Su sitio puede aparecer en una de ellas.
Dicho esto, veamos cómo evitar que los motores de búsqueda rastreen su sitio web. Vamos a cubrir cuatro métodos:
Método 1: Pedir a los motores de búsqueda que no rastreen su sitio WordPress
Este es el método más sencillo, pero no protege completamente su sitio web de ser rastreado.
WordPress incorpora una característica que le permite indicar a los motores de búsqueda que no indexen su sitio. Todo lo que tiene que hacer es visitar Ajustes ” Lectura y marcar la casilla siguiente a ‘Visibilidad en buscadores’.
Cuando esta casilla está marcada, WordPress añade esta línea a la cabecera de su sitio web:
<meta name='robots' content='noindex,follow' />
WordPress también modifica el archivo robots.txt de su sitio y le añade una regla disallow:
User-agent: *
Disallow: /
Estas líneas piden a los robots (rastreadores web o bots) que no indexen sus páginas web. Sin embargo, depende totalmente de los motores de búsqueda aceptar esta petición o ignorarla. Aunque la mayoría de los motores de búsqueda respetan esta petición, existe la posibilidad de que algunas páginas o imágenes de su sitio sean indexadas.
Si desea que los motores de búsqueda no puedan indexar o rastrear su sitio web, deberá proteger su sitio WordPress con una contraseña utilizando los métodos 3 ó 4.
Método 2: Pedir a los motores de búsqueda que no rastreen páginas individuales
Es posible que desee que los motores de búsqueda rastreen e indexen su sitio web, pero que no incluyan una determinada entrada o página específica en las páginas de resultados de búsqueda.
La forma más sencilla de hacerlo es utilizando el plugin All in One SEO (AIOSEO). Es la mejor herramienta SEO para WordPress y cuenta con la confianza de más de 3 millones de empresas.
Para este tutorial, utilizaremos la versión gratuita de AIOSEO, ya que incluye la herramienta de análisis SEO. También existe una versión premium de A IOSEO que ofrece más características como herramientas del mapa del sitio, gestor de redirecciones, marcado de schema, editor de robots.txt y mucho más.
Lo primero que debe hacer es instalar y activar el plugin AIOSEO en su sitio web. Puedes aprender a instalar y configurar el plugin siguiendo nuestra guía práctica sobre cómo establecer All in One SEO para WordPress paso a paso.
Una vez establecido el plugin, puedes utilizarlo para pedir a los motores de búsqueda que no indexen determinadas entradas y páginas. Una vez más, depende totalmente de los motores de búsqueda aceptar esta solicitud o ignorarla.
Simplemente edite la entrada o página que no desea indexar. Para ello, desplácese hasta Ajustes de AIOSEO en la parte inferior del editor de WordPress y, a continuación, haga clic en la pestaña “Avanzado”.
Aviso de que el artículo está utilizando los ajustes de robots por defecto.
Para cambiar esto, debe conmutar el conmutador “Usar ajustes por defecto” a la posición de apagado.
Ahora puede hacer clic en la casilla de verificación “No indexar”. Una vez publicada o actualizada la entrada, se pedirá a los motores de búsqueda que no la indexen.
Para obtener más información, consulte nuestra reseña detallada de AIOSEO.
Método 3: Proteger con contraseña un sitio completo mediante cPanel
Si su proveedor de alojamiento WordPress le ofrece acceso a cPanel para gestionar su cuenta de alojamiento, podrá proteger todo su sitio mediante cPanel.
Todo lo que tiene que hacer es acceder a su panel de control de cPanel y, a continuación, hacer clic en el icono “Privacidad del directorio” de la sección “Archivos”.
A continuación, debe buscar la carpeta en la que instaló WordPress. Por lo general, es la carpeta public_html.
Después, basta con hacer clic en el botón “Editar” situado junto a esa carpeta.
Nota: Si tiene varios sitios de WordPress instalados en el directorio public_html, deberá enlazar con el enlace public_html para examinar dichos sitios y, a continuación, editar la carpeta del sitio web que desee proteger con contraseña.
Accederá a una pantalla en la que podrá activar la protección mediante contraseña.
Sólo tiene que marcar la casilla “Proteger este directorio con contraseña” y hacer clic en el botón “Guardar”. Si lo desea, también puede personalizar el nombre del directorio protegido.
Aparecerá un mensaje de confirmación indicando que se han modificado los permisos de acceso al directorio.
A continuación, debe hacer clic en el botón “Volver”.
Accederá a una pantalla en la que podrá crear un nombre de usuario y una contraseña que deberá utilizar cuando acceda a este directorio.
Tienes que introducir un nombre de usuario y una contraseña y, a continuación, confirmar la contraseña. Asegúrate de anotar tu nombre de usuario y contraseña en un lugar seguro, como una aplicación de gestión de contraseñas.
Al hacer clic en el botón “Guardar”, habrá añadido correctamente la protección mediante contraseña a su sitio de WordPress.
Ahora, cada vez que un usuario o un motor de búsqueda visite su sitio web, se le indicará que introduzca el nombre de usuario y la contraseña que creó anteriormente para ver el sitio.
Método 4: Proteger WordPress con contraseña mediante un plugin
Si utiliza una solución de alojamiento gestionado de WordPress, es posible que no tenga acceso a cPanel. En ese caso, puedes utilizar un plugin de WordPress para proteger tu sitio con una contraseña.
He aquí las dos soluciones más populares:
- SeedProd es el plugin número 1 para WordPress, utilizado en más de 800.000 sitios web. Viene con un completo control de acceso y características de permisos que puede utilizar para ocultar su sitio web de todo el mundo, incluidos los motores de búsqueda. Tenemos una guía práctica paso a paso para SeedProd.
- Password Protected es una forma muy sencilla de proteger su sitio WordPress con una única contraseña (no es necesario crear ningún usuario). Consulte nuestra guía práctica sobre cómo proteger con contraseña un sitio de WordPress.
Guías de expertos sobre rastreo e indexación en motores de búsqueda
Ahora que ya sabe cómo evitar que los motores de búsqueda rastreen su sitio, puede que le interese ver más guías sobre el rastreo y la indexación de motores de búsqueda en WordPress.
- Cómo ocultar una página de WordPress de Google
- ¿Cómo puedo incluir mi sitio WordPress en Google? (Guía para principiantes)
- ¿Por qué mi sitio WordPress ha sido desindexado de Google?
- Cómo solicitar a Google que vuelva a rastrear las URL de su sitio de WordPress
- Cómo optimizar su WordPress Robots.txt para SEO
- El problema del presupuesto de rastreo SEO de WordPress y cómo solucionarlo
Esperamos que este artículo le haya ayudado a impedir que los motores de búsqueda rastreen o indexen su sitio WordPress. Puede que también quieras ver nuestra guía sobre cómo acelerar el rendimiento de tu sitio web o nuestra selección de los mejores plugins de WordPress para páginas de destino.
If you liked this article, then please subscribe to our YouTube Channel for WordPress video tutorials. You can also find us on Twitter and Facebook.
Syed Balkhi says
Hey WPBeginner readers,
Did you know you can win exciting prizes by commenting on WPBeginner?
Every month, our top blog commenters will win HUGE rewards, including premium WordPress plugin licenses and cash prizes.
You can get more details about the contest from here.
Start sharing your thoughts below to stand a chance to win!
mohadese esmaeeli says
Is the prevalent belief correct that having a large number of indexed pages within a site has no effect on indexing the rest of the pages?
WPBeginner Support says
Just because you have pages that are indexed on your site does not mean you can’t have other pages hidden from crawlers to prevent indexing.
Administrador
Moinuddin Waheed says
I have been several times in the thinking while in the settings tab of the wordpress dashboard that why would any one would want to discourage Google to show the page or post from visibility. Today infact after reading this post , I came to know about the reasons why would anyone discourage search engine indexing.
it is very simple to do infact. we need to check the box in settings tab reading section where it asks to discourage search engines for visibility.
Thanks for clearing my long held doubt.
WPBeginner Support says
Glad we should share why someone would use the checkbox
Administrador
Charlotte says
This is was just what I was looking for. After I moved my dev site to the client’s live site, I didn’t want any traffic coming back to the old one. Thank you!
WPBeginner Support says
Glad our guide was helpful
Administrador
Ryan says
I deleted my site permanently from wordpress and when I google my name, the old wordpress site still appears, despite the fact that it’s gone. Can someone from the support team help me to delete it? I don’t want my clients getting confused with my actual, live site.
WPBeginner Support says
For your old site in the results on Google if you crawl the site as google it can help update Google’s cache. For more ways to completely remove the site you would want to take a look at our post here: https://www.wpbeginner.com/wp-tutorials/how-to-permanently-delete-a-wordpress-site-from-internet/
Administrador
Divyanshu says
if we disable indexing the wordpress site to prevent it from hackers, then will it affect google indexing or not, and if then how to allow google to index my pages
Andy says
Doesn’t seem to work. Followed the directions with confidence. My subdomain is still publicly viewable.
WPBeginner Support says
Hi Andy,
If you have password protected your subdomain directory, then please review its settings again in cPanel. If everything looks alright, then you may want to contact your WordPress hosting provider.
Administrador
Jay says
Yeah, whats written under “Discourage search engines from indexing site” is very true. Google doesnt seems to honor this
chinju says
Hi, I have a doubt that if website have 1 million subpages, search engine block all subpage when we add
User-agent: *
Disallow: /
in robots file?
Shekhar Sardar says
Yes. Adding Disallow:/ in robot.txt will tell all search engine bots, do not crawl this site or web page.
anand says
i want memebership pages member profile page to be not indes by any search engines how to do ????
Kenneth says
I tried this but it messed up my .htccess for my WordPress install.
So proceed with caution.
Joojo says
Hello,
I’m currently having a WordPress.com Blog (Free Plan) & desire to sell my Digital Stuff online without setting-up a website and relying wholly on the Blog, at first (have been short of funds). Thus, going through with this thought I have made changes to my Blog, under this after making the payment, the customer is redirected to my blog page haivng a link to download the digital content. So, I just want the payment gateway to be able to redirect the traffic to the Download page on my blog and not have it searchable via search engines, etc. & neither be it listed under the WordPress.com Posts list/Pages, etc. because if the download page is searchable by the Search Engines & listed under my Blog’s post, I wouldn’t earn anything because then the customer would directly download the content without making the payment.
Regards,
Joojo.
Jennifer says
I’m learning WP now and designing my site. For now, I don’t want the site crawled, so I’ve checked the Search Engine Visibility Box and I’ve add the password protection. However, in a few months, I’ll want the site to go live and I’ll want visitors to my site. If I uncheck the Search Engine Visibility box and take off the password protection, will the robots nofollow header automatically be updated? Or will I have to manually update this in the header section?
WPBeginner Support says
Yes, it will be. However, to be extra sure you need to submit your site’s xml sitemap using Google webmaster tools. This will allow you to see if any crawl errors are found on your site.
Administrador
Ryan says
Is it possible to block only specific pages on your site, rather than blocking the entire site?
Chad says
WordPress offers a Password Protect Option on any of your pages and posts. Simply change “visibility” in your page or post edit to “password protected”.
WPBeginner Staff says
Please take a look at this thread.
Patrick says
How can I get Google and bing to crawl my site while stopping SeMalt from crawling my site. SeMalt sends traffic to my site making it look like I have more hits, however thesclicks leave my site straight away and by so doing so increase the bounce rate to my wordpress site.
Any help on this matter would be great.
Patrick
Pawan Reddy says
Thanks for this tip. I didn’t know this was possible