Robots.txt es un archivo de texto que permite a un sitio web proporcionar instrucciones a los bots rastreadores web.
Le dice a los motores de búsqueda como Google qué partes de tu sitio web pueden y no pueden acceder al indexar tu sitio.
Eso convierte a robots.txt en una herramienta poderosa para SEO y también se puede usar para asegurar que ciertas páginas no aparezcan en los resultados de búsqueda de Google.
¿Cómo funciona Robots.txt?
Robots.txt es un archivo de texto que puedes crear para decirle a los bots de los motores de búsqueda qué páginas rastrear e indexar en tu sitio web. Normalmente se almacena en el directorio raíz de tu sitio web.
Los motores de búsqueda como Google utilizan rastreadores web, a veces llamados robots web, para archivar y categorizar sitios web. La mayoría de los bots están configurados para buscar un archivo robots.txt en el servidor antes de leer cualquier otro archivo del sitio web. Un bot hace esto para ver si el propietario del sitio web tiene instrucciones especiales sobre cómo rastrear e indexar su sitio.
El archivo robots.txt contiene un conjunto de instrucciones que solicitan al bot que ignore archivos o directorios específicos. Esto puede ser por privacidad o porque el propietario del sitio web cree que el contenido de esos archivos y directorios es irrelevante para la categorización del sitio web en los motores de búsqueda.
Aquí tienes un ejemplo de un archivo robots.txt:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml
En este ejemplo, el asterisco '*' después de 'User-Agent' especifica que las instrucciones son para todos los motores de búsqueda.
Luego, permitimos que los motores de búsqueda rastreen e indexen archivos en nuestra carpeta de subidas de WordPress. Después, les prohibimos rastrear e indexar las carpetas de plugins y de administración de WordPress.
Ten en cuenta que si no prohíbes una URL, los bots de los motores de búsqueda asumirán que pueden indexarla.
Finalmente, hemos proporcionado la URL de nuestro mapa del sitio XML.
Cómo crear un archivo Robots.txt en WordPress
La forma más fácil de crear un archivo robots.txt es usando All in One SEO. Es el mejor plugin de SEO para WordPress del mercado y viene con un generador de archivos robots.txt fácil de usar.
Otra herramienta que puedes usar es WPCode, un potente plugin de fragmentos de código que te permite agregar código personalizado a tu sitio web fácil y de forma segura. La versión Pro incluye una útil función que te permite editar rápidamente el archivo robots.txt.
Sin embargo, si estás familiarizado con el código, puedes crear el archivo robots.txt manualmente. Necesitarás usar un cliente FTP para editar el archivo robots.txt. Alternativamente, puedes usar el administrador de archivos proporcionado por tu hosting de WordPress.
Para más detalles sobre cómo crear un archivo robots.txt, consulta nuestra guía sobre cómo optimizar tu robots.txt de WordPress para SEO.
Cómo usar Robots.txt para evitar que los motores de búsqueda rastreen un sitio
Los motores de búsqueda son la mayor fuente de tráfico para la mayoría de los sitios web. Sin embargo, hay algunas razones por las que podrías querer disuadir a los motores de búsqueda de indexar tu sitio.
Por ejemplo, si aún estás construyendo tu sitio web, no querrás que aparezca en los resultados de búsqueda. Lo mismo ocurre con los blogs privados y las intranets empresariales.
Puedes usar reglas de desautorización en tu archivo robots.txt para pedir a los motores de búsqueda que no indexen todo tu sitio web o solo ciertas páginas. Encontrarás instrucciones detalladas en nuestra guía sobre cómo evitar que los motores de búsqueda rastreen un sitio de WordPress.
Puedes usar herramientas como All in One SEO para agregar automáticamente estas reglas a tu archivo robots.txt.
Es importante tener en cuenta que no todos los bots respetarán un archivo robots.txt. Algunos bots maliciosos incluso leerán el archivo robots.txt para encontrar qué archivos y directorios deben atacar primero.
Además, incluso si un archivo robots.txt le indica a los bots que ignoren páginas específicas del sitio, esas páginas aún pueden aparecer en los resultados de búsqueda si están enlazadas a otras páginas rastreadas.
Esperamos que este artículo te haya ayudado a aprender más sobre robots.txt en WordPress. También puedes consultar nuestra lista de Lecturas Adicionales a continuación para ver artículos relacionados con útiles consejos, trucos e ideas de WordPress.
Si te gustó este artículo, suscríbete a nuestro canal de YouTube para obtener tutoriales en video de WordPress. También puedes encontrarnos en Twitter y Facebook.
Lectura adicional
- Cómo evitar que los motores de búsqueda rastreen un sitio de WordPress
- ¿Qué es un mapa de sitio XML? Cómo crear un mapa de sitio en WordPress
- SEO
- Cómo agregar tu sitio de WordPress a Google Search Console
- Cómo ocultar una página de WordPress de Google (4 métodos)
- Cómo optimizar tu archivo robots.txt de WordPress para SEO
