Es una sensación de hundimiento cuando te das cuenta de que un archivo de texto diminuto y pasado por alto podría estar saboteando silenciosamente el SEO de tu sitio web. Muchos propietarios de sitios no se dan cuenta de que un simple error en su archivo robots.txt puede impedir que Google encuentre su contenido más importante.
Después de auditar miles de sitios de WordPress, hemos visto que esto sucede más veces de las que podemos contar. La buena noticia es que solucionarlo es más fácil de lo que crees.
En esta guía, te mostraremos los pasos exactos y probados en batalla que usamos para optimizar un archivo robots.txt de WordPress. Aprenderás cómo hacerlo correctamente y asegurar que los motores de búsqueda rastreen tu sitio de manera eficiente.
¿Te sientes abrumado? Aquí tienes un resumen rápido de todo lo que cubriremos en esta guía. Siéntete libre de saltar a la sección que más te interese.
- ¿Qué es un archivo Robots.txt?
- ¿Necesitas un archivo Robots.txt para tu sitio de WordPress?
- ¿Cómo se ve un archivo Robots.txt ideal?
- Cómo crear un archivo Robots.txt en WordPress
- Cómo probar tu archivo Robots.txt
- Reflexiones finales
- Preguntas frecuentes sobre Robots.txt en WordPress
- Recursos adicionales sobre el uso de Robots.txt en WordPress
¿Qué es un archivo Robots.txt?
Robots.txt es un archivo de texto que los propietarios de sitios web pueden crear para indicar a los bots de los motores de búsqueda cómo rastrear e indexar páginas en sus sitios.
Normalmente se almacena en el directorio raíz (también conocido como la carpeta principal) de tu sitio web. El formato básico de un archivo robots.txt se ve así:
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]
Puedes tener varias líneas de instrucciones para permitir o denegar URLs específicas y agregar varios sitemaps. Si no deniegas una URL, los bots de los motores de búsqueda asumen que tienen permiso para rastrearla.
Aquí tienes un ejemplo de cómo puede verse un archivo robots.txt:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml
En el ejemplo de robots.txt anterior, hemos permitido que los motores de búsqueda rastreen e indexen archivos en nuestra carpeta de subidas de WordPress.
Después de eso, hemos denegado a los bots de búsqueda el rastreo e indexación de las carpetas de plugins y administración de WordPress.
Por último, hemos proporcionado la URL de nuestro sitemap XML.
¿Necesitas un archivo Robots.txt para tu sitio de WordPress?
Si bien tu sitio puede funcionar sin un archivo robots.txt, hemos encontrado consistentemente que los sitios con archivos robots.txt optimizados tienen un mejor rendimiento en los resultados de búsqueda.
A través de nuestro trabajo con clientes de diversas industrias, hemos visto cómo la gestión adecuada del presupuesto de rastreo a través de robots.txt puede conducir a una indexación más rápida del contenido importante y a un mejor rendimiento general del SEO.
Esto no tendrá mucho impacto cuando recién inicies un blog y no tengas mucho contenido.
Sin embargo, a medida que tu sitio web crezca y agregues más contenido, es probable que desees un mejor control sobre cómo se rastrea e indexa tu sitio web.
Aquí te explicamos por qué.
Los motores de búsqueda asignan lo que Google llama un 'presupuesto de rastreo' a cada sitio web. Este es el número de páginas que rastrearán dentro de un período de tiempo determinado.
En nuestras pruebas en miles de sitios de WordPress, hemos descubierto que los sitios más grandes se benefician particularmente de la optimización de este presupuesto a través de una configuración estratégica de robots.txt.
Por ejemplo, uno de nuestros clientes empresariales vio una mejora del 40% en la eficiencia de rastreo después de implementar nuestras optimizaciones recomendadas de robots.txt.
Puedes impedir que los bots de búsqueda intenten rastrear páginas innecesarias como tus páginas de administración de WordPress, archivos de complementos y la carpeta de temas.
Al impedir el acceso a páginas innecesarias, ahorras tu cuota de rastreo. Esto ayuda a los motores de búsqueda a rastrear aún más páginas en tu sitio y a indexarlas lo más rápido posible.
Otra buena razón para usar un archivo robots.txt es cuando quieres evitar que los motores de búsqueda indexen una publicación o página en tu sitio web.
Sin embargo, es importante saber que robots.txt no es la mejor manera de ocultar contenido. Una página denegada aún puede aparecer en los resultados de búsqueda si está enlazada desde otros sitios web.
Si deseas evitar de manera confiable que una página aparezca en Google, deberías usar una etiqueta meta 'noindex' en su lugar. Esto le dice a los motores de búsqueda que no incluyan la página en su índice en absoluto.
¿Cómo se ve un archivo Robots.txt ideal?
Muchos blogs populares usan un archivo robots.txt muy simple. Su contenido puede variar dependiendo de las necesidades del sitio específico:
User-agent: *
Disallow:
Sitemap: https://www.example.com/post-sitemap.xml
Sitemap: https://www.example.com/page-sitemap.xml
Este archivo robots.txt permite que todos los bots indexen todo el contenido y les proporciona un enlace a los sitemaps XML del sitio web.
Para sitios de WordPress, recomendamos las siguientes reglas en el archivo robots.txt:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Sitemap: https://www.example.com/post-sitemap.xml
Sitemap: https://www.example.com/page-sitemap.xml
Esto le dice a los bots de búsqueda que indexen todas tus imágenes y archivos cargados de WordPress utilizando específicamente la directiva Allow, que es un comando útil que los motores de búsqueda como Google entienden.
Luego, prohíbe a los bots de búsqueda indexar el área de administración de WordPress, el archivo readme.html predeterminado (que puede revelar tu versión de WordPress) y directorios comunes para enlaces de afiliados ocultos como /refer/.
Al agregar mapas del sitio al archivo robots.txt, facilitas que los bots de Google encuentren todas las páginas de tu sitio.
Ahora que sabes cómo se ve un archivo robots.txt ideal, veamos cómo puedes crear un archivo robots.txt en WordPress.
Cómo crear un archivo Robots.txt en WordPress
Hay dos maneras de crear un archivo robots.txt en WordPress. Puedes elegir el método que mejor te funcione.
Método 1: Editar el archivo Robots.txt usando All in One SEO
All in One SEO, también conocido como AIOSEO, es el mejor plugin SEO de WordPress del mercado, utilizado por más de 3 millones de sitios web. Es fácil de usar y viene con un generador de archivos robots.txt.
Para obtener más información, consulta nuestra detallada reseña de AIOSEO.
Si aún no tienes instalado el plugin AIOSEO, puedes ver nuestra guía paso a paso sobre cómo instalar un plugin de WordPress.
Nota: Una versión gratuita de AIOSEO también está disponible y tiene esta función.
Una vez que el plugin esté instalado y activado, puedes usarlo para crear y editar tu archivo robots.txt directamente desde tu área de administración de WordPress.
Simplemente ve a Todo en Uno SEO » Herramientas para editar tu archivo robots.txt.
Primero, deberás activar la opción de edición haciendo clic en el interruptor ‘Habilitar Robots.txt Personalizado’ para que se ponga azul.
Con este interruptor activado, puedes crear un archivo robots.txt personalizado en WordPress.
Todo en Uno SEO mostrará tu archivo robots.txt existente en la sección ‘Vista previa de Robots.txt’ en la parte inferior de tu pantalla.
Esta versión mostrará las reglas predeterminadas que agregó WordPress.
Estas reglas predeterminadas indican a los motores de búsqueda que no rastreen tus archivos principales de WordPress, permiten que los bots indexen todo el contenido y les proporcionan un enlace a los sitemaps XML de tu sitio.
Ahora, puedes agregar tus propias reglas personalizadas para mejorar tu robots.txt para SEO.
Para agregar una regla, ingresa un agente de usuario en el campo ‘Agente de usuario’. Usar un * aplicará la regla a todos los agentes de usuario.
Luego, selecciona si deseas ‘Permitir’ o ‘Denegar’ el rastreo a los motores de búsqueda.
A continuación, ingresa el nombre del archivo o la ruta del directorio en el campo ‘Ruta del directorio’.
La regla se aplicará automáticamente a tu robots.txt. Para agregar otra regla, simplemente haz clic en el botón ‘Agregar regla’.
Recomendamos agregar reglas hasta que crees el formato ideal de robots.txt que compartimos anteriormente.
Tus reglas personalizadas se verán así.
Una vez que hayas terminado, no olvides hacer clic en el botón ‘Save Changes’ para guardar tus cambios.
Método 2: Editar el archivo Robots.txt usando WPCode
WPCode es un potente plugin de fragmentos de código que te permite agregar código personalizado a tu sitio web de forma fácil y segura.
También incluye una útil función que te permite editar rápidamente el archivo robots.txt.
Nota: También existe el Plugin Gratuito WPCode, pero no incluye la función de editor de archivos.
Lo primero que necesitas hacer es instalar el plugin WPCode. Para obtener instrucciones paso a paso, consulta nuestra guía para principiantes sobre cómo instalar un plugin de WordPress.
Al activarlo, debes navegar a la página WPCode » Editor de Archivos. Una vez allí, simplemente haz clic en la pestaña 'robots.txt' para editar el archivo.
Ahora, puedes pegar o escribir el contenido del archivo robots.txt.
Una vez que hayas terminado, asegúrate de hacer clic en el botón ‘Guardar Cambios’ en la parte inferior de la página para almacenar la configuración.
Método 3: Editar el archivo Robots.txt manualmente usando FTP
Para este método, necesitarás usar un cliente FTP para editar el archivo robots.txt. Alternativamente, puedes usar el administrador de archivos proporcionado por tu hosting de WordPress.
Consejo profesional: Antes de editar, te recomendamos descargar una copia de seguridad de tu archivo robots.txt original (si existe) a tu computadora. De esta manera, podrás volver a cargarlo fácilmente si algo sale mal.
Simplemente conéctate a los archivos de tu sitio web de WordPress usando un cliente FTP.
Una vez dentro, podrás ver el archivo robots.txt en la carpeta raíz de tu sitio web.
Si no ves uno, es probable que no tengas un archivo robots.txt.
En ese caso, puedes proceder a crear uno.
Robots.txt es un archivo de texto plano, lo que significa que puedes descargarlo a tu computadora y editarlo usando cualquier editor de texto plano como Bloc de notas o TextEdit.
Después de guardar tus cambios, puedes subir el archivo robots.txt de vuelta a la carpeta raíz de tu sitio web.
Cómo probar tu archivo Robots.txt
Después de crear o editar tu archivo robots.txt, es una excelente idea revisarlo en busca de errores. Un pequeño error tipográfico podría bloquear accidentalmente páginas importantes de los motores de búsqueda, ¡así que este paso es súper importante! 👍
Si bien Google solía tener una herramienta de prueba dedicada, ahora ha integrado esta función en los informes principales de Google Search Console.
Primero, asegúrate de que tu sitio esté conectado a Google Search Console. Si aún no lo has hecho, simplemente sigue nuestra guía sencilla sobre cómo agregar tu sitio de WordPress a Google Search Console.
Una vez que estés configurado, ve a tu panel de Google Search Console. Navega a Configuración en el menú inferior izquierdo.
A continuación, busca la sección 'Indexación' y haz clic en 'Abrir informe' junto a 'robots.txt'.
Simplemente haz clic en la versión actual del archivo en la lista.
Este informe te mostrará la versión más reciente de tu archivo robots.txt que Google ha encontrado. Resaltará cualquier error de sintaxis o problema lógico que haya detectado.
No te preocupes si acabas de actualizar tu archivo y no ves los cambios aquí de inmediato. Google busca automáticamente una nueva versión de tu archivo robots.txt aproximadamente una vez al día.
Puedes volver a consultar este informe más tarde para confirmar que Google ha detectado tus últimos cambios y que todo se ve bien.
Reflexiones finales
El objetivo de optimizar tu archivo robots.txt es evitar que los motores de búsqueda rastreen páginas que no están disponibles públicamente. Por ejemplo, páginas en tu carpeta wp-plugins o páginas en tu carpeta de administración de WordPress.
Un mito común entre los expertos en SEO es que bloquear las categorías, etiquetas y páginas de archivo de WordPress mejorará la tasa de rastreo y resultará en una indexación más rápida y clasificaciones más altas.
Esto no es cierto. De hecho, Google desaconseja firmemente esta práctica y va en contra de sus directrices de mejores prácticas para ayudarles a entender tu sitio.
Te recomendamos que sigas el formato robots.txt anterior para crear un archivo robots.txt para tu sitio web.
Preguntas frecuentes sobre Robots.txt en WordPress
Aquí tienes algunas de las preguntas más comunes que recibimos sobre la optimización del archivo robots.txt en WordPress.
1. ¿Cuál es el propósito principal de un archivo robots.txt?
El propósito principal de un archivo robots.txt es administrar el presupuesto de rastreo de tu sitio web. Al indicarle a los motores de búsqueda qué páginas ignorar (como páginas de administración o archivos de plugins), les ayudas a gastar sus recursos rastreando e indexando tu contenido más importante de manera más eficiente.
2. ¿Dónde se encuentra el archivo robots.txt en WordPress?
Tu archivo robots.txt se encuentra en el directorio raíz de tu sitio web. Normalmente puedes verlo yendo a tudominio.com/robots.txt en tu navegador web.
3. ¿Puede el uso de robots.txt mejorar la seguridad de mi sitio?
No, robots.txt no es una medida de seguridad. El archivo es visible públicamente, por lo que en realidad no impide que nadie acceda a las URL que enumeras. Simplemente proporciona directivas para los rastreadores de motores de búsqueda que se comportan correctamente.
4. ¿Debo bloquear las páginas de categorías y etiquetas de WordPress en robots.txt?
No, no debes bloquear las páginas de categorías y etiquetas. Estas páginas de archivo son útiles para el SEO porque ayudan a los motores de búsqueda a comprender la estructura de tu sitio y a descubrir tu contenido. Bloquearlas puede afectar negativamente tu posicionamiento en las búsquedas.
Recursos adicionales sobre el uso de Robots.txt en WordPress
Ahora que sabes cómo optimizar tu archivo robots.txt, quizás te gustaría ver otros artículos relacionados con el uso de robots.txt en WordPress.
- Glosario: Robots.txt
- Cómo ocultar una página de WordPress de Google
- Cómo evitar que los motores de búsqueda rastreen un sitio de WordPress
- Cómo eliminar permanentemente un sitio de WordPress de Internet
- Cómo ocultar fácilmente (Noindex) archivos PDF en WordPress
- Cómo solucionar el error "Googlebot no puede acceder a los archivos CSS y JS" en WordPress
- ¿Qué es llms.txt? Cómo agregar llms.txt en WordPress
- Cómo configurar correctamente All in One SEO para WordPress (Guía definitiva)
Esperamos que este artículo te haya ayudado a aprender cómo optimizar el archivo robots.txt de WordPress para SEO. También te puede interesar nuestra guía definitiva de SEO para WordPress y nuestras selecciones expertas de las mejores herramientas SEO para WordPress para hacer crecer tu sitio web.
Si te gustó este artículo, suscríbete a nuestro canal de YouTube para obtener tutoriales en video de WordPress. También puedes encontrarnos en Twitter y Facebook.
Steve
Gracias por esto – ¿cómo funciona en un WP Multisite?
Soporte de WPBeginner
Para un multisite, necesitarías tener un archivo robots.txt en la carpeta raíz de cada sitio.
Administrador
Pacifique Ndanyuzwe
Mi sitio de wordpress es nuevo y mi robot.txt por defecto es
user-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Quiero que Google rastree e indexe mi contenido. ¿Está bien ese robots.txt?
Soporte de WPBeginner
Ciertamente puedes usar eso si quisieras
Administrador
Ritesh Seth
Gran artículo...
Estuve confundido durante muchos días sobre el archivo Robots.txt y los enlaces Disallow. He copiado las etiquetas para el archivo robots. Espero que esto resuelva el problema de mi sitio
Soporte de WPBeginner
We hope our article will help as well
Administrador
Kurt
Los archivos en las capturas de pantalla de su carpeta principal se encuentran en realidad dentro de la carpeta public_html en mi carpeta principal.
No tenía una carpeta /refer bajo mi carpeta public_html.
No tenía archivos xml de publicaciones ni de páginas en ninguna parte de mi cuenta de WP.
Incluí una entrada en el archivo robots.txt que creé para prohibir el rastreo de mi sitio sandbox. No estoy seguro de que sea necesario, ya que ya seleccioné la opción en WP que indica a los rastreadores que no rastreen mi sitio sandbox, pero no creo que haga daño tener la entrada.
Soporte de WPBeginner
Some hosts do rename public_html to home which is why you see it there. You would want to ensure Yoast is active for the XML files to be available. The method in this article is an additional precaution to help with preventing crawling your site
Administrador
Ahmed
Gran artículo
Soporte de WPBeginner
Thank you
Administrador
ASHOK KUMAR JADON
Hola, qué buen artículo, resolviste mi problema. Así que muchas gracias
Soporte de WPBeginner
Glad our article could help
Administrador
Elyn Ashton
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php <– Este es mi código de robot.txt pero estoy confundido por qué mi /wp-admin está indexado. ¿Cómo evitar que se indexe?
Soporte de WPBeginner
Si se indexó previamente, es posible que necesites dar tiempo para que la caché del motor de búsqueda se limpie
Administrador
Ashish kumar
Este sitio web realmente me inspira a empezar un blog. Gracias a todo el equipo. Este sitio web, cada artículo tiene mucha información y explicación. Cuando tengo algún problema, primero visito este blog. Gracias
Soporte de WPBeginner
Glad our articles can be helpful
Administrador
Anna
Estoy intentando optimizar los robots para mi sitio web usando Yoast. Sin embargo, las herramientas en Yoast no tienen la opción de 'Editor de Archivos'.
Solo hay dos opciones
(i) Importar y Exportar
(ii) Editor Masivo
¿Podrían por favor aconsejarme cómo se puede abordar esto? ¿Podría ser que estoy en una edición gratuita de Yoast?
Soporte de WPBeginner
La versión gratuita de Yoast todavía tiene la opción; tu instalación podría estar impidiendo la edición de archivos, en cuyo caso probablemente necesitarías usar el método FTP.
Administrador
Emmanuel Husseni
Realmente encuentro útil este artículo porque realmente no sé mucho sobre cómo funciona robot.txt, pero ahora sí.
Por favor, ¿qué es lo que no entiendo es cómo encuentro el mejor formato de robot.txt para usar en mi sitio (quiero decir, uno que funcione en general)?
Noté que muchos blogs grandes que reviso y que se clasifican alto en los motores de búsqueda usan un formato diferente de robot.txt.
Estaría encantado de ver una respuesta tuya o de cualquiera que pueda ayudar.
Personal editorial
Tener un mapa del sitio y permitir las áreas que necesitan ser permitidas es la parte más importante. La parte de desautorizar variará según cada sitio. Compartimos una muestra en nuestra publicación de blog, y eso debería ser bueno para la mayoría de los sitios de WordPress.
Administrador
Soporte de WPBeginner
Hola Emmanuel,
Por favor, consulta la sección sobre el archivo ideal robots.txt. Depende de tus propios requisitos. La mayoría de los blogueros excluyen las carpetas de administración y complementos de WordPress de la rastreo.
Administrador
Emmanuel Husseni
Muchas gracias.
Ahora entiendo. Supongo que empezaré con el formato general por ahora.
jack
Artículo bien escrito, recomiendo a los usuarios que hagan un mapa del sitio antes de crear y habilitar su texto ROBOTS, esto ayudará a que su sitio se rastree más rápido y se indexe fácilmente.
Jack
Connie S Owens
Me gustaría evitar que los motores de búsqueda indexen mis archivos durante su rastreo.
Emmanuel Nonye
Muchas gracias, este artículo fue realmente útil.
Cherisa
Sigo recibiendo el mensaje de error a continuación en Google Webmaster. Básicamente estoy atascado. Algunas cosas que no me quedaron claras en este tutorial son: ¿dónde encuentro los archivos raíz de mi sitio?, ¿cómo determino si ya tengo un "robots.txt" y cómo lo edito?
Soporte de WPBeginner
Hola Cherisa,
La carpeta raíz de tu sitio es la que contiene carpetas como wp-admin, wp-includes, wp-content, etc. También contiene archivos como wp-config.php, wp-cron.php, wp-blogheader.php, etc.
Si no puedes ver un archivo robots.txt en esta carpeta, entonces no tienes uno. Puedes proceder y crear uno nuevo.
Administrador
Cherisa
Gracias por tu respuesta. He buscado por todas partes y no logro encontrar estos archivos raíz como los describes. ¿Hay algún directorio de ruta que pueda seguir para llegar a esta carpeta? ¿Como si estuviera en Configuración, etc.?
Devender
Tuve un tráfico web decente en mi sitio web. De repente cayó a cero en el mes de mayo. Hasta ahora he estado enfrentando el problema. Por favor, ayúdenme a recuperar mi sitio web.
Haris Aslam
Hola, gracias por esta información, pero tengo una pregunta.
Acabo de crear los archivos sitemap.xml y robots.txt, y se están rastreando bien. Pero, ¿cómo puedo crear "Product-Sitemap.xml"?
Hay una lista completa de productos en el archivo sitemap.xml. ¿Tengo que crear Product-sitemap.xml por separado?
¿y enviarlo a Google o Bing de nuevo?
¿Me puedes ayudar?
Gracias
Mahadi Hassan
Tengo un problema con la configuración del archivo robots.txt. Solo se muestra un robots.txt para todos los sitios web. Por favor, ayúdenme a mostrar un archivo robots.txt separado para todos los sitios web. Tengo todos los archivos robots.txt separados para cada sitio web individual. Pero solo se muestra un archivo robots.txt en el navegador para todos los sitios web.
Debu Majumdar
Por favor, explica por qué incluiste
Disallow: /refer/
en el ejemplo de principiante de Robots.txt. No entiendo las implicaciones de esta línea. ¿Es esto importante para un principiante? Has explicado las otras dos líneas bloqueadas.
Gracias.
Soporte de WPBeginner
Hola Debu,
Este ejemplo era del archivo robots.txt de WPBeginner. En WPBeginner usamos ThirstyAffiliates para administrar enlaces de afiliados y ocultar URLs. Esas URLs tienen /refer/ en ellas, por eso las bloqueamos en nuestro archivo robots.txt.
Administrador
Evaristo
¿Cómo puedo poner todas las etiquetas/mydomain.Com en nofollow? En robots.txt para concentrar el Link Juice? Gracias.
harsh kumar
Hola,,estoy recibiendo un error en Yoast SEO con respecto al mapa del sitio..una vez que hago clic en arreglar,,,vuelve a aparecer..el HTML de mi sitio no se está cargando correctamente
Tom
Acabo de revisar mi cuenta de Google Webmaster Tools y usando la Search Console, he encontrado lo siguiente:
Página parcialmente cargada
No todos los recursos de la página pudieron cargarse. Esto puede afectar cómo Google ve y entiende tu página. Soluciona los problemas de disponibilidad de cualquier recurso que pueda afectar cómo Google entiende tu página.
Esto se debe a que todas las hojas de estilo CSS asociadas con los plugins están desautorizadas por el robots.txt predeterminado.
Entiendo buenas razones por las que no debería simplemente permitir esto, pero ¿cuál sería una alternativa, ya que sospecharía que los algoritmos de Google están penalizando el sitio por no verlos?
Suren
Hola,
Cada vez que busco mi sitio en Google, aparece este texto debajo del enlace: “No hay una descripción disponible para este resultado debido al robots.txt de este sitio”
¿Cómo puedo resolver este problema?
Saludos
Soporte de WPBeginner
Hola Suren,
Parece que alguien cambió accidentalmente la configuración de privacidad de tu sitio. Ve a la página Configuración » Lectura y desplázate hacia abajo hasta la sección ‘Visibilidad del motor de búsqueda’. Asegúrate de que la casilla junto a esté desmarcada.
Administrador
Divyesh
Hola
Como vi en la herramienta para webmasters, tengo un archivo robot.txt como el siguiente:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
¿Me avisas si está bien? ¿O debería usar otra cosa?
John Cester
Quiero saber, ¿es una buena idea bloquear (denegar) “/wp-content/plugins/” en robots.tx? Cada vez que elimino un plugin, aparece un error 404 en algunas páginas de ese plugin.
Himanshu singh
Me encantó esta explicación. Como principiante, estaba muy confundido sobre el archivo robot.txt y sus usos. Pero ahora sé cuál es su propósito.
rahul
en algunos archivos robot.txt se ha desautorizado index.php. ¿Puedes explicar por qué? ¿Es una buena práctica?
Waleed Barakat
Gracias por pasar por esta valiosa información.
Awais Ahmed
¿Me pueden decir por qué está sucediendo esto en la herramienta para webmasters:
Red no alcanzable: robots.txt no alcanzable. No pudimos rastrear su mapa del sitio porque encontramos un archivo robots.txt en la raíz de su sitio pero no pudimos descargarlo. Asegúrese de que sea accesible o elimínelo por completo.
el archivo robots.txt existe pero aún así
Dozza
Interesante actualización del equipo de Yoast sobre esto en
Cita: “Las antiguas mejores prácticas de tener un robots.txt que bloquea el acceso a su directorio wp-includes y a su directorio de plugins ya no son válidas”.
natveimaging
Permitir: /wp-content/uploads/
¿No debería ser esto?
Disallow: /wp-content/uploads/
Porque eres consciente de que Google indexará todas tus páginas de subidas como URLs públicas, ¿verdad? Y luego recibirás errores por la página en sí. ¿Hay algo que me esté perdiendo aquí?
nativeimaging
En general, son las páginas reales las que Google rastrea para generar mapas de imágenes, NO las carpetas de subidas. Entonces tendrías un problema con todos los tamaños de imagen más pequeños y otras imágenes que son para la interfaz de usuario también se indexarán.
Esta parece ser la mejor opción:
Disallow: /wp-content/uploads/
Si estoy equivocado, por favor explícamelo para que pueda entender tu punto de vista.
Jason
Mi URL de blog no se indexa, ¿necesito cambiar mi robots.txt?
Estoy usando este robots.txt
iyan
cómo crear un archivo robots.txt que SOLO permita indexar páginas y publicaciones.. gracias
Simaran Singh
No estoy seguro de cuál es el problema, pero mi robots.txt tiene dos versiones.
Una en http://www.example.com/robots.txt y la segunda en example.com/robots.txt
¡Alguien, por favor, ayude! ¿Saben cuál podría ser la causa y cómo corregirlo?
Soporte de WPBeginner
Lo más probable es que tu proveedor de hosting permita que tu sitio sea accesible tanto con URLs www como no-www. Intenta cambiar robots.txt usando un cliente FTP. Luego examínalo desde ambas URLs; si puedes ver tus cambios en ambas URLs, entonces significa que es el mismo archivo.
Administrador
Simaran Singh
Gracias por la rápida respuesta. Ya lo he hecho, pero no puedo ver ningún cambio. ¿Hay alguna otra forma de resolverlo?
Martin conde
Yoasts blogpost about this topic was right above yours in my search so of course I checked them both. They are contradicting each other a little bit.. For example yoast said that disallowing plugin directories and others, might hinder the Google crawlers when fetching your site since plugins may output css or js. Also mentioned (and from my own experience), yoast doesn’t add anything sitemap related to the robots.txt, rather generates it so that you can add it to your search console. Here is the link to his post, maybe you can re-check because it is very hard to choose whose word to take for it
MM Nauman
Como no soy bueno creando este archivo Robotstxt, ¿puedo usar tu archivo Robots.txt cambiando los parámetros como la URL y el sitemap de mi sitio? ¿Es bueno? ¿O debería crear uno diferente?
Mohit Chauhan
Hola,
Hoy recibí este correo de Google “Googlebot no puede acceder a los archivos CSS y JS”… ¿cuál puede ser la solución?
Gracias
Parmod
Déjame adivinar… Estás usando servicios de CDN para importar archivos CSS y JS.
o
Es posible que hayas escrito una sintaxis incorrecta en estos archivos.
Rahul
Tengo una pregunta sobre cómo agregar Sitemaps. ¿Cómo puedo agregar el Sitemap de Yahoo y Bing al archivo Robots y al directorio de WordPress?
Gerbrand Petersen
Gracias por el esquema detallado sobre el uso del archivo robots. ¿Alguien sabe si Yahoo también está usando este robots.txt y si obedece las reglas mencionadas en el archivo? Pregunto esto porque tengo un "Disallow" para una página específica en mi archivo, pero sí recibo tráfico de Yahoo en esa página. Nada de Google, como debería ser. Gracias de antemano.
Erwin
corrección...
"Si estás usando el plugin Yoast’s WordPress SEO o algún otro plugin para generar tu mapa del sitio XML, entonces tu plugin intentará agregar automáticamente las líneas relacionadas con tu mapa del sitio en el archivo robots.txt."
No es cierto. WordPress SEO no agrega el mapa del sitio a robots.txt
"Siempre he sentido que enlazar tu mapa del sitio XML desde tu robots.txt es un poco absurdo. Deberías agregarlos manualmente a tus Herramientas para Webmasters de Google y Bing y asegurarte de ver sus comentarios sobre tu mapa del sitio XML. Esta es la razón por la que nuestro plugin WordPress SEO no lo agrega a tu robots.txt."
https://yoast.com/wordpress-robots-txt-example/
También es más recomendable no desautorizar el directorio wp-plugins (razones ver la publicación de Yoast)
Y personalmente me gusta simplemente remover el archivo readme.txt…
hyma
Lo entendí como el archivo robots.txt y el uso del archivo robots. ¿Qué es el mapa del sitio? ¿Cómo creo un mapa del sitio para mi sitio?
Rick R. Duncan
Después de leer la documentación de Google, tengo la impresión de que la directiva a usar en el archivo robots.txt es disallow, que solo le dice a los bots qué pueden y qué no pueden rastrear. No les dice qué se puede y qué no se puede indexar. Necesitas usar la metaetiqueta robots noindex para que una página no sea indexada.
Nitin
Artículo realmente bueno para un archivo robots.txt optimizado para SEO. Pero necesito que me des un tutorial sobre cómo subir el archivo robots.txt al servidor. Ya que, siendo principiante, parece ser un problema drástico subir ese archivo.
Por cierto, gracias por compartir información tan beneficiosa.
-Nitin
Parmod
Súbelo a tu servidor/public_hmtl/(Tu-nombre-de-sitio)… en esta carpeta
Jenny
¿Cuál es la mejor manera de agregar código a HTTacess para bloquear múltiples referidos de bots de spam por su URL y dirección IP si no se proporciona URL?
Sé que si cometes un error de sintaxis al editar httacess, puede dejar tu sitio fuera de línea. Soy un novato y necesito bloquear estas molestas URL múltiples de Rusia, China, Ucrania, etc.
Muchas gracias
Hazel Andrews
Gracias por esos consejos… ¡archivos robot txt modificados! ¡yay!
Rahat
¿Por qué tengo que agregar Allow: !!!
Si solo menciono lo que tengo que Disallow, eso es suficiente. No tengo que escribir código para Allow porque Googlebot o Bingbot rastrearán todo lo demás automáticamente.
Entonces, ¿por qué debería usar Allow de nuevo?
Connor Rickett
Dado que la ausencia del archivo Robots.txt no impide que el sitio sea rastreado, me da curiosidad: ¿Existe algún dato concreto sobre cuánto mejora el rendimiento SEO tener el archivo?
Hice una búsqueda rápida en Google y no vi ningún tipo de dato cuantitativo al respecto. Hay como medio millón de artículos que dicen: “¡Oye, esto mejora el SEO!”, pero realmente me gustaría saber de qué estamos hablando aquí, incluso en términos generales.
¿Es un aumento del 5%? ¿50? ¿500?
Soporte de WPBeginner
Los motores de búsqueda no comparten este tipo de datos. Si bien no tener un archivo robots.txt no impide que los motores de búsqueda rastreen o indexen un sitio web. Sin embargo, es una práctica recomendada.
Administrador
Connor Rickett
¡Gracias por tomarte el tiempo de responderme, lo aprecio!
JD Myers
Buen momento para esto. Estaba tratando de encontrar esta información justo ayer.
La razón por la que lo estaba buscando es que las herramientas de Google Webmaster me decían que no podían rastrear mi sitio correctamente porque estaba bloqueando varios recursos necesarios para la correcta visualización de la página.
Estos recursos incluían los que se encuentran en /wp-content/plugins/
Después de permitir esta carpeta, la advertencia desapareció.
¿Alguna idea sobre esto?
Soporte de WPBeginner
Puedes ignorar esas advertencias de forma segura. Es solo una advertencia si realmente tuvieras contenido allí que quisieras que se indexara. A veces, los usuarios tienen restringidos los bots de búsqueda y se han olvidado de ello. Estas advertencias son útiles en esas situaciones.
Administrador
Chetan jadhav
Tengo una pregunta, mucha gente usa un sitemap estático, y sabes que tienen un sitio de WordPress. ¿Deberíamos usar un sitemap estático o uno generado por WordPress?
Wilton Calderon
Genial, me gusta la forma en que lo tiene Wpbeginner, y con ese ranking en Alexa, me parece una de las mejores formas de usar robots.txt.
Brigitte Burke
¿Qué significa mi archivo robots.txt si se ve así?
User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /xmlrpc.php
Personal editorial
Simplemente dice que los motores de búsqueda no deben indexar tu carpeta wp-admin, tu carpeta wp-includes y el archivo xml-rpc. A veces, desautorizar /wp-includes/ puede bloquear ciertos scripts para los motores de búsqueda, especialmente si tu sitio está utilizando esos scripts. Esto puede perjudicar tu SEO.
Lo mejor que puedes hacer es ir a Google Webmaster Tools y obtener tu sitio web como un bot allí. Si todo se carga bien, entonces no tienes de qué preocuparte. Si dice que los scripts están bloqueados, entonces es posible que desees eliminar la línea wp-includes.
Administrador
hercules
No veo lógica en tu idea de tener un script dentro del directorio de includes que pueda ser utilizado por un crawn / robot .. y otra, si hay un caso aislado, es mejor después especificar que el wordpress por defecto permite este archivo que te imaginas que los motores de búsqueda usan sus scripts! después de todo, ¡wordpress ciertamente no tiene por defecto un robots.txt anti motores de búsqueda!!!!