Es una sensación de hundimiento cuando te das cuenta de que un archivo de texto diminuto y pasado por alto podría estar saboteando silenciosamente el SEO de tu sitio web. Muchos propietarios de sitios no se dan cuenta de que un simple error en su archivo robots.txt puede impedir que Google encuentre su contenido más importante.
Después de auditar miles de sitios de WordPress, hemos visto que esto sucede más veces de las que podemos contar. La buena noticia es que solucionarlo es más fácil de lo que crees.
En esta guía, te mostraremos los pasos exactos y probados en batalla que usamos para optimizar un archivo robots.txt de WordPress. Aprenderás cómo hacerlo correctamente y asegurar que los motores de búsqueda rastreen tu sitio de manera eficiente.
¿Te sientes abrumado? Aquí tienes un resumen rápido de todo lo que cubriremos en esta guía. Siéntete libre de saltar a la sección que más te interese.
- ¿Qué es un archivo Robots.txt?
- ¿Necesitas un archivo Robots.txt para tu sitio de WordPress?
- ¿Cómo se ve un archivo Robots.txt ideal?
- Cómo crear un archivo Robots.txt en WordPress
- Cómo probar tu archivo Robots.txt
- Reflexiones finales
- Preguntas frecuentes sobre Robots.txt en WordPress
- Recursos adicionales sobre el uso de Robots.txt en WordPress
¿Qué es un archivo Robots.txt?
Robots.txt es un archivo de texto que los propietarios de sitios web pueden crear para indicar a los bots de los motores de búsqueda cómo rastrear e indexar páginas en sus sitios.
Normalmente se almacena en el directorio raíz (también conocido como la carpeta principal) de tu sitio web. El formato básico de un archivo robots.txt se ve así:
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]
Puedes tener varias líneas de instrucciones para permitir o denegar URLs específicas y agregar varios sitemaps. Si no deniegas una URL, los bots de los motores de búsqueda asumen que tienen permiso para rastrearla.
Aquí tienes un ejemplo de cómo puede verse un archivo robots.txt:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml
En el ejemplo de robots.txt anterior, hemos permitido que los motores de búsqueda rastreen e indexen archivos en nuestra carpeta de subidas de WordPress.
Después de eso, hemos denegado a los bots de búsqueda el rastreo e indexación de las carpetas de plugins y administración de WordPress.
Por último, hemos proporcionado la URL de nuestro sitemap XML.
¿Necesitas un archivo Robots.txt para tu sitio de WordPress?
Si bien tu sitio puede funcionar sin un archivo robots.txt, hemos encontrado consistentemente que los sitios con archivos robots.txt optimizados tienen un mejor rendimiento en los resultados de búsqueda.
A través de nuestro trabajo con clientes de diversas industrias, hemos visto cómo la gestión adecuada del presupuesto de rastreo a través de robots.txt puede conducir a una indexación más rápida del contenido importante y a un mejor rendimiento general del SEO.
Esto no tendrá mucho impacto cuando recién inicies un blog y no tengas mucho contenido.
Sin embargo, a medida que tu sitio web crezca y agregues más contenido, es probable que desees un mejor control sobre cómo se rastrea e indexa tu sitio web.
Aquí te explicamos por qué.
Los motores de búsqueda asignan lo que Google llama un 'presupuesto de rastreo' a cada sitio web. Este es el número de páginas que rastrearán dentro de un período de tiempo determinado.
En nuestras pruebas en miles de sitios de WordPress, hemos descubierto que los sitios más grandes se benefician particularmente de la optimización de este presupuesto a través de una configuración estratégica de robots.txt.
Por ejemplo, uno de nuestros clientes empresariales vio una mejora del 40% en la eficiencia de rastreo después de implementar nuestras optimizaciones recomendadas de robots.txt.
Puedes impedir que los bots de búsqueda intenten rastrear páginas innecesarias como tus páginas de administración de WordPress, archivos de complementos y la carpeta de temas.
Al impedir el acceso a páginas innecesarias, ahorras tu cuota de rastreo. Esto ayuda a los motores de búsqueda a rastrear aún más páginas en tu sitio y a indexarlas lo más rápido posible.
Otra buena razón para usar un archivo robots.txt es cuando quieres evitar que los motores de búsqueda indexen una publicación o página en tu sitio web.
Sin embargo, es importante saber que robots.txt no es la mejor manera de ocultar contenido. Una página denegada aún puede aparecer en los resultados de búsqueda si está enlazada desde otros sitios web.
Si deseas evitar de manera confiable que una página aparezca en Google, deberías usar una etiqueta meta 'noindex' en su lugar. Esto le dice a los motores de búsqueda que no incluyan la página en su índice en absoluto.
¿Cómo se ve un archivo Robots.txt ideal?
Muchos blogs populares usan un archivo robots.txt muy simple. Su contenido puede variar dependiendo de las necesidades del sitio específico:
User-agent: *
Disallow:
Sitemap: https://www.example.com/post-sitemap.xml
Sitemap: https://www.example.com/page-sitemap.xml
Este archivo robots.txt permite que todos los bots indexen todo el contenido y les proporciona un enlace a los sitemaps XML del sitio web.
Para sitios de WordPress, recomendamos las siguientes reglas en el archivo robots.txt:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Sitemap: https://www.example.com/post-sitemap.xml
Sitemap: https://www.example.com/page-sitemap.xml
Esto le dice a los bots de búsqueda que indexen todas tus imágenes y archivos cargados de WordPress utilizando específicamente la directiva Allow, que es un comando útil que los motores de búsqueda como Google entienden.
Luego, prohíbe a los bots de búsqueda indexar el área de administración de WordPress, el archivo readme.html predeterminado (que puede revelar tu versión de WordPress) y directorios comunes para enlaces de afiliados ocultos como /refer/.
Al agregar mapas del sitio al archivo robots.txt, facilitas que los bots de Google encuentren todas las páginas de tu sitio.
Ahora que sabes cómo se ve un archivo robots.txt ideal, veamos cómo puedes crear un archivo robots.txt en WordPress.
Cómo crear un archivo Robots.txt en WordPress
Hay dos maneras de crear un archivo robots.txt en WordPress. Puedes elegir el método que mejor te funcione.
Método 1: Editar el archivo Robots.txt usando All in One SEO
All in One SEO, también conocido como AIOSEO, es el mejor plugin SEO de WordPress del mercado, utilizado por más de 3 millones de sitios web. Es fácil de usar y viene con un generador de archivos robots.txt.
Para obtener más información, consulta nuestra detallada reseña de AIOSEO.
Si aún no tienes instalado el plugin AIOSEO, puedes ver nuestra guía paso a paso sobre cómo instalar un plugin de WordPress.
Nota: Una versión gratuita de AIOSEO también está disponible y tiene esta función.
Una vez que el plugin esté instalado y activado, puedes usarlo para crear y editar tu archivo robots.txt directamente desde tu área de administración de WordPress.
Simplemente ve a Todo en Uno SEO » Herramientas para editar tu archivo robots.txt.
Primero, deberás activar la opción de edición haciendo clic en el interruptor ‘Habilitar Robots.txt Personalizado’ para que se ponga azul.
Con este interruptor activado, puedes crear un archivo robots.txt personalizado en WordPress.
Todo en Uno SEO mostrará tu archivo robots.txt existente en la sección ‘Vista previa de Robots.txt’ en la parte inferior de tu pantalla.
Esta versión mostrará las reglas predeterminadas que agregó WordPress.
Estas reglas predeterminadas indican a los motores de búsqueda que no rastreen tus archivos principales de WordPress, permiten que los bots indexen todo el contenido y les proporcionan un enlace a los sitemaps XML de tu sitio.
Ahora, puedes agregar tus propias reglas personalizadas para mejorar tu robots.txt para SEO.
Para agregar una regla, ingresa un agente de usuario en el campo ‘Agente de usuario’. Usar un * aplicará la regla a todos los agentes de usuario.
Luego, selecciona si deseas ‘Permitir’ o ‘Denegar’ el rastreo a los motores de búsqueda.
A continuación, ingresa el nombre del archivo o la ruta del directorio en el campo ‘Ruta del directorio’.
La regla se aplicará automáticamente a tu robots.txt. Para agregar otra regla, simplemente haz clic en el botón ‘Agregar regla’.
Recomendamos agregar reglas hasta que crees el formato ideal de robots.txt que compartimos anteriormente.
Tus reglas personalizadas se verán así.
Una vez que hayas terminado, no olvides hacer clic en el botón ‘Save Changes’ para guardar tus cambios.
Método 2: Editar el archivo Robots.txt usando WPCode
WPCode es un potente plugin de fragmentos de código que te permite agregar código personalizado a tu sitio web de forma fácil y segura.
También incluye una útil función que te permite editar rápidamente el archivo robots.txt.
Nota: También existe el Plugin Gratuito WPCode, pero no incluye la función de editor de archivos.
Lo primero que necesitas hacer es instalar el plugin WPCode. Para obtener instrucciones paso a paso, consulta nuestra guía para principiantes sobre cómo instalar un plugin de WordPress.
Al activarlo, debes navegar a la página WPCode » Editor de Archivos. Una vez allí, simplemente haz clic en la pestaña 'robots.txt' para editar el archivo.
Ahora, puedes pegar o escribir el contenido del archivo robots.txt.
Una vez que hayas terminado, asegúrate de hacer clic en el botón ‘Guardar Cambios’ en la parte inferior de la página para almacenar la configuración.
Método 3: Editar el archivo Robots.txt manualmente usando FTP
Para este método, necesitarás usar un cliente FTP para editar el archivo robots.txt. Alternativamente, puedes usar el administrador de archivos proporcionado por tu hosting de WordPress.
Consejo profesional: Antes de editar, te recomendamos descargar una copia de seguridad de tu archivo robots.txt original (si existe) a tu computadora. De esta manera, podrás volver a cargarlo fácilmente si algo sale mal.
Simplemente conéctate a los archivos de tu sitio web de WordPress usando un cliente FTP.
Una vez dentro, podrás ver el archivo robots.txt en la carpeta raíz de tu sitio web.
Si no ves uno, es probable que no tengas un archivo robots.txt.
En ese caso, puedes proceder a crear uno.
Robots.txt es un archivo de texto plano, lo que significa que puedes descargarlo a tu computadora y editarlo usando cualquier editor de texto plano como Bloc de notas o TextEdit.
Después de guardar tus cambios, puedes subir el archivo robots.txt de vuelta a la carpeta raíz de tu sitio web.
Cómo probar tu archivo Robots.txt
Después de crear o editar tu archivo robots.txt, es una excelente idea revisarlo en busca de errores. Un pequeño error tipográfico podría bloquear accidentalmente páginas importantes de los motores de búsqueda, ¡así que este paso es súper importante! 👍
Si bien Google solía tener una herramienta de prueba dedicada, ahora ha integrado esta función en los informes principales de Google Search Console.
Primero, asegúrate de que tu sitio esté conectado a Google Search Console. Si aún no lo has hecho, simplemente sigue nuestra guía sencilla sobre cómo agregar tu sitio de WordPress a Google Search Console.
Una vez que estés configurado, ve a tu panel de Google Search Console. Navega a Configuración en el menú inferior izquierdo.
A continuación, busca la sección 'Indexación' y haz clic en 'Abrir informe' junto a 'robots.txt'.
Simplemente haz clic en la versión actual del archivo en la lista.
Este informe te mostrará la versión más reciente de tu archivo robots.txt que Google ha encontrado. Resaltará cualquier error de sintaxis o problema lógico que haya detectado.
No te preocupes si acabas de actualizar tu archivo y no ves los cambios aquí de inmediato. Google busca automáticamente una nueva versión de tu archivo robots.txt aproximadamente una vez al día.
Puedes volver a consultar este informe más tarde para confirmar que Google ha detectado tus últimos cambios y que todo se ve bien.
Reflexiones finales
El objetivo de optimizar tu archivo robots.txt es evitar que los motores de búsqueda rastreen páginas que no están disponibles públicamente. Por ejemplo, páginas en tu carpeta wp-plugins o páginas en tu carpeta de administración de WordPress.
Un mito común entre los expertos en SEO es que bloquear las categorías, etiquetas y páginas de archivo de WordPress mejorará la tasa de rastreo y resultará en una indexación más rápida y clasificaciones más altas.
Esto no es cierto. De hecho, Google desaconseja firmemente esta práctica y va en contra de sus directrices de mejores prácticas para ayudarles a entender tu sitio.
Te recomendamos que sigas el formato robots.txt anterior para crear un archivo robots.txt para tu sitio web.
Preguntas frecuentes sobre Robots.txt en WordPress
Aquí tienes algunas de las preguntas más comunes que recibimos sobre la optimización del archivo robots.txt en WordPress.
1. ¿Cuál es el propósito principal de un archivo robots.txt?
El propósito principal de un archivo robots.txt es administrar el presupuesto de rastreo de tu sitio web. Al indicarle a los motores de búsqueda qué páginas ignorar (como páginas de administración o archivos de plugins), les ayudas a gastar sus recursos rastreando e indexando tu contenido más importante de manera más eficiente.
2. ¿Dónde se encuentra el archivo robots.txt en WordPress?
Tu archivo robots.txt se encuentra en el directorio raíz de tu sitio web. Normalmente puedes verlo yendo a tudominio.com/robots.txt en tu navegador web.
3. ¿Puede el uso de robots.txt mejorar la seguridad de mi sitio?
No, robots.txt no es una medida de seguridad. El archivo es visible públicamente, por lo que en realidad no impide que nadie acceda a las URL que enumeras. Simplemente proporciona directivas para los rastreadores de motores de búsqueda que se comportan correctamente.
4. ¿Debo bloquear las páginas de categorías y etiquetas de WordPress en robots.txt?
No, no debes bloquear las páginas de categorías y etiquetas. Estas páginas de archivo son útiles para el SEO porque ayudan a los motores de búsqueda a comprender la estructura de tu sitio y a descubrir tu contenido. Bloquearlas puede afectar negativamente tu posicionamiento en las búsquedas.
Recursos adicionales sobre el uso de Robots.txt en WordPress
Ahora que sabes cómo optimizar tu archivo robots.txt, quizás te gustaría ver otros artículos relacionados con el uso de robots.txt en WordPress.
- Glosario: Robots.txt
- Cómo ocultar una página de WordPress de Google
- Cómo evitar que los motores de búsqueda rastreen un sitio de WordPress
- Cómo eliminar permanentemente un sitio de WordPress de Internet
- Cómo ocultar fácilmente (Noindex) archivos PDF en WordPress
- Cómo solucionar el error "Googlebot no puede acceder a los archivos CSS y JS" en WordPress
- ¿Qué es llms.txt? Cómo agregar llms.txt en WordPress
- Cómo configurar correctamente All in One SEO para WordPress (Guía definitiva)
Esperamos que este artículo te haya ayudado a aprender cómo optimizar el archivo robots.txt de WordPress para SEO. También te puede interesar nuestra guía definitiva de SEO para WordPress y nuestras selecciones expertas de las mejores herramientas SEO para WordPress para hacer crecer tu sitio web.
Si te gustó este artículo, suscríbete a nuestro canal de YouTube para obtener tutoriales en video de WordPress. También puedes encontrarnos en Twitter y Facebook.
Dennis Muthomi
I have to admit, I use the AIOSEO plugin but have always ignored the “Enable Custom Robots.txt” option because I didn’t want to mess anything up.
But I have read this article and I’m convinced it’s worth taking the time to optimize my site’s robots.txt file.
Amit Banerjee
Si se hubiera proporcionado la plantilla completa de robots.txt, habría sido de ayuda.
Soporte de WPBeginner
We did include the entire robots.txt
Administrador
Michael
Creo que deberías modificar tu respuesta. Debería ser https en lugar de http. ¿Está bien desautorizar también los archivos de plugins?
Soporte de WPBeginner
Gracias por señalarlo, nuestra muestra se ha actualizado. Para desautorizar plugins, deberías consultar con el plugin específico para estar seguro.
Moinuddin Waheed
Gracias por esta publicación informativa sobre el archivo robots.txt.
No sabía que los sitios web debían mantener este archivo para tener control sobre los bots de Google y cómo deberían rastrear nuestras páginas y publicaciones.
Para los sitios web para principiantes que recién comienzan, ¿es necesario tener un archivo robots.txt o hay alguna forma como un plugin que pueda crear un archivo robots.txt para nuestro sitio web?
Soporte de WPBeginner
La mayoría de los plugins de SEO ayudan a configurar el robots.txt para un sitio nuevo para evitar que los bots rastreen secciones que no deberían.
Administrador
Jiří Vaněk
Gracias a este artículo, revisé el archivo robots.txt y agregué direcciones URL con sitemaps. Al mismo tiempo, tenía otras líneas problemáticas allí, que fueron reveladas por el validador. Hasta ahora no estaba familiarizado con los sitemaps en robots.txt. Gracias.
Soporte de WPBeginner
¡De nada, nos alegra que nuestra guía haya podido ayudar!
Administrador
Stéphane
Hola,
Gracias por esa publicación, queda más claro cómo usar el archivo robots.txt. En la mayoría de los sitios web que encuentras mientras buscas consejos sobre el archivo robots.txt, puedes ver que las siguientes carpetas están explícitamente excluidas del rastreo (para WordPress):
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Realmente no entiendo las razones para excluir esas carpetas (¿hay alguna en realidad?). ¿Cuál sería tu opinión al respecto?
Soporte de WPBeginner
Principalmente es para evitar que cualquier cosa en esas carpetas aparezca como resultado cuando un usuario busca tu sitio. Como ese no es tu contenido, no es algo que la mayoría de la gente querría que apareciera en los resultados del sitio.
Administrador
zaid haris
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
GSC muestra el error de cobertura para “Disallow: /wp-admin/” ¿Esto es incorrecto?
Soporte de WPBeginner
Para la mayoría de los sitios, no quieres que nada de tu wp-admin aparezca como resultado de búsqueda, por lo que está bien y es esperado recibir el área de cobertura cuando le niegas a Google la capacidad de escanear tu wp-admin.
Administrador
Hansini
Estoy creando mi robots.txt manualmente como indicaste para mi sitio de WordPress.
Tengo una duda. cuando escribo User-Agent: * ¿no permitirá que otro robot de spam acceda a mi sitio?
¿Debería escribir User-Agent: * o User-Agent: Googlebot.?
Soporte de WPBeginner
La línea User-Agent establece las reglas que todos los robots deben seguir en tu sitio; si especificas un bot en particular en esa línea, estarías estableciendo reglas para ese bot específico y ninguno de los otros.
Administrador
Nishant
¿Qué deberíamos escribir para que Google indexe mi publicación?
Soporte de WPBeginner
Para que tu sitio aparezca en la lista, te recomendamos que consultes nuestro artículo a continuación:
https://www.wpbeginner.com/beginners-guide/how-do-i-get-my-wordpress-site-listed-on-google-beginners-guide/
Administrador
Sanjeev Pandey
¿deberíamos también desautorizar /wp-content/themes/ ?
Aparece en los resultados de búsqueda cuando ejecuto el comando site:abcdef.com en la búsqueda de Google
Soporte de WPBeginner
No deberías preocuparte por bloquear la carpeta de tus temas y, a medida que escribas contenido optimizado para SEO, ya no deberías ver los temas como resultado de búsqueda.
Administrador
Salem
HOLA, ¿Qué significa "Disallow: /readme.html & Disallow: /refer/"?
Soporte de WPBeginner
Eso significa que le estás diciendo a los motores de búsqueda que no revisen ningún enlace de referencia ni el archivo readme.html.
Administrador
sean
Hola, ¿cuáles son los pros y los contras de bloquear wp-content/uploads
Gracias
Soporte de WPBeginner
Si bloqueas tu carpeta de subidas, los motores de búsqueda normalmente no rastrearían tu contenido subido, como las imágenes.
Administrador
Piyush
gracias por resolver mi problema
Soporte de WPBeginner
You’re welcome
Administrador
Ravi kumar
Señor, estoy muy confundido acerca de robot.txt, muchas veces envié el mapa del sitio en Blogger, pero después de 3 o 4 días aparece el mismo problema, ¿qué es exactamente robot.txt.. & cómo enviarlo, por favor guíeme?
Soporte de WPBeginner
Dependería de tu problema específico, quizás quieras echar un vistazo a nuestra página a continuación:
https://www.wpbeginner.com/glossary/robots-txt/
Administrador
Prem
Si no indexo una URL o página usando el archivo robots.txt, ¿google muestra algún error en la consola de búsqueda?
Soporte de WPBeginner
No, Google no listará la página, pero si la página está listada, no mostrará un error.
Administrador
Bharat
Hola
Tengo una pregunta
Recibí una advertencia de problema de cobertura de Google Search Console por "bloqueado por robots.txt"
/wp-admin/widgets.php
Mi pregunta es, ¿puedo permitir /wp-admin/widgets.php en robots.txt y es seguro?
Soporte de WPBeginner
Si quisieras, puedes, pero ese no es un archivo que Google necesite rastrear.
Administrador
Anthony
Hola, me pregunto si deberías permitir: /wp-admin/admin-ajax.php?
Soporte de WPBeginner
Normalmente, sí deberías.
Administrador
Jaira
¿Puedo saber por qué deberías permitir /wp-admin/admin-ajax.php?
Soporte de WPBeginner
Es utilizado por diferentes temas y plugins para que aparezcan correctamente para los motores de búsqueda.
Amila
¡Hola! Me gusta mucho este artículo y como soy principiante con todo esto del rastreo, me gustaría preguntar algo al respecto. Recientemente, Google rastreó e indexó uno de mis sitios web de una manera terrible, mostrando páginas en los resultados de búsqueda que están eliminadas del sitio web. El sitio web no tenía desanimado a los motores de búsqueda de indexar en la configuración de WordPress al principio, pero lo hizo más tarde después de que Google mostrara 3 páginas más en los resultados de búsqueda (esas páginas tampoco existen) y realmente no entiendo cómo pudo suceder con la opción "desanimar a los motores de búsqueda de indexar" activada. Entonces, ¿el método Yoast puede ser útil y solucionar mi sitio web para que Google indexe mi sitio web de la manera apropiada esta vez? ¡Gracias de antemano!
Soporte de WPBeginner
El plugin Yoast debería poder ayudar a asegurar que las páginas que tienes se indexen correctamente, existe la posibilidad de que antes de desanimar a los motores de búsqueda de rastrear tu sitio, tu página se haya almacenado en caché.
Administrador
Amila
Bueno, sí, y de todas las páginas, almacenó en caché las que ya no existen. De todos modos, como la página actual está en la configuración de "desanimar", ¿es mejor dejarla así por ahora o desmarcar la casilla y dejar que Google la rastree e indexe de nuevo con la ayuda de Yoast? ¡Gracias! ¡Con tus artículos, todo se volvió más fácil!
Soporte de WPBeginner
Querrás que Google vuelva a rastrear tu sitio una vez que esté configurado como deseas.
Pradhuman Kumar
Hola, me encantó el artículo, muy preciso y perfecto.
Solo una pequeña sugerencia, por favor actualiza la imagen del probador ROBOTS.txt, ya que la Consola de Google ha cambiado y sería genial si agregas el enlace para verificar el robots.txt desde Google.
Soporte de WPBeginner
Gracias por tus comentarios, nos aseguraremos de actualizar el artículo tan pronto como nos sea posible.
Administrador
Kamaljeet Singh
El archivo robots.txt de mi blog era:
User-Agent: *
crawl-delay: 10
Después de leer esta publicación, lo cambié a tu archivo robots.txt recomendado. ¿Está bien que haya eliminado crawl-delay?
Soporte de WPBeginner
Debería estar bien, crawl-delay le dice a los motores de búsqueda que reduzcan la velocidad con la que rastrean tu sitio.
Administrador
reena
Muy bien descrito sobre robot.text, estoy muy feliz
eres un muy buen escritor
Soporte de WPBeginner
Thank you, glad you liked our article
Administrador
JJ
¿Qué es la página Disallow: /refer/ ? Obtengo un 404, ¿es este un archivo oculto de wp?
Personal editorial
Usamos /refer/ para redirigir a varios enlaces de afiliados en nuestro sitio web. No queremos que se indexen ya que solo son redirecciones y no contenido real.
Administrador
Sagar Arakh
Gracias por compartir. Esto fue realmente útil para mí para entender robots.txt
He actualizado mi robots.txt al ideal que sugeriste. ahora esperaré los resultados
Soporte de WPBeginner
You’re welcome, glad you’re willing to use our recommendations
Administrador
Akash Gogoi
Artículo muy útil. Muchas gracias.
Soporte de WPBeginner
Glad our article was helpful
Administrador
Zingylancer
Gracias por compartir esta información útil sobre nosotros.
Soporte de WPBeginner
Glad we could share this information about the robots.txt file
Administrador
Jasper
gracias por actualizar la información para mí. Tu artículo fue bueno para el archivo Robot txt. Me dio una nueva información. gracias y mantenme actualizado con nuevas ideas.
Soporte de WPBeginner
Glad our guide was helpful
Administrador
Imran
Gracias, agregué robots.txt en WordPress. Muy buen artículo
Soporte de WPBeginner
Thank you, glad our article was helpful
Administrador
Steve
Gracias por esto – ¿cómo funciona en un WP Multisite?
Soporte de WPBeginner
Para un multisite, necesitarías tener un archivo robots.txt en la carpeta raíz de cada sitio.
Administrador
Pacifique Ndanyuzwe
Mi sitio de wordpress es nuevo y mi robot.txt por defecto es
user-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Quiero que Google rastree e indexe mi contenido. ¿Está bien ese robots.txt?
Soporte de WPBeginner
Ciertamente puedes usar eso si quisieras
Administrador
Ritesh Seth
Gran artículo...
Estuve confundido durante muchos días sobre el archivo Robots.txt y los enlaces Disallow. He copiado las etiquetas para el archivo robots. Espero que esto resuelva el problema de mi sitio
Soporte de WPBeginner
We hope our article will help as well
Administrador
Kurt
Los archivos en las capturas de pantalla de su carpeta principal se encuentran en realidad dentro de la carpeta public_html en mi carpeta principal.
No tenía una carpeta /refer bajo mi carpeta public_html.
No tenía archivos xml de publicaciones ni de páginas en ninguna parte de mi cuenta de WP.
Incluí una entrada en el archivo robots.txt que creé para prohibir el rastreo de mi sitio sandbox. No estoy seguro de que sea necesario, ya que ya seleccioné la opción en WP que indica a los rastreadores que no rastreen mi sitio sandbox, pero no creo que haga daño tener la entrada.
Soporte de WPBeginner
Some hosts do rename public_html to home which is why you see it there. You would want to ensure Yoast is active for the XML files to be available. The method in this article is an additional precaution to help with preventing crawling your site
Administrador
Ahmed
Gran artículo
Soporte de WPBeginner
Thank you
Administrador
ASHOK KUMAR JADON
Hola, qué buen artículo, resolviste mi problema. Así que muchas gracias
Soporte de WPBeginner
Glad our article could help
Administrador
Elyn Ashton
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php <– Este es mi código de robot.txt pero estoy confundido por qué mi /wp-admin está indexado. ¿Cómo evitar que se indexe?
Soporte de WPBeginner
Si se indexó previamente, es posible que necesites dar tiempo para que la caché del motor de búsqueda se limpie
Administrador
Ashish kumar
Este sitio web realmente me inspira a empezar un blog. Gracias a todo el equipo. Este sitio web, cada artículo tiene mucha información y explicación. Cuando tengo algún problema, primero visito este blog. Gracias
Soporte de WPBeginner
Glad our articles can be helpful
Administrador
Anna
Estoy intentando optimizar los robots para mi sitio web usando Yoast. Sin embargo, las herramientas en Yoast no tienen la opción de 'Editor de Archivos'.
Solo hay dos opciones
(i) Importar y Exportar
(ii) Editor Masivo
¿Podrían por favor aconsejarme cómo se puede abordar esto? ¿Podría ser que estoy en una edición gratuita de Yoast?
Soporte de WPBeginner
La versión gratuita de Yoast todavía tiene la opción; tu instalación podría estar impidiendo la edición de archivos, en cuyo caso probablemente necesitarías usar el método FTP.
Administrador
Emmanuel Husseni
Realmente encuentro útil este artículo porque realmente no sé mucho sobre cómo funciona robot.txt, pero ahora sí.
Por favor, ¿qué es lo que no entiendo es cómo encuentro el mejor formato de robot.txt para usar en mi sitio (quiero decir, uno que funcione en general)?
Noté que muchos blogs grandes que reviso y que se clasifican alto en los motores de búsqueda usan un formato diferente de robot.txt.
Estaría encantado de ver una respuesta tuya o de cualquiera que pueda ayudar.
Personal editorial
Tener un mapa del sitio y permitir las áreas que necesitan ser permitidas es la parte más importante. La parte de desautorizar variará según cada sitio. Compartimos una muestra en nuestra publicación de blog, y eso debería ser bueno para la mayoría de los sitios de WordPress.
Administrador
Soporte de WPBeginner
Hola Emmanuel,
Por favor, consulta la sección sobre el archivo ideal robots.txt. Depende de tus propios requisitos. La mayoría de los blogueros excluyen las carpetas de administración y complementos de WordPress de la rastreo.
Administrador
Emmanuel Husseni
Muchas gracias.
Ahora entiendo. Supongo que empezaré con el formato general por ahora.
jack
Artículo bien escrito, recomiendo a los usuarios que hagan un mapa del sitio antes de crear y habilitar su texto ROBOTS, esto ayudará a que su sitio se rastree más rápido y se indexe fácilmente.
Jack
Connie S Owens
Me gustaría evitar que los motores de búsqueda indexen mis archivos durante su rastreo.
Emmanuel Nonye
Muchas gracias, este artículo fue realmente útil.
Cherisa
Sigo recibiendo el mensaje de error a continuación en Google Webmaster. Básicamente estoy atascado. Algunas cosas que no me quedaron claras en este tutorial son: ¿dónde encuentro los archivos raíz de mi sitio?, ¿cómo determino si ya tengo un "robots.txt" y cómo lo edito?
Soporte de WPBeginner
Hola Cherisa,
La carpeta raíz de tu sitio es la que contiene carpetas como wp-admin, wp-includes, wp-content, etc. También contiene archivos como wp-config.php, wp-cron.php, wp-blogheader.php, etc.
Si no puedes ver un archivo robots.txt en esta carpeta, entonces no tienes uno. Puedes proceder y crear uno nuevo.
Administrador
Cherisa
Gracias por tu respuesta. He buscado por todas partes y no logro encontrar estos archivos raíz como los describes. ¿Hay algún directorio de ruta que pueda seguir para llegar a esta carpeta? ¿Como si estuviera en Configuración, etc.?
Devender
Tuve un tráfico web decente en mi sitio web. De repente cayó a cero en el mes de mayo. Hasta ahora he estado enfrentando el problema. Por favor, ayúdenme a recuperar mi sitio web.
Haris Aslam
Hola, gracias por esta información, pero tengo una pregunta.
Acabo de crear los archivos sitemap.xml y robots.txt, y se están rastreando bien. Pero, ¿cómo puedo crear "Product-Sitemap.xml"?
Hay una lista completa de productos en el archivo sitemap.xml. ¿Tengo que crear Product-sitemap.xml por separado?
¿y enviarlo a Google o Bing de nuevo?
¿Me puedes ayudar?
Gracias
Mahadi Hassan
Tengo un problema con la configuración del archivo robots.txt. Solo se muestra un robots.txt para todos los sitios web. Por favor, ayúdenme a mostrar un archivo robots.txt separado para todos los sitios web. Tengo todos los archivos robots.txt separados para cada sitio web individual. Pero solo se muestra un archivo robots.txt en el navegador para todos los sitios web.
Debu Majumdar
Por favor, explica por qué incluiste
Disallow: /refer/
en el ejemplo de principiante de Robots.txt. No entiendo las implicaciones de esta línea. ¿Es esto importante para un principiante? Has explicado las otras dos líneas bloqueadas.
Gracias.
Soporte de WPBeginner
Hola Debu,
Este ejemplo era del archivo robots.txt de WPBeginner. En WPBeginner usamos ThirstyAffiliates para administrar enlaces de afiliados y ocultar URLs. Esas URLs tienen /refer/ en ellas, por eso las bloqueamos en nuestro archivo robots.txt.
Administrador
Evaristo
¿Cómo puedo poner todas las etiquetas/mydomain.Com en nofollow? En robots.txt para concentrar el Link Juice? Gracias.
harsh kumar
Hola,,estoy recibiendo un error en Yoast SEO con respecto al mapa del sitio..una vez que hago clic en arreglar,,,vuelve a aparecer..el HTML de mi sitio no se está cargando correctamente
Tom
Acabo de revisar mi cuenta de Google Webmaster Tools y usando la Search Console, he encontrado lo siguiente:
Página parcialmente cargada
No todos los recursos de la página pudieron cargarse. Esto puede afectar cómo Google ve y entiende tu página. Soluciona los problemas de disponibilidad de cualquier recurso que pueda afectar cómo Google entiende tu página.
Esto se debe a que todas las hojas de estilo CSS asociadas con los plugins están desautorizadas por el robots.txt predeterminado.
Entiendo buenas razones por las que no debería simplemente permitir esto, pero ¿cuál sería una alternativa, ya que sospecharía que los algoritmos de Google están penalizando el sitio por no verlos?
Suren
Hola,
Cada vez que busco mi sitio en Google, aparece este texto debajo del enlace: “No hay una descripción disponible para este resultado debido al robots.txt de este sitio”
¿Cómo puedo resolver este problema?
Saludos
Soporte de WPBeginner
Hola Suren,
Parece que alguien cambió accidentalmente la configuración de privacidad de tu sitio. Ve a la página Configuración » Lectura y desplázate hacia abajo hasta la sección ‘Visibilidad del motor de búsqueda’. Asegúrate de que la casilla junto a esté desmarcada.
Administrador
Divyesh
Hola
Como vi en la herramienta para webmasters, tengo un archivo robot.txt como el siguiente:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
¿Me avisas si está bien? ¿O debería usar otra cosa?
John Cester
Quiero saber, ¿es una buena idea bloquear (denegar) “/wp-content/plugins/” en robots.tx? Cada vez que elimino un plugin, aparece un error 404 en algunas páginas de ese plugin.