Aprender SEO

C贸mo configurar archivo robots.txt de WordPress

Pinterest LinkedIn Tumblr

En este art铆culo te vamos a ense帽ar c贸mo configurar el robots.txt de WordPress para que el googlebot y otros bots de rastreo solo tengan acceso a las partes de tu sitio web que t煤 quieras.

Con todo, tienes que tener en cuenta que esto solo es v谩lido para bots como el de Google que se atienen a las normas y solo rastrean lo que tienen permitido, ya que hay otras ara帽as; las m谩s ‘rebeldes’, que no hacen ning煤n caso al robots.txt.

configuraci贸n archivo robots.txt

En cualquier caso, para lo que s铆 que es siempre eficiente es para dar permisos a googlebot para acceder a tu sitio web y de manera efectiva poder restringir las carpetas o URLs en la que el robot de Google tenga acceso. Algo que resulta 煤til para evitar que se indexen partes ocultas de nuestro sitio que no queramos exponer, o por ejemplo poder bloquear el acceso el 谩rea de login de los administradores; pero sobre todo sirve para se帽alarle al agent googlebot que partes queremos que rastree y posicione en los motores de b煤squeda y cuales no, con todo lo que esto implica a efectos de SEO.

Por este motivo, configurar el robots.txt en tu sitio web resulta muy aconsejable, aunque algunos usuarios sin muchos conocimientos de programaci贸n puedan tener sus reservas por miedo a pifiarla. Pero tranquilo, en este art铆culo te vamos a ense帽ar distintas alternativas para hacerlo de manera sencilla.

Adem谩s, te vamos a mostrar que el robots.txt no solo sirve para bloquear el acceso a determinados sitios, sino que tambi茅n puede utilizarse para establecer qu茅 bots o ara帽as pueden entrar (siempre dentro del segmento de los que hacen caso), as铆 como para limitar la velocidad de navegaci贸n de este tipo de 鈥渋ntrusos鈥.

Aspectos clave a la hora de configurar el robots.txt de WordPress

La sintaxis del robots.txt es sencilla, tiene pocos par谩metros y adem谩s se pueden configurar f谩cilmente a poco que se sepa c贸mo operan los bots y ara帽as. Un par谩metro esencial en el robots.txt es el sitemap, ya que permite indicar al googlebot como se estructura nuestro sitio web y las partes a las que puede acceder y a las que no, al tiempo que sirve asimismo para bloquear el acceso a otros bots y ara帽as maliciosas.

directrices b谩sicas robots.txt

Junto, al sitemap (o sitemaps ya que pueden configurarse varios) otros par谩metros clave en la configuraci贸n del robots.txt son:

  • disallow: mediante el uso de una barra ‘/’ puede bloquearse el acceso a todo el sitio web, o bien una ruta espec铆fica utilizando comodines *
  • allow: en vez de para restringir sirve para permitir, emple谩ndose para a帽adir excepciones a un disallow
  • user-agent: muy importante, ya que posibilita establecer a quienes afectan los allow y disallow. As铆, cualquier configuraci贸n de robots. txt debe tener al menos el user agent de googlebot si no quieres condenar tu p谩gina al ostracismo cuando los usuarios hagan sus b煤squedas en google search. En este enlace tienes todos los posibles user-agents con los que te puedes encontrar.
  • Por 煤ltimo, el par谩metro crawl-delay en teor铆a permite concretar el intervalo de tiempo entre p谩gina y p谩gina de las revisiones del user agent de googlebot y otros bots de rastreo, pero ni siquiera la ara帽a de Google lo tiene en cuenta…

C贸mo modificar el archivo robots.txt con un plugin

Puedes crear o modificar el archivo.txt mediante FTP accediendo al servidor, o bien de forma m谩s sencilla optar por configurar el robots.txt de WordPress directamente desde un plugin, como por ejemplo el Yoast SEO o el All in One SEO, que cuentan con m贸dulos especiales para hacer cambios de este archivo desde el mismo panel de administraci贸n. De modo que teniendo cualquiera de estos ser铆a innecesario instalar otros.

Con todo, si te manejas con otro CMS o simplemente quieres probar, otras buenas opciones de plugins son txt rewrite, Virtual Robots聽y WordPress Robots.

El modo m谩s sencillo de modificar el archivo robots.txt es mediante Yoast SEO.

configurar robots con yoast

  1. Una vez que instales y actives el plugin, busca la opci贸n ‘Editor de archivos’ en la pesta帽a聽‘SEO > Herramientas‘ de tu escritorio.
  2. Al clicar en ese enlace te dirigir谩 a una nueva p谩gina, donde podr谩s editar tu archivo .htaccess聽sin salir del escritorio. Y para crear uno nuevo es tan sencillo como pinchar en el bot贸n que te aparece de ‘Crear archivo robots.txt‘. En un nuevo editor podr谩s hacer las modificaciones que quieras directamente, aunque debes tener en cuenta que las reglas de funcionamiento de Yoast SEO anulan las del archivo聽robots.txt聽virtual anterior.
  3. Por 煤ltimo no olvides dar al bot贸n de guardar cambios聽en robots.txt cada vez que a帽adas o suprimas una regla.

C贸mo modificar robots.txt desde Search Console

Tienes la posibilidad tanto de modificar el robots.txt desde Search Console como de probar c贸mo funciona, para esto 煤ltimo debes entrar en tu cuenta de la herramienta ir a ‘Rastreo’ y una vez all铆 seleccionar la opci贸n probador de robots.

probar robots.txt desde search console

Gu铆a paso a paso para configurar mediante FTP el archivo robots.txt de WordPress en 2020

Para crear el archivo robots.txt聽en un sitio web usando el FTP en vez de un plugin tienes que tener en cuenta aspectos importantes como la necesidad de dominar los est谩ndares de sintaxis:

  • Un 煤nico disallow o allow por l铆nea.
  • Nombre del archivo siempre en min煤sculas.
  • S铆mbolos para crear patrones y comodines.
  • Uso correcto de espacios.

Igualmente, aunque configures el robots.txt resulta recomendable utilizar los atributos de nofollow o noindex para bloquear las ara帽as o crawlers que no quieras que accedan.

驴D贸nde est谩 el archivo robots.txt en WordPress?

Al crear un sitio web en WordPress autom谩ticamente se configura un archivo robots.txt en la carpeta principal del servidor. El c贸digo que te aparece por defecto es:


user-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Donde pone * habr铆a que a帽adir tu sitemap, si pongamos por caso tu dominio es http://misitioweb.com, el sitemap ser铆a : http://misitioweb.com/sitemap.xml

Siguientes pasos para configurar robots.txt desde FTP

Seguidamente, guardas el archivo en la computadora y te conectas a tu sitio web聽a trav茅s de FTP. Cuando ya est茅s conectado, en la carpeta public_html cargas tu archivo聽robots.txt.

Una vez que hayas generado y subido tu archivo robots.txt de WordPress, puedes utilizar Google Search Console para probarlo y ver si tiene errores, ya que es una de las funcionalidades que ofrece el men煤 de ‘rastreo’ es la pesta帽a de probador de robots.txt que mencionamos anteriormente.

Ejemplo de un robots.txt en WordPress bien configurado

Si el dominio de tu web fuese https://misitioweb.com, este ser铆a un robots. txt para WordPress bien configurado:


Sitemap: https://misitioweb.com/sitemap.xml

User-Agent: *
Allow: /wp-content/uploads/
Allow: /feed/$
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /feed/
Disallow: /?s=
Disallow: /search
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/
Disallow: /page/


# No indexar copias de seguridad
Disallow: /*.sql$
Disallow: /*.tgz$
Disallow: /*.gz$
Disallow: /*.tar$
Disallow: /*.svn$


# Reglas para bots conocidos
User-agent: Googlebot
User-agent: Googlebot-Image
Disallow: /wp-includes/
Allow: /wp-content/uploads/
User-agent: Mediapartners-Google*
Disallow:
User-agent: ia_archiver
Disallow: /
User-agent: duggmirror
Disallow: /
User-agent: noxtrumbot
Crawl-delay: 50
User-agent: msnbot
Crawl-delay: 30
User-agent: Slurp
Crawl-delay: 10
User-agent: MSIECrawler
Disallow: /
User-agent: WebCopier
Disallow: /
User-agent: HTTrack
Disallow: /
User-agent: Microsoft.URL.Control
Disallow: /
User-agent: libwww
Disallow: /
Autor

Deja un Comentario

Este sitio usa Akismet para reducir el spam. Aprende c贸mo se procesan los datos de tus comentarios.