{"id":1683,"date":"2020-07-15T11:58:44","date_gmt":"2020-07-15T09:58:44","guid":{"rendered":"https:\/\/dinorank.com\/blog\/?p=1683"},"modified":"2026-04-15T10:44:40","modified_gmt":"2026-04-15T08:44:40","slug":"como-configurar-archivo-robots-txt-de-wordpress","status":"publish","type":"post","link":"https:\/\/dinorank.com\/blog\/como-configurar-robotstxt-wordpress\/","title":{"rendered":"C\u00f3mo configurar archivo robots.txt de WordPress"},"content":{"rendered":"<p>En este art\u00edculo te vamos a ense\u00f1ar c\u00f3mo configurar el robots.txt de WordPress para que el<strong> googlebot y otros bots de rastreo<\/strong> solo tengan acceso a las partes de tu sitio web que t\u00fa quieras.<\/p>\n<p>Con todo, tienes que tener en cuenta que esto solo es v\u00e1lido para bots como el de Google que se atienen a las normas y solo rastrean lo que tienen permitido, ya que hay otras ara\u00f1as; las m\u00e1s &#8216;rebeldes&#8217;, que no hacen ning\u00fan caso al robots.txt.<\/p>\n<p>En cualquier caso, para lo que s\u00ed que es siempre eficiente es para <strong>dar permisos a googlebot para acceder a tu sitio web<\/strong> y de manera efectiva poder <strong>restringir las carpetas o URLs en la que el robot de Google tenga acceso<\/strong>.<\/p>\n<div class=\"su-note border=#000000\"  style=\"border-color:#c5dace;border-radius:3px;-moz-border-radius:3px;-webkit-border-radius:3px;\"><div class=\"su-note-inner su-u-clearfix su-u-trim\" style=\"background-color:#DFF4E8;border-color:#ffffff;color:#000000;border-radius:3px;-moz-border-radius:3px;-webkit-border-radius:3px;\">Algo que resulta \u00fatil para evitar que se indexen partes ocultas de nuestro sitio que no queramos exponer, o por ejemplo poder bloquear el acceso el \u00e1rea de login de los administradores.<\/div><\/div>\n<p>\ud83d\udc49 <em>Pero sobre todo sirve para se\u00f1alarle al <strong>agent googlebot<\/strong> que partes queremos que rastree y posicione en los motores de b\u00fasqueda y cuales no, con todo lo que esto implica a efectos de SEO.<\/em><\/p>\n<p>Por este motivo, <a id=\"CTA-1\" href=\"https:\/\/dinorank.com\/blog\/robots-txt\/\" target=\"_blank\" rel=\"noopener\">configurar y optimizar el robots.txt<\/a> en tu sitio web resulta muy aconsejable, aunque algunos usuarios sin muchos conocimientos de programaci\u00f3n puedan tener sus reservas por miedo a pifiarla.<\/p>\n<p>Pero tranquilo, en este art\u00edculo te vamos a ense\u00f1ar distintas alternativas para hacerlo de manera sencilla.<\/p>\n<p>Adem\u00e1s, te vamos a mostrar que el robots.txt no solo sirve para <strong>bloquear el acceso<\/strong> a determinados sitios, sino que tambi\u00e9n puede utilizarse para establecer <strong>qu\u00e9 bots o ara\u00f1as pueden entrar<\/strong> (siempre dentro del segmento de los que hacen caso), as\u00ed como para limitar la <strong>velocidad de navegaci\u00f3n<\/strong> de este tipo de \u201cintrusos\u201d.<\/p>\n<h2>Aspectos clave a la hora de configurar el robots.txt de WordPress<\/h2>\n<p>La <strong>sintaxis del robots.txt es sencilla<\/strong>, tiene pocos par\u00e1metros y adem\u00e1s se pueden configurar f\u00e1cilmente a poco que se sepa c\u00f3mo operan los bots y ara\u00f1as.<\/p>\n<p>Un par\u00e1metro esencial en el robots.txt es el <strong>sitemap<\/strong>, ya que permite indicar al googlebot como se estructura nuestro sitio web y las partes a las que puede acceder y a las que no, al tiempo que sirve asimismo para bloquear el acceso a otros bots y ara\u00f1as maliciosas.<\/p>\n<p><img fetchpriority=\"high\" decoding=\"async\" class=\"aligncenter wp-image-1690 size-large\" src=\"https:\/\/dinorank.com\/blog\/wp-content\/uploads\/2020\/07\/Screenshot_2-1024x137.jpg\" alt=\"directrices b\u00e1sicas robots.txt\" width=\"770\" height=\"103\" srcset=\"https:\/\/dinorank.com\/blog\/wp-content\/uploads\/2020\/07\/Screenshot_2-1024x137.jpg 1024w, https:\/\/dinorank.com\/blog\/wp-content\/uploads\/2020\/07\/Screenshot_2-300x40.jpg 300w, https:\/\/dinorank.com\/blog\/wp-content\/uploads\/2020\/07\/Screenshot_2-768x103.jpg 768w, https:\/\/dinorank.com\/blog\/wp-content\/uploads\/2020\/07\/Screenshot_2.jpg 1277w\" sizes=\"(max-width: 770px) 100vw, 770px\" \/><\/p>\n<p>Junto, al sitemap (o sitemaps ya que pueden configurarse varios) <strong>otros par\u00e1metros clave<\/strong> en la configuraci\u00f3n del robots.txt son:<\/p>\n<ul>\n<li><strong>disallow<\/strong>: mediante el uso de una barra &#8216;\/&#8217; puede bloquearse el acceso a todo el sitio web, o bien una ruta espec\u00edfica utilizando comodines *<\/li>\n<li>\u00a0<strong>allow<\/strong>: en vez de para restringir sirve para permitir, emple\u00e1ndose para a\u00f1adir excepciones a un disallow<\/li>\n<li><strong>user-agent<\/strong>: muy importante, ya que posibilita establecer a quienes afectan los allow y disallow. As\u00ed, cualquier configuraci\u00f3n de robots. txt debe tener al menos el user agent de googlebot si no quieres condenar tu p\u00e1gina al ostracismo cuando los usuarios hagan sus b\u00fasquedas en <strong>google search<\/strong>. En este enlace tienes todos los posibles <a href=\"http:\/\/www.robotstxt.org\/db.html\" target=\"_blank\" rel=\"noopener\">user-agents<\/a> con los que te puedes encontrar.<\/li>\n<li>Por \u00faltimo, el par\u00e1metro <strong>crawl-delay<\/strong> en teor\u00eda permite concretar el intervalo de tiempo entre p\u00e1gina y p\u00e1gina de las revisiones del <strong>user agent de googlebot y otros bots<\/strong> de rastreo, pero ni siquiera la ara\u00f1a de Google lo tiene en cuenta&#8230;<\/li>\n<\/ul>\n<div class=\"su-box su-box-style-default\" id=\"\" style=\"border-color:#00604a;border-radius:7px;max-width:none\"><div class=\"su-box-title\" style=\"background-color:#00937D;color:#ffffff;border-top-left-radius:5px;border-top-right-radius:5px\">Aprender sobre \u00e9stos y m\u00e1s conceptos SEO te convertir\u00e1n en un mejor consultor:<\/div><div class=\"su-box-content su-u-clearfix su-u-trim\" style=\"border-bottom-left-radius:5px;border-bottom-right-radius:5px\">\n<p>Tanto si ya tienes clientes como si quieres conseguirlos, en SEO no puedes quedarte atr\u00e1s.<\/p>\n<p>Ap\u00fantate a\u00a0 <a id=\"CTA-2\" href=\"https:\/\/dinosauriomecanizado.com\/consultor\/\" target=\"_blank\" rel=\"noopener\">esta newsletter, donde recibir\u00e1s un curso gratis para mejorar tus habilidades como consultor SEO<\/a>, adem\u00e1s de <strong>2 clases Gratuitas de nuestro M\u00e1ster<\/strong> de SEO.<\/div><\/div>\n<h2>C\u00f3mo modificar el archivo robots.txt con un plugin<\/h2>\n<p>Puedes crear o modificar el archivo.txt <strong>mediante FTP accediendo al servidor<\/strong>, o bien de forma m\u00e1s sencilla optar por <strong>configurar el robots.txt de WordPress directamente desde un plugin, como por ejemplo el <a id=\"CTA-1\" href=\"https:\/\/dinorank.com\/blog\/configurar-yoast-seo\/\">Yoast SEO<\/a><\/strong> o el <a href=\"https:\/\/dinorank.com\/blog\/como-configurar-all-in-one-seo\/\"><strong>All in One SEO<\/strong><\/a><\/p>\n<p>Estos plugins cuentan con m\u00f3dulos especiales para hacer cambios de este archivo desde el mismo panel de administraci\u00f3n. De modo que teniendo cualquiera de estos ser\u00eda innecesario instalar otros.<\/p>\n<p>Con todo, si te manejas con otro CMS o simplemente quieres probar, otras buenas opciones de plugins son <strong>txt rewrite<\/strong>, <strong>Virtual Robots<\/strong>\u00a0y<strong> WordPress Robots<\/strong>.<\/p>\n<p>El modo m\u00e1s sencillo de modificar el archivo robots.txt es <strong>mediante Yoast SEO.<\/strong><\/p>\n<p><img decoding=\"async\" class=\"aligncenter wp-image-1692 size-full\" src=\"https:\/\/dinorank.com\/blog\/wp-content\/uploads\/2020\/07\/Screenshot_3.jpg\" alt=\"configurar robots con yoast\" width=\"674\" height=\"284\" srcset=\"https:\/\/dinorank.com\/blog\/wp-content\/uploads\/2020\/07\/Screenshot_3.jpg 674w, https:\/\/dinorank.com\/blog\/wp-content\/uploads\/2020\/07\/Screenshot_3-300x126.jpg 300w\" sizes=\"(max-width: 674px) 100vw, 674px\" \/><\/p>\n<ol>\n<li>Una vez que instales y actives el <strong>plugin<\/strong>, busca la opci\u00f3n <strong>&#8216;Editor de archivos&#8217;<\/strong> en la pesta\u00f1a\u00a0&#8216;<strong>SEO &gt; Herramientas<\/strong>&#8216; de tu escritorio.<\/li>\n<li>Al clicar en ese enlace te dirigir\u00e1 a una nueva p\u00e1gina, donde podr\u00e1s editar tu <strong>archivo .htaccess<\/strong>\u00a0sin salir del escritorio. Y para crear uno nuevo es tan sencillo como pinchar en el<strong> bot\u00f3n<\/strong> que te aparece de &#8216;<strong>Crear archivo robots.txt<\/strong>&#8216;. En un nuevo editor podr\u00e1s hacer las modificaciones que quieras directamente, aunque debes tener en cuenta que las reglas de funcionamiento de Yoast SEO anulan las del <strong>archivo\u00a0robots.txt\u00a0virtual<\/strong> anterior.<\/li>\n<li>Por \u00faltimo no olvides dar al bot\u00f3n de <strong>guardar cambios\u00a0en robots.txt<\/strong> cada vez que a\u00f1adas o suprimas una regla.<\/li>\n<\/ol>\n<h2>C\u00f3mo modificar robots.txt desde Search Console<\/h2>\n<p>Tienes la posibilidad tanto de <strong>modificar el robots.txt desde Search Console<\/strong> como de probar c\u00f3mo funciona, para esto \u00faltimo debes entrar en tu cuenta de la herramienta ir a &#8216;Rastreo&#8217; y una vez all\u00ed seleccionar la opci\u00f3n <strong>probador de robots<\/strong>.<\/p>\n<p><img decoding=\"async\" class=\"aligncenter wp-image-1689 size-large\" src=\"https:\/\/dinorank.com\/blog\/wp-content\/uploads\/2020\/07\/Screenshot_1-1024x394.jpg\" alt=\"probar robots.txt desde search console\" width=\"770\" height=\"296\" srcset=\"https:\/\/dinorank.com\/blog\/wp-content\/uploads\/2020\/07\/Screenshot_1-1024x394.jpg 1024w, https:\/\/dinorank.com\/blog\/wp-content\/uploads\/2020\/07\/Screenshot_1-300x116.jpg 300w, https:\/\/dinorank.com\/blog\/wp-content\/uploads\/2020\/07\/Screenshot_1-768x296.jpg 768w, https:\/\/dinorank.com\/blog\/wp-content\/uploads\/2020\/07\/Screenshot_1.jpg 1293w\" sizes=\"(max-width: 770px) 100vw, 770px\" \/><\/p>\n<h2>Gu\u00eda paso a paso para configurar mediante FTP el archivo robots.txt de WordPress en 2020<\/h2>\n<p>Para <strong>crear el archivo robots.txt<\/strong>\u00a0en un sitio web <strong>usando el FTP<\/strong> en vez de un plugin tienes que tener en cuenta aspectos importantes como la necesidad de <strong>dominar los est\u00e1ndares de sintaxis:<\/strong><\/p>\n<ul>\n<li>Un \u00fanico disallow o allow por l\u00ednea.<\/li>\n<li>Nombre del archivo siempre en min\u00fasculas.<\/li>\n<li>S\u00edmbolos para crear patrones y comodines.<\/li>\n<li>Uso correcto de espacios.<\/li>\n<\/ul>\n<p>Igualmente, aunque configures el robots.txt resulta recomendable utilizar los atributos de <strong>nofollow<\/strong> o <strong>noindex<\/strong> para bloquear las ara\u00f1as o crawlers que no quieras que accedan.<\/p>\n<h3>\u00bfD\u00f3nde est\u00e1 el archivo robots.txt en WordPress?<\/h3>\n<p>Al crear un <strong>sitio web en WordPress<\/strong> autom\u00e1ticamente se configura un <strong>archivo robots.txt<\/strong> en la carpeta principal del servidor. El<strong> c\u00f3digo que te aparece por defecto<\/strong> es:<\/p>\n[php]\n<p>user-agent: *<\/p>\n<p>Disallow: \/wp-admin\/<\/p>\n<p>Allow: \/wp-admin\/admin-ajax.php<\/p>\n[\/php]\n<p>Donde pone <strong>*<\/strong> habr\u00eda que a\u00f1adir tu sitemap, si pongamos por caso tu dominio es http:\/\/misitioweb.com, el sitemap ser\u00eda : http:\/\/misitioweb.com\/sitemap.xml<\/p>\n<h3>Siguientes pasos para configurar robots.txt desde FTP<\/h3>\n<p>Seguidamente, <strong>guardas el archivo<\/strong> en la computadora y <strong>te conectas a tu sitio web\u00a0a trav\u00e9s de FTP<\/strong>. Cuando ya est\u00e9s conectado, en la <strong>carpeta public_html<\/strong> cargas tu archivo\u00a0robots.txt.<\/p>\n<p>Una vez que hayas generado y subido tu archivo robots.txt de WordPress, puedes utilizar <strong>Google Search Console<\/strong> para <strong>probarlo<\/strong> y ver si tiene errores, ya que es una de las funcionalidades que ofrece el men\u00fa de &#8216;rastreo&#8217; es la pesta\u00f1a de probador de robots.txt que mencionamos anteriormente.<\/p>\n<h3>Ejemplo de un robots.txt en WordPress bien configurado<\/h3>\n<p>Si el dominio de tu web fuese https:\/\/misitioweb.com, este ser\u00eda un robots. <strong>txt para WordPress<\/strong> bien configurado:<\/p>\n[php]\n<p>Sitemap: https:\/\/misitioweb.com\/sitemap.xml<\/p>\n<p>User-Agent: *<br \/>\nAllow: \/wp-content\/uploads\/<br \/>\nAllow: \/feed\/$<br \/>\nDisallow: \/wp-content\/<br \/>\nDisallow: \/trackback\/<br \/>\nDisallow: \/wp-admin\/<br \/>\nDisallow: \/feed\/<br \/>\nDisallow: \/?s=<br \/>\nDisallow: \/search<br \/>\nDisallow: \/*?<br \/>\nDisallow: \/*.php$<br \/>\nDisallow: \/*.js$<br \/>\nDisallow: \/*.inc$<br \/>\nDisallow: \/*.css$<br \/>\nDisallow: *\/feed\/<br \/>\nDisallow: *\/trackback\/<br \/>\nDisallow: \/page\/<\/p>\n<p># No indexar copias de seguridad<br \/>\nDisallow: \/*.sql$<br \/>\nDisallow: \/*.tgz$<br \/>\nDisallow: \/*.gz$<br \/>\nDisallow: \/*.tar$<br \/>\nDisallow: \/*.svn$<\/p>\n<p># Reglas para bots conocidos<br \/>\nUser-agent: Googlebot<br \/>\nUser-agent: Googlebot-Image<br \/>\nDisallow: \/wp-includes\/<br \/>\nAllow: \/wp-content\/uploads\/<br \/>\nUser-agent: Mediapartners-Google*<br \/>\nDisallow:<br \/>\nUser-agent: ia_archiver<br \/>\nDisallow: \/<br \/>\nUser-agent: duggmirror<br \/>\nDisallow: \/<br \/>\nUser-agent: noxtrumbot<br \/>\nCrawl-delay: 50<br \/>\nUser-agent: msnbot<br \/>\nCrawl-delay: 30<br \/>\nUser-agent: Slurp<br \/>\nCrawl-delay: 10<br \/>\nUser-agent: MSIECrawler<br \/>\nDisallow: \/<br \/>\nUser-agent: WebCopier<br \/>\nDisallow: \/<br \/>\nUser-agent: HTTrack<br \/>\nDisallow: \/<br \/>\nUser-agent: Microsoft.URL.Control<br \/>\nDisallow: \/<br \/>\nUser-agent: libwww<br \/>\nDisallow: \/<br \/>\n[\/php]\n","protected":false},"excerpt":{"rendered":"<p>En este art\u00edculo te vamos a ense\u00f1ar c\u00f3mo configurar el robots.txt de WordPress para que el googlebot y otros bots de rastreo solo tengan acceso a las partes de tu sitio web que t\u00fa quieras. Con todo, tienes que tener en cuenta que esto solo es v\u00e1lido para bots como el de Google que se [&hellip;]<\/p>\n","protected":false},"author":3,"featured_media":20549,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"footnotes":""},"categories":[10],"tags":[],"class_list":["post-1683","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-aprender-seo"],"acf":[],"_links":{"self":[{"href":"https:\/\/dinorank.com\/blog\/wp-json\/wp\/v2\/posts\/1683","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/dinorank.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/dinorank.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/dinorank.com\/blog\/wp-json\/wp\/v2\/users\/3"}],"replies":[{"embeddable":true,"href":"https:\/\/dinorank.com\/blog\/wp-json\/wp\/v2\/comments?post=1683"}],"version-history":[{"count":7,"href":"https:\/\/dinorank.com\/blog\/wp-json\/wp\/v2\/posts\/1683\/revisions"}],"predecessor-version":[{"id":33078,"href":"https:\/\/dinorank.com\/blog\/wp-json\/wp\/v2\/posts\/1683\/revisions\/33078"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/dinorank.com\/blog\/wp-json\/wp\/v2\/media\/20549"}],"wp:attachment":[{"href":"https:\/\/dinorank.com\/blog\/wp-json\/wp\/v2\/media?parent=1683"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/dinorank.com\/blog\/wp-json\/wp\/v2\/categories?post=1683"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/dinorank.com\/blog\/wp-json\/wp\/v2\/tags?post=1683"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}