El crawl budget o presupuesto de rastreo es el tiempo y la frecuencia de la que dispone un robot de búsqueda para rastrear un sitio web.
Los factores más importantes que influyen en el crawl budget son la autoridad del dominio y la frecuencia de actualización de sus contenidos.
Cuanto más presupuesto de rastreo tengan los bots, más posibilidades hay de que detecten nuevas URL y, por tanto, de que se indexen antes.
Para saber cuál es el crawl budget que Google ha asignado a tu web puedes ir a Google Search Console y seguir la ruta Ajustes – Estadísticas de rastreo – Abrir informe.
¿Cómo optimizar el crawl budget?
Hasta que consigas aumentar el presupuesto de rastreo que Google asigna a tu web, puedes realizar algunas optimizaciones que ayudarán a que el tiempo que pasan los rastreadores en ella esté mejor aprovechado.
- Mejora la velocidad de carga. De esta forma, los rastreadores podrán moverse con más rapidez y aprovecharán mejor el tiempo que tienen para tu web.
- Elimina errores 404. El tiempo que emplean los bots en llegar hasta un error 404 podría ser utilizado para rastrear otras URL. Aquí te contamos como encontrar y resolver errores 404 de tu sitio web.
- Modera el uso de redirecciones. Llegar a una URL y, de ahí, pasar a otra, consume tiempo de rastreo que podrías ahorrar.
- Crea una arquitectura web de pocos niveles y sencilla. Cuanto más fácil sea para los bots moverse por el enlazado interno, más URL podrá rastrear.
- Usa etiquetas “noindex” y “nofollow”. Así podrás evitar que los rastreadores ocupen tiempo en pasar por URL de tu web que no son relevantes y se dirigirán hacia las que te interesan.
- Crea un sitemap. Ofreciendo a los bots un mapa de tu web les estarás facilitando el camino y favoreciendo que se muevan con más ligereza por las URL.
¿Cómo aumentar el crawl budget?
Existen algunas acciones que se pueden realizar sobre una web para que Google aumente el crawl budget y los rastreadores le dediquen más tiempo y pasen por ella con más frecuencia.
- Consigue más autoridad de dominio. A más autoridad, más presupuesto de rastreo, así que tendrás que optar por estrategias como el linkbuilding, consiguiendo backlinks relevantes que te transmitan autoridad.
- Actualiza tus contenidos. No solo se trata de escribir nuevos contenidos sino también de actualizar y modificar los que ya están hechos. Al detectar nuevo contenido, Google volverá a rastrear la web y ampliará el crawl budget para pasar por él.
Recuerda que, aunque consigas aumentar el presupuesto de rastreo, debes seguir optimizándolo para mejorar el posicionamiento y que los bots rastreen e indexen el contenido relevante de tu web.
