El presupuesto de rastreo es uno de los conceptos más avanzados de SEO y al que probablemente no necesites apelar mucho en tanto que administrador de un sitio, a menos que tu sitio web sea bastante grande o haya algunas páginas que estén teniendo problemas para ser indexadas correctamente.
Sin embargo, incluso si ese no es tu caso, puedes aprender mucho sobre SEO y cómo funcionan los motores de búsqueda al entender de qué se trata el presupuesto de rastreo. Veamos primero de qué se trata este concepto.
¿A qué se llama presupuesto de rastreo?
En pocas palabras, es el tiempo que Google destina al análisis de un determinado sitio. Es la cantidad de segundos que el gigante dedica a cada sitio web para capturar sus datos.
Aunque Google cuenta con muchos recursos, estos no son infinitos y debe rastrear una gran cantidad de sitios web. Entonces, el motor de búsqueda debe dar prioridad a algunos sitios sobre otros y dedicar una cierta cantidad de tiempo y de recursos para el rastreo de un sitio. Pero, ¿en qué se basa Google para priorizar? La araña o rastreador de Google se guía por la popularidad de un sitio y la frescura del contenido.
Ahora bien, la documentación de Google señala que te debe interesar el presupuesto de rastreo sobre todo si tu sitio tiene más de
- 1 millón de páginas
- 10.000 páginas que se actualizan a diario
Sin embargo, este concepto puede ser relevante para ti como webmaster si hay páginas en tus sitio que no están siendo indexadas o que tardan mucho en serlo. Un problema con el presupuesto de rastreo es una de las causas posibles de esos inconvenientes.
Causas comunes de problemas con el presupuesto de rastreo
Error en la navegación por facetas
La navegación por facetas es una de las causas más frecuentes que se enfrenta un sitio al momento de tener problemas con el presupuesto de rastreo de Google.
El ejemplo más frecuente para explicar esto es la página de una tienda online, por ejemplo, ordenadores portátiles. Seguramente, dentro del sitio hay decenas de modelos diferentes, con características distintas y hay filtros que permiten refinar la búsqueda de los modelos con las características deseadas.
Sin embargo, existe la posibilidad de que la combinación de los filtros cree una gran cantidad de URL diferentes –para seguir con el ejemplo, digamos 50– cuando en realidad la página de los ordenadores solo tiene 10 productos.
¿Cuál es el problema? Que las facetas están creando un gran número de URL que deben ser rastreados por el software araña de Google.
Las páginas de listado
Algunos sitios web ofrecen a sus usuarios cargar datos personalizados de diferente índole. En ocasiones, esos datos y perfiles crean cientos de URL. Es un caso muy similar al anterior.
Al momento de realizar el rastreo, aparecerá una cantidad enorme de enlaces que la araña tendrá que rastrear. Esto suele ocurrir con las bolsas de trabajo o las tiendas online.
Algunas soluciones a los problemas de presupuesto de rastreo
Usa un fichero robots.txt
Utilizar un fichero robots.txt es una solución un poco extrema. Se utiliza porque se cree que este fichero «impide» al rastreador de acceder a las páginas con las URL que contiene.
Ahora bien, en realidad, estas páginas son rastreadas e indexadas, pero no serán consideradas para el ranking de resultados. Por esta razón, estas páginas no aportan mucho al presupuesto de rastreo.
Usa un mapa del sitio
Otra solución más apropiada puede ser utiliza un mapa del sitio. Si utilizas un mapa del sitio en el que guardas las URL de páginas recientes, el rastreador de Google dará prioridad a estas páginas nuevas porque, por defecto, siempre da prioridad al contenido nuevo. Esta técnica solo será útil cuando tu sitio publique contenido nuevo con cierta frecuencia.