Antes de contarte cómo rastrear una página web, es pertinente que tengas muy claro que un rastreador web es un robot de Internet (araña web, indexador automático) que trabaja en pro de un objetivo concreto: rastrear la web de forma sistemática para descargar información y contenido, que, posteriormente se indexa y cataloga en las SERP. Solo así, podrá aparecer a los usuarios por orden de relevancia.
Es por lo anterior que Google puede responder de forma rápida y exacta ante cualquier consulta de los usuarios. Lo logra, aplicando su algoritmo de búsqueda a los datos del rastreador web.
Así pues, la capacidad de rastreo es un atributo fundamental de rendimiento de tu sitio web. En pocas palabras, cuando hablamos de lo rastreable que es tu sitio web, lo que queremos decir es que se evalúa qué tan fácil es para los robots de Internet, rastrear una página web en busca de información y contenido.
Rastrear una página web con la herramienta de auditoría de sitios de SEMRush
Con la herramienta auditoría del sitio, solicitas a SEMRush que acceda a tu sitio. Los rastreadores se encargan de devolver una lista de problemas que muestran qué debes mejorar en para impulsar tu SEO.
Existen más de 120 problemas que puedes descubrir en tu sitio web, por ejemplo:
- Contenido duplicado.
- Enlaces rotos.
- Implementación HTTPS
- Indexabilidad, entre otros.
Todo lo anterior podrás tenerlo en pocos minutos, porque cuenta con una interfaz muy intuitiva con la cual no es necesario perder horas tratando de comprender datos.
Cómo configurar el rastreador de sitios web utilizando SEMRush Site Audit
En solo seis pasos, podrás configurar el rastreador de sitios web.
Antes de comenzar deberás asegurarte de haber configurado tu proyecto. Puedes lograrlo desde tu panel de control, y de forma alternativa puedes elegir un proyecto que hayas comenzado, pero al que todavía no le hayas realizado auditoría del sitio.
Paso 1: configuración básica
Con el proyecto establecido, lo primero que deberás hacer es configurar los ajustes básicos.
- Configura tu alcance de rastreo, cualquiera que sea el dominio, subdominio o subcarpeta específico que desees rastrear puedes ingresarlo en esta sección.
- Luego ajusta el número máximo de páginas que deseas verificar por auditoría. Para los profesionales la recomendación es rastrear hasta 20.000 páginas por auditoría y para los usuarios comerciales 100.000 páginas por auditoría.
- Luego elige tu fuente de rastreo que puede ser: sitio web, mapas de sitio, URL mapa del sitio, URL del archivo.
Paso 2: configuración del rastreador
Debes decidir el tipo de bot que quieres que rastree tu sitio. Existen cuatro combinaciones posibles, todo dependerá de si eliges la versión móvil o de escritorio de SEMRush.
Puedes elegir tu configuración de rastreo-demora. Y decidir entre retraso mínimo y entre páginas, respeta el archivo robots.txt o URL cada 2 segundos.
Paso 3: permitir/ rechazar URL
Aquí puedes personalizar tu auditoría al decidir qué subcarpetas deseas que la herramienta rastree y cuáles no. Para lograrlo, debes incluir todo en la URL después del TDL. Las subcarpetas que quieres que sean rastreadas van al cuadro de la izquierda y las que no, van al cuadro de la derecha.
Paso 4: eliminar los parámetros de URL
Te permite asegurarte de que tu presupuesto de rastreo no se desperdicie en rastrear la misma página dos veces. Solo tienes que especificar los parámetros de URL que utilizas en tu sitio para eliminarlos antes de rastrear.
Paso 5: omite las restricciones del sitio web
Esto funciona cuando necesitas una pequeña solución. Por ejemplo, si tu sitio todavía está en reproducción o si está oculto por la autenticación de acceso básica. Tienes dos opciones:
- Omitir la prohibición en robots.txt.
- Rastrear con tus credenciales.
Paso 6: programar
Debes decirle a la herramienta con qué frecuencia te gustaría que tu sitio web fuera auditado. Podría ser cada semana, todos los días o una sola vez.