Herramientas / Crawl Lab

Crawl Lab

Análisis de logs del servidor para ver cómo rastrean los bots una web.

Acceso cerrado En uso

Para qué sirve

Crawl Lab procesa los logs de Apache o Nginx y los sitemaps de una web y muestra cómo se comportan los bots sobre ella: Googlebot, Bingbot y también GPTBot, ClaudeBot o PerplexityBot.

Clasifica cada URL por tipo de página (home, categoría, producto, post, paginación, búsqueda…) para detectar dónde se va el presupuesto de rastreo, qué URLs del sitemap nunca se visitan y qué páginas pesadas se rastrean poco.

Con los datos anonimizados de las webs que lo permiten, compara el rastreo antes y después de cada actualización de Google.

  • Importación automática de los logs de cada web una vez al mes.
  • Separación entre bots de buscadores y bots de IA.
  • Cobertura del sitemap: URLs rastreadas, no rastreadas y fuera del sitemap.
  • Descarga de los resultados completos en CSV, incluso con más de 500.000 URLs.

Es una herramienta interna: la uso para analizar las webs con las que trabajo.

Acceso

Tipo de acceso
Cerrado
Estado
En uso

No admite altas ni cuentas externas.

Si quieres un análisis de logs de tu web, o te interesa el estudio de las actualizaciones de Google, rellena el formulario y lo vemos.

Solicitar acceso

Tus datos

Con prefijo si no es de España.

Datos de facturación

Sobre la solicitud