Herramientas / Crawl Lab
Crawl Lab
Análisis de logs del servidor para ver cómo rastrean los bots una web.
Para qué sirve
Crawl Lab procesa los logs de Apache o Nginx y los sitemaps de una web y muestra cómo se comportan los bots sobre ella: Googlebot, Bingbot y también GPTBot, ClaudeBot o PerplexityBot.
Clasifica cada URL por tipo de página (home, categoría, producto, post, paginación, búsqueda…) para detectar dónde se va el presupuesto de rastreo, qué URLs del sitemap nunca se visitan y qué páginas pesadas se rastrean poco.
Con los datos anonimizados de las webs que lo permiten, compara el rastreo antes y después de cada actualización de Google.
- Importación automática de los logs de cada web una vez al mes.
- Separación entre bots de buscadores y bots de IA.
- Cobertura del sitemap: URLs rastreadas, no rastreadas y fuera del sitemap.
- Descarga de los resultados completos en CSV, incluso con más de 500.000 URLs.
Es una herramienta interna: la uso para analizar las webs con las que trabajo.
Acceso
- Tipo de acceso
- Cerrado
- Estado
- En uso
No admite altas ni cuentas externas.
Si quieres un análisis de logs de tu web, o te interesa el estudio de las actualizaciones de Google, rellena el formulario y lo vemos.
