Screaming Frog ha publicado este 3 de noviembre la versión 25.0 de su SEO Spider, cuya novedad principal es que los archivos de configuración pasan a formato JSON para que un asistente de inteligencia artificial pueda ajustar el rastreo a través de MCP (Model Context Protocol), el protocolo que conecta herramientas con modelos de lenguaje. La actualización, bautizada internamente como «eaten your lunch», incluye además paneles personalizables, incidencias SEO configurables, un control automático del ritmo de rastreo y una nueva pestaña para las etiquetas de redes sociales.
Las claves de Screaming Frog SEO Spider 25 en 20 segundos
- Para la IA: configuración en JSON y depuración integrada en MCP.
- Para el auditor: paneles propios, incidencias ajustables y exportación a Markdown.
- Para el servidor: el rastreo frena solo ante errores 429, 503 o conexiones caídas.
El anuncio lo firma Dan Sharp, fundador de Screaming Frog, y llega con un guiño en uno de sus apartados: «While everyone knows the GUI is dead» (aunque todo el mundo sabe que la interfaz gráfica está muerta), escribe antes de presentar, precisamente, una nueva pestaña de paneles. La versión confirma hacia dónde va la herramienta de rastreo más usada en SEO técnico: cada vez más pensada para manejarse desde la línea de comandos y desde asistentes de IA, sin abandonar a quien trabaja con la interfaz.
La IA ya puede configurar el rastreo
Hasta ahora, los archivos de configuración de SEO Spider usaban un formato propio. Desde la versión 25 se guardan en JSON, legible por personas y máquinas y editable con cualquier editor de texto, lo que facilita la automatización por la línea de comandos y por MCP. El formato antiguo sigue funcionando.
Según Screaming Frog, combinado con las herramientas ampliadas de su integración MCP, esto permite que un asistente de IA cambie la configuración sobre la marcha: basta con describir en lenguaje natural lo que se quiere para que active el renderizado de JavaScript, monte segmentos complejos, escriba fragmentos de JavaScript personalizados o resuelva el XPath de una extracción personalizada. La integración incorpora además herramientas de depuración, de modo que si un rastreo falla, el asistente puede detectar el problema y proponer una solución. El modo lista, que rastrea una relación cerrada de URL, ya está totalmente soportado en MCP, y la línea de comandos gana argumentos para pausar, reanudar, borrar, renombrar y mover rastreos, y para gestionar proyectos.
Hay otra novedad muy orientada a la IA: con el almacenamiento de HTML activado, el programa extrae el contenido de cada página en Markdown y permite exportarlo en bloque, un formato útil para preparar contenidos para modelos de lenguaje o revisar cómo los vería un sistema de IA.
Paneles, incidencias a medida y rastreos más amables
Para quien sigue en la interfaz, la pestaña Dashboard permite construir paneles propios con gráficos, contadores y tablas, compartirlos, elegir uno por defecto y exportarlos para presentaciones a clientes. Las incidencias SEO también son ahora ajustables en cada rastreo: se pueden desactivar o cambiar de tipo (incidencia, advertencia u oportunidad) y de prioridad (alta, media o baja), para adaptar la auditoría a los criterios de cada cliente.
El rastreo también gana en prudencia. El nuevo control automático del ritmo reduce la velocidad cuando el servidor responde con códigos 429 o 503 o corta conexiones, la recupera poco a poco cuando se estabiliza y pausa el rastreo si deja de responder; se pueden configurar los reintentos por limitación de velocidad y por fallos de conexión. Ahora también es posible excluir enlaces según su posición en la página, por ejemplo los de un menú o un filtro, cuando no hay un patrón de URL que los distinga. Y el renderizado de JavaScript espera por defecto a que la red y el bucle de eventos queden inactivos, un criterio que la compañía considera más cercano a cómo decide Google que una página ha terminado de cargar.
Completan la versión una pestaña Social que revisa las etiquetas Open Graph y X Card (ausentes, incompletas, imágenes que no devuelven 200 o de tamaño incorrecto), nuevas incidencias para títulos de imagen ausentes, hreflang que solo se referencia a sí mismo o que no coincide con el atributo lang del HTML y enlaces con texto ancla vacío, nombres de archivo de exportación configurables, nuevas opciones de programación, soporte para sitemaps XML con rutas relativas y la interfaz en turco y neerlandés.
Las alternativas de código abierto que asoman
Screaming Frog sigue siendo la referencia del rastreo SEO, con una versión gratuita limitada y una licencia de pago. En paralelo están surgiendo proyectos de código abierto que apuntan a necesidades concretas. Uno de ellos es CrawlForge, un rastreador escrito en Rust y pensado para quien gestiona muchos sitios a la vez. Su núcleo (el rastreador, 66 reglas de auditoría, la línea de comandos y adaptadores para WordPress y Astro) es código abierto con licencia Apache 2.0 y no necesita Java ni navegador. Guarda cada rastreo como un archivo SQLite, compara dos rastreos para ver qué se ha resuelto y qué ha aparecido, y puede hacer fallar un despliegue en integración continua si detecta problemas graves. Su web afirma haber rastreado 487.621 URL en un solo proceso con memoria estable. Por ahora funciona solo desde la línea de comandos; las aplicaciones nativas y el panel multisitio están en estudio, sin fechas.
Hay más opciones. LibreCrawl, con licencia MIT, es una aplicación web en Python que incluye renderizado de JavaScript, análisis de enlaces, integración con PageSpeed Insights y exportación a CSV, JSON o XML, y funciona en Mac, Windows, Linux o Docker. SEOnaut, también de código abierto, rastrea un sitio y ordena los problemas por importancia. Ninguno iguala todavía la amplitud de funciones de Screaming Frog, y no lo pretenden: su atractivo está en poder auditar el código, integrarlos en flujos automatizados y no depender de una licencia por usuario.
Preguntas frecuentes
¿Qué novedades trae Screaming Frog SEO Spider 25?
Configuración en JSON y depuración en MCP para asistentes de IA, paneles personalizados, incidencias configurables, control automático del ritmo de rastreo, exclusión de enlaces por posición y una pestaña para etiquetas sociales.
¿Siguen funcionando las configuraciones antiguas?
Sí. Screaming Frog mantiene la compatibilidad con el formato de configuración anterior.
¿Qué alternativas de código abierto hay a Screaming Frog?
Entre otras, CrawlForge, escrito en Rust con licencia Apache 2.0; LibreCrawl, en Python con licencia MIT, y SEOnaut. Ninguna iguala aún todas sus funciones.
¿Qué hace el control automático del ritmo de rastreo?
Reduce la velocidad cuando el servidor devuelve errores 429 o 503 o corta conexiones, la recupera poco a poco y pausa el rastreo si el servidor deja de responder.
Fuentes: