El SEO acaba de ganar una capa nueva de complejidad. Hasta ahora, hablar de crawlers, robots.txt, indexación, bloqueos, logs y acceso automatizado era sobre todo una cuestión de visibilidad orgánica, rendimiento de rastreo y control técnico del contenido. Con las nuevas directrices del Comité Europeo de Protección de Datos sobre web scraping para entrenar IA generativa, esa conversación entra también en el terreno del RGPD.
El documento, adoptado el 7 de julio de 2026 y abierto a consulta pública, no prohíbe el scraping para modelos generativos, pero deja claro que recoger datos de la web a gran escala no es una actividad neutra cuando incluye datos personales. El EDPB recuerda que el RGPD se aplica si hay operaciones como extracción, limpieza, estructuración o almacenamiento de datos personales, incluso cuando esos datos proceden de fuentes públicamente accesibles.
La implicación para equipos SEO, medios digitales, editores, responsables de datos y desarrolladores de IA es evidente: la arquitectura de rastreo de una web deja de ser solo una decisión de tráfico. También puede convertirse en una señal sobre expectativas, oposición técnica al scraping y medidas razonables de protección frente a usos no deseados en entrenamiento de modelos.
Robots.txt no es consentimiento, pero sí empieza a pesar más
Una de las frases más relevantes de las directrices es también una de las más importantes para el mundo SEO: la ausencia o no aplicabilidad de un archivo robots.txt no equivale a consentimiento bajo el RGPD. Es decir, que una web no bloquee bots no significa que esté autorizando el uso de datos personales para entrenar IA generativa.
Este matiz desmonta una idea demasiado cómoda para algunos actores del sector: “si está abierto y no está bloqueado, se puede usar”. Técnicamente puede ser accesible, pero jurídicamente no siempre será legítimo. El EDPB separa con claridad el acceso técnico de la base jurídica del tratamiento.
Al mismo tiempo, robots.txt, ai.txt, CAPTCHA u otros mecanismos de oposición sí pueden influir en la evaluación. El documento menciona que, al diseñar la recogida, el responsable debería excluir sitios que se oponen claramente al scraping mediante medidas técnicas como autenticación para robots, robots.txt, ai.txt o CAPTCHA. También tiene en cuenta estas señales al valorar las expectativas razonables de los usuarios cuyos datos aparecen en la web.
Para el SEO esto abre una zona nueva. robots.txt ya no solo sirve para guiar el rastreo de buscadores o bloquear rutas sin interés. También puede convertirse en una pieza de gobierno de datos frente a crawlers de IA. No sustituye una política legal, pero ayuda a expresar una posición técnica.
| Elemento | Lectura SEO tradicional | Nueva lectura en contexto IA/RGPD |
|---|---|---|
robots.txt | Control de rastreo | Señal técnica de oposición o permiso limitado |
ai.txt | Archivo emergente para bots de IA | Señal específica sobre uso para entrenamiento |
| CAPTCHA | Barrera frente a automatización | Oposición técnica clara al scraping |
| Logs de servidor | Auditoría de crawl budget y bots | Evidencia de acceso automatizado |
| Política de privacidad | Documento legal general | Información sobre fuentes, finalidad y derechos |
| Listado de crawlers | Control operativo | Transparencia sobre recogida y características del bot |
La recomendación práctica para editores y marcas es sencilla: revisar su política de rastreo. No basta con mirar si Googlebot entra bien. Hay que decidir qué bots de IA se permiten, qué rutas no deberían accederse, qué contenido contiene datos personales y qué medidas técnicas se van a documentar.
Lo público no elimina las expectativas de privacidad
El EDPB introduce una lectura especialmente útil para quienes gestionan comunidades, foros, medios con comentarios, directorios, redes verticales o contenido generado por usuarios. Que una persona publique información en una web accesible no significa que espere que esa información sea reutilizada para entrenar un modelo generativo en cualquier contexto.
Las directrices piden valorar la naturaleza de la fuente, el tipo de publicación, si el acceso es abierto o restringido, si existe login, qué medidas ha implantado la web contra robots, qué características tienen las personas afectadas y si hay menores o colectivos vulnerables. En términos SEO, no es lo mismo un artículo público de un medio que un perfil dentro de una comunidad, un comentario antiguo en un foro, una ficha personal en un directorio o una publicación visible solo tras iniciar sesión.
Este punto importa para dos actores distintos. Para quienes entrenan modelos, porque no pueden diseñar un crawler como si todas las páginas públicas tuvieran el mismo nivel de riesgo. Para quienes publican contenido, porque deben entender qué partes de su web exponen datos personales y cómo quieren que sean tratadas por terceros.
Una web corporativa con páginas de producto no plantea los mismos problemas que un portal con perfiles personales, reseñas, historiales, fotografías, opiniones políticas, datos de salud, menores o información de localización. La estrategia SEO tiene que empezar a distinguir entre contenido indexable, contenido rastreable y contenido reutilizable para IA.
Interés legítimo: el triple test entra en el pipeline
Muchas empresas que entrenan o ajustan modelos intentarán basarse en el interés legítimo. El EDPB no lo descarta, pero exige superar tres condiciones: que exista un interés legítimo real y presente, que el tratamiento sea necesario para ese interés y que los derechos y libertades de las personas no prevalezcan en la ponderación.
Aquí la parte técnica es importante. La necesidad del tratamiento no se demuestra diciendo que el modelo necesita muchos datos. El EDPB apunta a que puede ser decisivo estrechar criterios de recogida, evitar scraping indiscriminado, usar datos seudonimizados o recurrir a datos sintéticos cuando sea una alternativa menos intrusiva.
Para equipos de IA y SEO técnico, esto convierte el crawler en una pieza que debe diseñarse con criterios previos: qué dominios se rastrean, qué rutas se excluyen, qué categorías se filtran, qué datos se eliminan durante la limpieza, qué fuentes se consideran fiables, cómo se registra la fecha de captura y cómo se documenta todo.
| Fase del scraping | Qué pide el enfoque del EDPB |
|---|---|
| Selección de fuentes | Criterios precisos y exclusión de sitios de riesgo |
| Rastreo | Respeto a señales técnicas de oposición |
| Extracción | Limitación a datos necesarios |
| Limpieza | Eliminación de duplicados, ruido y datos innecesarios |
| Filtrado | Reglas para excluir identificadores y categorías sensibles |
| Almacenamiento | Trazabilidad, seguridad y minimización |
| Entrenamiento | Medidas contra memorización y regurgitación |
| Post-entrenamiento | Monitorización de salidas y respuesta ante incidencias |
Este enfoque encaja poco con el scraping masivo sin inventario. Si una empresa no sabe qué ha recogido, de dónde procede, cuándo lo capturó y qué riesgos contiene, tendrá muy difícil defender la proporcionalidad del tratamiento.
Qué cambia para medios, blogs y proyectos SEO
Para editores y responsables SEO, las directrices son una llamada a ordenar la casa. Hasta ahora muchas webs trataban el control de bots como una cuestión secundaria: permitir Google, bloquear scrapers agresivos y poco más. La llegada de crawlers de IA y la posición del EDPB hacen recomendable una política más explícita.
Un medio o una marca deberían revisar al menos cuatro capas. La primera es técnica: robots.txt, reglas por user-agent, control de rutas sensibles, rate limiting, logs y detección de bots que se hacen pasar por otros. La segunda es editorial: qué contenido contiene datos personales, qué piezas proceden de usuarios, qué información antigua conviene mantener accesible y qué páginas deberían estar fuera de rastreos no deseados.
La tercera es legal y de transparencia: política de privacidad, condiciones de uso, explicación sobre scraping, licencias de contenido y mecanismos de contacto. La cuarta es comercial: si se permite el uso de contenido para entrenamiento, bajo qué condiciones, con qué licencia y con qué límites.
No todo debe bloquearse. Hay medios, blogs técnicos y proyectos open source que pueden querer ser visibles para sistemas de IA, asistentes de búsqueda o modelos con atribución. La cuestión es decidirlo, no dejarlo por omisión. En SEO, la estrategia ya no puede limitarse a “que me rastreen”. La pregunta ahora es quién rastrea, para qué, con qué límite y bajo qué expectativas.
El contenido generado por usuarios requiere más cuidado
El contenido generado por usuarios es una de las zonas más delicadas. Comentarios, perfiles, foros, reseñas, avatares, nombres, biografías, ubicaciones, opiniones y fotografías pueden contener datos personales o incluso categorías especiales de datos. El EDPB recuerda que el tratamiento de datos sensibles está prohibido con carácter general salvo que exista una excepción del artículo 9.2 del RGPD, además de una base jurídica del artículo 6.
En scraping masivo puede haber recogida incidental de datos sensibles, pero eso no abre una exención general. El responsable debe demostrar que no pretendía recoger esos datos, que adoptó filtros previos, que elimina lo detectado, que controla el entrenamiento y que monitoriza las salidas del modelo para evitar difusión o reproducción posterior.
Para SEO, esto afecta a comunidades indexables y grandes repositorios de contenido social. Una web puede querer tráfico orgánico hacia sus foros o perfiles, pero eso no significa que todo ese material deba quedar expuesto a cualquier crawler de entrenamiento. Puede hacer falta separar rutas, limitar acceso, cambiar indexabilidad, reforzar avisos o establecer reglas distintas para buscadores y bots de IA.
La nueva frontera: SEO, IA y cumplimiento
Las directrices del EDPB convierten el scraping para IA generativa en una cuestión de arquitectura técnica, no solo jurídica. El cumplimiento no se resolverá al final con una política genérica. Tendrá que incorporarse al diseño del crawler, al mapa de fuentes, al pipeline de datos, al entrenamiento y al control de salidas.
También cambia el trabajo de los equipos SEO. Hasta ahora el SEO técnico se preocupaba por indexabilidad, rendimiento, enlazado interno, renderizado, logs y señales para buscadores. Ahora tendrá que hablar más con legal, privacidad, datos, seguridad e IA. Un archivo robots.txt mal diseñado puede afectar al tráfico; una política de scraping mal pensada puede afectar a la exposición de datos y a la posición de la empresa frente a terceros.
La idea de fondo es clara: internet sigue siendo rastreable, pero no todo lo rastreable es libre para entrenar IA generativa. Para los editores, esto supone recuperar parte del control técnico sobre cómo se accede a su contenido. Para las empresas de IA, implica pasar de crawlers masivos a pipelines más documentados, selectivos y auditables.
El SEO no desaparece en la era de la IA. Se ensancha. Ya no trata solo de aparecer en Google, sino de decidir cómo una web se relaciona con buscadores, agentes, modelos generativos y sistemas automatizados que leen la red a escala.
Preguntas frecuentes
¿El EDPB prohíbe el scraping para entrenar IA?
No. Las directrices no lo prohíben, pero exigen cumplir el RGPD cuando el scraping incluya datos personales.
¿Robots.txt sirve como consentimiento para IA?
No. La ausencia de robots.txt no equivale a consentimiento. Su presencia puede servir como señal técnica de oposición, pero no sustituye el análisis jurídico.
¿Qué deberían revisar los equipos SEO?
Reglas de robots.txt, posibles señales para bots de IA, logs, rutas con datos personales, contenido generado por usuarios, políticas de privacidad y condiciones de reutilización del contenido.
¿Qué pasa con los contenidos públicos?
Que sean públicos no significa que puedan reutilizarse sin límites. Hay que valorar finalidad, expectativas razonables, tipo de fuente, datos tratados y medidas de oposición.
¿Cómo afecta esto a los sitios con foros o perfiles de usuarios?
Son especialmente sensibles porque pueden contener datos personales, menores, opiniones, ubicaciones o datos sensibles. Conviene revisar indexabilidad, acceso de bots y mecanismos de información.
vía: edpb.europa.eu