Guía Completa: Cómo Bloquear /cdn-cgi/ en WordPress con Cloudflare (Script Automatizado)

Posicionamiento

Si usas Cloudflare en tu sitio WordPress, es probable que hayas visto URLs como /cdn-cgi/l/email-protection o /cdn-cgi/challenge-platform en tus informes de Google Search Console. Estas rutas son técnicas y no deben ser indexadas, pero los bots de búsqueda las rastrean, generando «ruido» en tus métricas SEO.

Aquí te explicamos por qué debes bloquearlas y cómo hacerlo automáticamente con un script optimizado para WordPress.

📌 ¿Por qué bloquear /cdn-cgi/ en robots.txt?

Cloudflare utiliza este directorio para funciones técnicas como:

  • Protección de email (evitar spam)
  • Gestión de desafíos (CAPTCHAs, WAF)
  • Procesos internos del CDN

Problemas si no lo bloqueas:

🔴 Google rastrea URLs innecesarias, consumiendo tu presupuesto de crawleo.
🔴 Aparecen «errores» falsos en Google Search Console (404, soft 404).
🔴 Datos SEO menos precisos (páginas indexadas irrelevantes).

Solución oficial de Cloudflare:

Añadir esta regla en tu robots.txt:

User-agent: *  
Disallow: /cdn-cgi/

⚡ Script Automatizado para WordPress

Si administras varios sitios, hacer esto manualmente es tedioso. Por eso hemos creado un script en Bash que:

✔ Busca todas las instalaciones de WordPress en tu servidor.
✔ Añade Disallow: /cdn-cgi/ al robots.txt (o lo crea si no existe).
✔ Evita duplicados (solo modifica si es necesario).
✔ Es compatible con multisitio y servidores compartidos/VPS.

📥 Instalación y Uso del Script

1️⃣ Descargar el Script

Opción 1: Clonar el repositorio (recomendado para actualizaciones):

git clone https://github.com/dcarrero/WordPress-Cloudflare-robots.txt-Updater.git
cd WordPress-Cloudflare-robots.txt-Updater
chmod +x update_robots_cloudflare.sh

Opción 2: Descarga directa (si no tienes Git):

curl -O https://raw.githubusercontent.com/dcarrero/WordPress-Cloudflare-robots.txt-Updater/main/update_robots_cloudflare.sh
chmod +x update_robots_cloudflare.sh

2️⃣ Ejecutar el Script

  • Para escanear desde el directorio actual:
  ./update_robots_cloudflare.sh
  • Para escanear una ruta específica (ej: /var/www/):
  ./update_robots_cloudflare.sh /var/www/

3️⃣ ¿Qué hace el script?

✅ Busca wp-config.php (solo en instalaciones WordPress válidas).
✅ Verifica si robots.txt existe y si ya tiene la regla.
✅ Si no existe, crea uno con:

   User-agent: *  
   Disallow: /wp-admin/  
   Allow: /wp-admin/admin-ajax.php  
   Disallow: /cdn-cgi/


✅ Si existe, añade Disallow: /cdn-cgi/ con un formato limpio.

🔍 Verificación de Cambios

Después de ejecutarlo, revisa:

  1. El archivo robots.txt en la raíz de tu WordPress.
  2. Google Search Console (en unos días) para confirmar que ya no se rastrea /cdn-cgi/.

🚀 Beneficios de Usar Este Script

  • Ahorra tiempo (especialmente si gestionas +10 sitios).
  • Previene problemas de rastreo en Google.
  • Mantiene robots.txt optimizado para SEO.
  • 100% seguro (solo modifica lo necesario).

📌 Conclusión

Si usas Cloudflare + WordPress, este script es la forma más rápida de evitar que los motores de búsqueda pierdan tiempo en URLs irrelevantes.

🔗 Descárgalo aquí:
GitHub – WordPress Cloudflare robots.txt Updater

(Recomendación oficial de Cloudflare para WordPress vista en Wpdirecto)

¿Tienes dudas? ¡Déjalas en los comentarios! 👇

Te puede interesar...