El uso de Cloudflare como intermediario entre un sitio web y sus visitantes aporta beneficios significativos en términos de seguridad, rendimiento y optimización del tráfico. Sin embargo, en algunos casos, ciertos ajustes pueden interferir con el rastreo e indexación de Google, provocando que las páginas de un sitio web no aparezcan correctamente en los resultados de búsqueda.
Los problemas de indexación relacionados con Cloudflare pueden deberse a reglas de seguridad demasiado estrictas, configuraciones de caché mal ajustadas o desafíos automáticos a los rastreadores de Google. Si su sitio ha experimentado una caída en la indexación o dificultades para que Googlebot acceda a las páginas, es recomendable revisar la configuración de Cloudflare para garantizar una correcta accesibilidad sin comprometer la seguridad.
Causas Comunes de los Problemas de Indexación en Google al Usar Cloudflare
Cloudflare puede afectar el rastreo de Google de diversas formas. Algunos de los motivos más comunes incluyen:
- Reglas de seguridad que bloquean o limitan Googlebot
- Cloudflare puede tratar al rastreador de Google como tráfico sospechoso y aplicar restricciones innecesarias.
- Modo “Under Attack” activado
- Esta configuración obliga a todos los visitantes, incluidos los bots de Google, a pasar por una verificación, lo que puede interrumpir el rastreo.
- Desafíos de JavaScript y CAPTCHA automáticos
- Googlebot no puede completar desafíos visuales o de ejecución de scripts, lo que impide que indexe el contenido.
- Caché mal configurada
- Si Cloudflare almacena versiones antiguas de las páginas, Google puede indexar contenido obsoleto o encontrar páginas no disponibles.
- Protección contra bots mal ajustada
- Configuraciones avanzadas como «Bot Fight Mode» pueden bloquear rastreadores legítimos sin notificarlo al usuario.
- Bloqueo de direcciones IP de Googlebot
- Algunas reglas de firewall pueden restringir el acceso a los rangos de IP que Google utiliza para rastrear sitios web.
- Tiempo de respuesta elevado o errores en la entrega del contenido
- Si Google detecta tiempos de carga elevados o errores frecuentes, puede reducir la frecuencia del rastreo y afectar la indexación.
Configuraciones Recomendadas en Cloudflare para Evitar Problemas de Indexación
Para minimizar los riesgos de bloqueo o interferencia en el rastreo de Google, es recomendable realizar los siguientes ajustes en la configuración de Cloudflare:
1. Permitir el Acceso a Googlebot en el Firewall
El firewall de Cloudflare puede estar bloqueando o restringiendo a Googlebot. Para verificarlo y solucionarlo:
- Acceda a Cloudflare > Security > WAF > Firewall Rules.
- Revise si existen reglas que bloqueen rastreadores legítimos.
- Si hay reglas estrictas, añada una excepción específica para Googlebot con los siguientes criterios:
- User Agent contiene «Googlebot» → Permitir acceso completo.
- IP Source Range → Permitir direcciones IP de Googlebot.
Google proporciona una lista oficial de sus rangos de IP en Google Search Central.
Para comprobar si Googlebot está siendo bloqueado, puede revisar en Google Search Console la sección Rastreo > Estadísticas de rastreo.
2. Desactivar «Bot Fight Mode» y «Super Bot Fight Mode»
Cloudflare ofrece herramientas avanzadas para bloquear bots maliciosos, pero estas funciones pueden afectar a rastreadores legítimos como Googlebot.
Para desactivarlas:
- Ingrese a Cloudflare > Security > Bots.
- Desactive Bot Fight Mode y Super Bot Fight Mode.
Si desea mantener alguna protección contra bots sin afectar a Google, puede usar Managed Challenge en lugar de CAPTCHA para que los bots legítimos puedan acceder.
3. Configurar la Caché para Evitar Problemas de Indexación
Una mala configuración de caché puede impedir que Google acceda a la versión más reciente del contenido de su sitio.
- Ingrese a Cloudflare > Caching > Configuration.
- En Cache Level, seleccione Standard para evitar que Cloudflare almacene en caché páginas dinámicas de manera agresiva.
- Utilice la función Purge Cache para eliminar versiones antiguas almacenadas.
Para garantizar que Google siempre acceda a contenido actualizado, configure Bypass Cache on Cookie en páginas clave como /sitemap.xml o aquellas con contenido dinámico.
4. Evitar JS Challenges y CAPTCHA en Googlebot
Cloudflare a veces impone desafíos de JavaScript o CAPTCHA a los visitantes, incluidos los bots de Google. Para evitarlo:
- Diríjase a Cloudflare > Security > WAF > Managed Rules.
- Desactive «Browser Integrity Check» para evitar bloqueos innecesarios.
- En Firewall Rules, revise que Googlebot no esté sujeto a desafíos de JavaScript o CAPTCHA.
Si desea mantener desafíos activados para tráfico sospechoso sin afectar a Googlebot, cree una regla específica para excluir a los rastreadores de Google.
5. Revisar el Modo “Under Attack”
El modo «Under Attack» en Cloudflare añade una capa adicional de protección, pero puede afectar la indexación si Googlebot es tratado como tráfico sospechoso.
- Acceda a Cloudflare > Security > DDoS Protection.
- Si tiene activado «I’m Under Attack», desactívelo temporalmente o configure una excepción para Googlebot.
Verificación y Pruebas para Confirmar que Google Puede Rastrear su Sitio
Después de aplicar los ajustes recomendados, es importante verificar que Googlebot pueda rastrear e indexar su contenido sin problemas.
- Google Search Console
- Use la función Explorar como Google para verificar si Google puede acceder a las páginas clave.
- Registros del Servidor
- Revise los archivos de log de su servidor para asegurarse de que Googlebot recibe respuestas correctas.
- Prueba con curl
- Ejecute el siguiente comando en la terminal para comprobar cómo Cloudflare responde a Googlebot:
curl -A "Googlebot" -L https://tusitio.com
Si la respuesta incluye un error HTTP 403 o un desafío de JavaScript, todavía hay configuraciones que deben ajustarse. - Monitoreo con Herramientas Externas
- Servicios como Google PageSpeed Insights pueden detectar bloqueos o ralentizaciones en el acceso de Googlebot.
Conclusión
El uso de Cloudflare puede traer grandes beneficios en términos de seguridad y rendimiento, pero una mala configuración puede afectar el rastreo e indexación de un sitio web en Google.
Para evitar problemas, es fundamental:
- Permitir que Googlebot acceda sin restricciones en las reglas del firewall.
- Desactivar herramientas de protección contra bots que puedan bloquear rastreadores legítimos.
- Ajustar la caché para garantizar que Google acceda a contenido actualizado.
- Evitar que Cloudflare imponga desafíos de JavaScript o CAPTCHA a Googlebot.
- Comprobar regularmente que Google está rastreando el sitio sin bloqueos mediante Google Search Console y otras herramientas de monitoreo.
Realizar estos ajustes asegurará que el sitio web sea indexado correctamente sin comprometer las ventajas de seguridad y rendimiento que Cloudflare ofrece.