Cómo permitir o bloquear el acceso de bots de Inteligencia Artificial (IA) a tu web Imprimir

Los buscadores y herramientas de Inteligencia Artificial (como ChatGPT, Claude o Google Gemini) utilizan rastreadores (bots) para acceder al contenido de tu sitio web, indexarlo o utilizarlo para entrenar sus modelos. Si detectas que estos sistemas no pueden acceder a tu web, o si por el contrario quieres evitar que la rastreen, debes revisar la configuración de tu sitio.

A continuación, se detallan los métodos principales para gestionar el acceso de estos bots.

1. Configuración mediante el archivo robots.txt

El archivo robots.txt, ubicado en la carpeta raíz de tu alojamiento (normalmente public_html), es el método estándar para indicar a los bots qué partes de la web pueden y qué no pueden rastrear.

Para permitir el acceso a los bots de IA principales:

Asegúrate de que no existan reglas que los bloqueen de forma explícita. Por defecto, si no hay restricciones, los bots legítimos rastrearán la web. Puedes permitir el acceso de forma específica con el siguiente código en tu robots.txt:

User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Google-Extended
Allow: /

Para bloquear el acceso de los bots de IA:

Si prefieres que las inteligencias artificiales no utilicen el contenido de tu web, añade estas directivas a tu archivo:

User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

2. Bloqueos en el archivo .htaccess o reglas de seguridad

Si el archivo robots.txt es correcto pero los bots siguen sin poder acceder, es posible que exista una regla de seguridad a nivel de servidor o de aplicación web bloqueando estas peticiones:

• Reglas en .htaccess: Revisa si tu archivo .htaccess contiene directivas RewriteCond que filtren por HTTP_USER_AGENT y bloqueen de forma genérica agentes de usuario o herramientas automatizadas.
• Plugins de seguridad (WordPress, Joomla, etc.): Herramientas como Wordfence, iThemes Security o similares suelen tener opciones para bloquear "rastreadores no estándar" o "bots de IA". Revisa la configuración de estos plugins para asegurarte de que no están bloqueando los User-Agents de los buscadores de IA.
• Cortafuegos de aplicaciones web (WAF) o CDN: Si utilizas servicios externos como Cloudflare, comprueba que las reglas de firewall o la protección contra bots no estén bloqueando de forma automática el tráfico de estos rastreadores.