¿robots.txt bloquea a los rastreadores de IA?

Los rastreadores bien educados lo siguen; es una solicitud, no un control de acceso.

¿Qué user agents debo listar?

Los que reporta la verificación, cada uno con sus propias reglas Disallow, o una sola sección User-agent: *.

Acceso rastreadores IA

Un archivo robots.txt indica a los rastreadores qué partes de un sitio pueden obtener, y las empresas de IA ejecutan sus propios rastreadores como GPTBot, ClaudeBot y CCBot. Esta verificación lee el robots.txt de un sitio y muestra si cada rastreador de IA conocido está permitido o bloqueado.

Cuándo usar esto: Quieres confirmar qué rastreadores de IA pueden leer tu sitio después de cambiar robots.txt. Prefijo de comando robotsai:

Acerca de Acceso rastreadores IA

Analiza las reglas de robots.txt de un sitio para rastreadores de IA como GPTBot, ClaudeBot y CCBot.

Preguntas frecuentes

¿robots.txt bloquea a los rastreadores de IA?: Los rastreadores bien educados lo siguen; es una solicitud, no un control de acceso.
¿Qué user agents debo listar?: Los que reporta la verificación, cada uno con sus propias reglas Disallow, o una sola sección User-agent: *.