GPTBot y robots.txt: decide qué pueden leer las IA de tu web
Los asistentes de IA leen la web para responder preguntas y, en algunos casos, para entrenar modelos. Tú puedes decidir, en parte, qué leen de tu sitio. La herramienta es un archivo simple: robots.txt.
Qué es robots.txt
Es un archivo de texto en la raíz de tu dominio que indica a los rastreadores qué zonas pueden visitar. Google aclara que sirve para gestionar el tráfico de rastreo, no para ocultar información confidencial: si algo es privado, debe protegerse con contraseña.
Los rastreadores de OpenAI
OpenAI documenta varios agentes con funciones distintas:
- OAI-SearchBot: se usa para mostrar sitios en las funciones de búsqueda de ChatGPT.
- GPTBot: se usa para rastrear contenido que puede servir para entrenar modelos.
- ChatGPT-User: actúa cuando una persona pide a ChatGPT visitar una página.
Como tienen funciones separadas, puedes permitir uno y bloquear otro.
¿Qué conviene a una pyme?
Si quieres que tu negocio pueda aparecer en respuestas de búsqueda con IA, no bloquees los rastreadores de búsqueda. Si te preocupa que tus textos se usen para entrenamiento, puedes bloquear específicamente ese agente. Es una decisión de negocio, no técnica.
Ejemplo
Para bloquear solo el rastreo de entrenamiento de OpenAI, el archivo incluiría:
User-agent: GPTBot
Disallow: /
Idea clave
Antes de bloquear, pregúntate qué quieres lograr: visibilidad o protección. Puedes tener ambas si configuras cada rastreador por separado.
Si no sabes qué dice hoy tu robots.txt, lo revisamos como parte de Visible en Google e IA.
