OAI-SearchBot: El bot de OpenAI para la búsqueda web

OAI-SearchBot se utiliza para enlazar y mostrar sitios web en los resultados de búsqueda en el prototipo SearchGPT.

No se utiliza para rastrear contenidos con el fin de entrenar los modelos generativos de IA de OpenAI.

Para ayudar a garantizar que tu sitio aparezca en los resultados de búsqueda, se recomienda permitir OAI-Searchbot en el archivo robots.txt de tu sitio y permitir solicitudes desde estos rangos de IP (actualizado a 27/julio/2024):

• 20.42.10.176/28
• 172.203.190.128/28

La cadena de agente de usuario completa es esta:

Mozilla/5.0 AppleWebKit/537.36 (KHTML, como Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)

Cómo bloquear OAI-SearchBot

Si quieres bloquear el acceso de OAI-Searchbot a tu página web, solo tienes que incluir estas líneas en tu archivo robots.txt:

User-agent: OAI-Searchbot
Disallow: /

Por otro lado, si quieres bloquearlo también a nivel de IP tendrás que bloquear todas las llamadas que vienen desde los siguientes bloques de IPs: 20.42.10.176/28 y 172.203.190.128/28.

¿Quieres saber más sobre las soluciones de inteligencia artificial generativa de Microsoft? En DQS/ te asesoramos. ¿Por qué no nos preguntas cómo podemos ayudarte?

Información basada en la publicación oficial de los bots de OpenAI: «Overview of OpenAI Crawlers» y el listado de IPs de OAI-SearchBot.