Bloquea la IA de Apple en tu web
Apple ha hecho algunos cambios realmente importantes en la documentación de Applebot después de anunciar Apple Intelligence.
Apple ha añadido más información sobre Applebot, detalles sobre DNS inverso, Applebot-Extended y mucho más justo después del evento WWDC de Apple.
Para que quede claro, Applebot no es nuevo, tiene alrededor de una década de antigüedad, pero ahora con Apple Intelligence, Apple se lo está tomando más en serio… El cambio en el documento se hizo el 11 de junio, el día después de la keynote de Apple.
La gran novedad en el lado de la IA de Applebot es que Apple ha añadido Applebot-Extended, similar a Googlebot-Extended, con fines de IA.
Se puede bloquear Applebot-Extended. Apple dice que no entrena sus modelos con datos privados de los usuarios o interacciones de los usuarios, y en su lugar se basa en materiales con licencia y datos en línea disponibles públicamente.
Applebot-Extended
Hay muchas cosas que han cambiado, pero aquí está la parte de Applebot-Extended:
Además de seguir todas las reglas y directivas de robots.txt, Apple tiene un agente de usuario secundario, Applebot-Extended, que ofrece a los editores web controles adicionales sobre cómo el contenido de su sitio web puede ser utilizado por Apple.
Con Applebot-Extended, los editores web pueden optar por no permitir que el contenido de su sitio web se utilice para entrenar los modelos de base de Apple que impulsan las funciones de IA generativa en todos los productos de Apple, incluidos Apple Intelligence, Services y Developer Tools.
Puedes añadir una regla en robots.txt para no permitir Applebot-Extended, como se indica a continuación:
User-agent: Applebot-Extended Disallow: /privado/Applebot-Extended no rastrea páginas web. Las páginas web que no permiten Applebot-Extended pueden seguir apareciendo en los resultados de búsqueda. Applebot-Extended sólo se utiliza para determinar cómo utilizar los datos rastreados por el agente de usuario de Applebot.
Permitir Applebot-Extended ayudará a mejorar las capacidades y la calidad de los modelos generativos de IA de Apple con el tiempo.
Applebot
Apple también ha añadido más información sobre Applebot, el rastreador web de Apple.
Los datos rastreados por Applebot se utilizan para impulsar diversas funciones, como la tecnología de búsqueda integrada en muchas experiencias de usuario del ecosistema de Apple, como Spotlight, Siri y Safari. Habilitar Applebot en robots.txt permite que el contenido del sitio web aparezca en los resultados de búsqueda de los usuarios de Apple de todo el mundo en estos productos.
Applebot accede a muchos tipos de recursos de servidores web, incluidos, entre otros, robots.txt, sitemaps, fuentes RSS, HTML, recursos secundarios necesarios para renderizar páginas como javascript, solicitudes Ajax, imágenes, etc.
Agentes de usuario
Un agente de usuario ayuda a los webmasters a identificar el tráfico de rastreadores, de modo que puedan obtener informes precisos del registro de acceso de la actividad de los rastreadores y controlar el acceso al sitio a través de robots.txt.
Applebot cuenta con varios agentes de usuario, entre los que se incluyen Búsqueda y Podcasts.
Búsqueda
Para el rastreo y la representación de la web de búsqueda, Applebot utiliza el siguiente formato:
La cadena de agente de usuario contiene «Applebot» y otra información. El formato general es el siguiente
Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)Podcasts de Apple
El tráfico de iTMS también puede proceder de hosts applebot.apple.com, y se identificará por el siguiente agente de usuario:
User-Agent: iTMSEl agente de usuario iTMS no sigue robots.txt, ya que no es un rastreador de búsqueda general. Sólo rastrea las URL asociadas a contenidos registrados en Apple Podcasts.
Información basada en la información oficial del soporte de Apple «About Applebot«.
