Acerca de Applebot

Obtén información sobre Applebot, el agente de búsqueda de Apple.

Los datos rastreados por Applebot se utilizan para alimentar varias funciones, como la tecnología de búsqueda que está integrada en muchas experiencias de usuario en el ecosistema de Apple, incluidas las de Spotlight, Siri, y Safari. Activar Applebot en robots.txt permite que el contenido de los sitios web aparezca en los resultados de búsqueda de los usuarios de Apple de todo el mundo con estos productos.

Applebot accede a muchos tipos de recursos desde servidores web, incluidos, entre otros, robots.txt, mapas del sitio, fuentes RSS, HTML, recursos secundarios necesarios para representar páginas como JavaScript, solicitudes Ajax, imágenes y mucho más.

Identificar Applebot

El tráfico procedente de Applebot se identifica generalmente mediante DNS inverso en el dominioapplebot.apple.com.

Otra forma es hacer coincidir la dirección IP con un prefijo CIDR contenido en el siguiente archivo JSON: Applebot IP CIDRs.

DNS inverso

Se puede usar el comando host para determinar si una dirección IP es parte de Applebot. Estos ejemplos muestran el comando host y su resultado:

$ host 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com tiene la dirección 17.58.101.179.

El comando host también se puede usar para verificar que el DNS apunte a la misma dirección IP:

$ host 17.58.101.179 179.101.58.17.in-addr.arpa puntero de nombre de dominio 17-58-101-179.applebot.apple.com.

Agentes de usuario

Un agente de usuario ayuda a los administradores Web a identificar el tráfico de rastreadores, de modo que puedan obtener informes de registro de acceso precisos sobre la actividad de los rastreadores y controlar el acceso al sitio a través de robots.txt.

Applebot funciona con varios agentes de usuario, incluidos Buscar y Podcasts.

Buscar

Para el rastreo y la renderización de búsquedas web, Applebot utiliza el siguiente formato:

La cadena de usuario-agente incluye “Applebot” y también otra información. El siguiente es el formato general:

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Ejemplo para dispositivos de escritorio:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15(KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

Ejemplo para dispositivos móviles:

Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

Ocasionalmente, Applebot actualizará la versión del navegador que anuncia mientras permanece en el formato general anterior.

Apple Podcasts

El tráfico de iTMS también puede provenir de los hosts de applebot.apple.com y se identificará por el siguiente agente de usuario:

User-Agent: iTMS

El agente de usuario de iTMS no sigue el archivo robots.txt, ya que no es un rastreador de búsqueda general. Solo rastrea las URL asociadas con contenido registrado en Apple Podcasts.

Personalizar reglas de robot.txt

Applebot respeta las directivas estándar de robots.txt en los rastreos de búsqueda generales dirigidos a Applebot. En este ejemplo, Applebot no intenta rastrear los documentos configurados como /private/ o /not-allowed/:

User-agent: Applebot Allow: / Disallow: /private/ User-agent: * Disallow: /not-allowed/

Si las instrucciones de robots no mencionan a Applebot, pero sí mencionan a Googlebot, el robot de Apple seguirá las instrucciones de Googlebot.

Reglas de representación y de robot

Applebot puede representar el contenido de tu sitio web dentro de un navegador. Si JavaScript, CSS y otros recursos están bloqueados a través de robots.txt, es posible que no pueda representar el contenido de manera correcta. Esto incluye XHR, JS y CSS que la página podría necesitar.

Para que Applebot indexe el mejor contenido para la página, asegúrate de que Applebot tenga disponible todo lo necesario para que un usuario represente la página. También puedes asegurarte de que el sitio web se representa sin problemas, aunque no todos los recursos estén disponibles. Esto a menudo se conoce como “degradación elegante”.

Personalizar reglas de indexación para Applebot

Applebot acepta las metaetiquetas de robots en documentos HTML. Para especificar reglas de robots en metaetiquetas, inserte las etiquetas en la

... ...

Applebot también acepta las siguientes directivas:

• noindex: Applebot no indexará esta página, por lo que la página no aparecerá en las sugerencias de Spotlight o Siri.

• nosnippet: Applebot no generará una descripción ni una respuesta web de la página. En todas las sugerencias para visitar esta URL, solo se incluirá el título de la página.

• nofollow: Applebot no seguirá ninguno de los enlaces de la página.

• none: Applebot no indexará, fragmentará ni seguirá ninguno de los enlaces de la página, como se describe más arriba.

• all: Applebot proporcionará el documento de sugerencias y fragmentará el contenido para que aparezca una descripción breve de la página junto a la imagen representativa. Es posible que Applebot siga los enlaces de la página para proporcionar más sugerencias.

Para colocar varias directivas en una sola metaetiqueta, usa una lista separada por comas o varias metaetiquetas.

Ejemplo:

Control del uso de datos

Además de seguir todas las reglas y directivas de robots.txt, Apple tiene un agente de usuario secundario, Applebot-Extended, que ofrece a los editores web controles adicionales sobre cómo Apple puede usar el contenido de su sitio web.

Con Applebot-Extended, los editores web pueden optar por dejar de usar el contenido de su sitio web para entrenar los modelos básicos de Apple que impulsan las funciones de inteligencia artificial generativa en todos los productos Apple, incluidos Apple Intelligence, servicios y herramientas para desarrolladores.

Puedes agregar una regla en robots.txt para no permitir Applebot-Extended, de la siguiente manera:

User-agent: Applebot-Extended Disallow: /private/

Applebot-Extended no rastrea páginas web. Las páginas web que deshabilitan Applebot-Extended pueden seguir incluyéndose en los resultados de búsqueda. Applebot-Extended solo se utiliza para determinar cómo usar los datos rastreados por el agente de usuario de Applebot.

Permitir Applebot-Extended ayudará a mejorar las capacidades y la calidad de los modelos de inteligencia artificial generativa de Apple con el tiempo.

Acerca de las clasificaciones de las búsquedas

Al clasificar los resultados de las búsquedas web, Apple Search puede tener en cuenta los siguientes factores:

• Interacción agregada del usuario con los resultados de las búsquedas

• Relevancia y concordancia de los términos de búsqueda con los temas y el contenido de la página web

• Cantidad y calidad de los enlaces de otras páginas en la web

• Señales basadas en la ubicación del usuario (datos aproximados)

• Características del diseño de la página web

Los resultados de la búsqueda pueden usar los factores anteriores sin importar (de forma predeterminada) la clasificación. Los usuarios de Buscar están sujetos a la política de privacidad disponible en Sugerencias de Siri, Buscar y privacidad.

Comunícate con nosotros

Si tienes preguntas o inquietudes, comunícate con nosotros en applebot@apple.com.