Acerca de Applebot

Obtén información sobre Applebot, el agente de búsqueda de Apple.

Los datos rastreados por Applebot se utilizan para alimentar varias funciones, como la tecnología de búsqueda integrada en muchas experiencias de usuario en el ecosistema de Apple, incluidas las de Spotlight, Siri, y Safari. Activar Applebot en robots.txt permite que el contenido de los sitios web aparezca en los resultados de búsqueda de los usuarios de Apple de todo el mundo con estos productos.

Los datos rastreados por Applebot también se pueden utilizar para ayudar a entrenar los modelos básicos de Apple que impulsan las funciones de inteligencia artificial generativa en todos los productos Apple, incluidos Apple Intelligence, servicios y herramientas para desarrolladores. Los editores web pueden optar por dejar de usar su contenido para entrenar los modelos básicos generativos desactivando Applebot-Extended en el archivo robots.txt.

Los datos rastreados de Applebot pueden usarse para proporcionar contexto adicional y contenido actualizado cuando se utilizan modelos de inteligencia artificial para generar resultados que se muestren en los productos y servicios de Apple. Por ejemplo, responder preguntas generales sobre el mundo en Siri y Buscar que pueden incluir enlaces a fuentes y sitios web utilizados para ayudar a generar la respuesta. Los editores web pueden optar por no usar su contenido en estas respuestas generales de conocimiento mundial aplicando la metaetiqueta nosnippet a contenido específico.

Incluso si no permites Applebot-Extended y etiquetas el contenido del sitio web con la metaetiqueta nosnippet, las instrucciones de tu sitio web pueden seguir permitiendo que Applebot rastree tus páginas web. Tu contenido se podrá seguir encontrando a través de Spotlight, Siri y Safari, así como otras funciones del sistema en los dispositivos Apple.

Cómo identificar Applebot

El tráfico proveniente de Applebot generalmente se identifica mediante el uso de DNS inverso en el dominio *.applebot.apple.com.

Otra forma es hacer coincidir la dirección IP con un prefijo CIDR contenido en el siguiente archivo JSON: Applebot IP CIDRs.

DNS inverso

Se puede usar el comando host para determinar si una dirección IP es parte de Applebot. Estos ejemplos muestran el comando host y su resultado:

$ host 17-58-101-179.applebot.apple.com

17-58-101-179.applebot.apple.com tiene la dirección 17.58.101.179.

El comando host también se puede usar para verificar que el DNS apunte a la misma dirección IP:

$ host 17.58.101.179

179.101.58.17.in-addr.arpa puntero de nombre de dominio 17-58-101-179.applebot.apple.com.

Agentes de usuario

Un agente de usuario ayuda a los administradores Web a identificar el tráfico de rastreadores, de modo que puedan obtener informes de registro de acceso precisos sobre la actividad de los rastreadores y controlar el acceso al sitio a través de robots.txt.

Applebot funciona con varios agentes de usuario, incluidos Buscar y Podcasts.

Cómo buscar

Para el rastreo y la representación de búsquedas web, Applebot utiliza el siguiente formato:

La cadena de usuario-agente incluye “Applebot” y también otra información. El siguiente es el formato general:

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Ejemplo para dispositivos de escritorio:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

Ejemplo para dispositivos móviles:

Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

Ocasionalmente, Applebot actualizará la versión del navegador que anuncia mientras permanece en el formato general anterior.

Rastreadores especiales

Propiedades en línea de Apple

El tráfico de iTMS puede provenir de los hosts de applebot.apple.com y se identificará por el siguiente agente de usuario:

User-Agent: iTMS

El agente de usuario de iTMS no sigue el archivo robots.txt, ya que no es un rastreador de búsqueda general. El agente de usuario de iTMS sólo rastrea las URL asociadas con el contenido registrado en Apple Podcasts.

Cómo personalizar reglas de robot.txt

Applebot respeta las directivas estándar de robots.txt en los rastreos de búsqueda generales dirigidos a Applebot. En este ejemplo, Applebot no intenta rastrear los documentos configurados como /private/ o /not-allowed/:

Agente de usuario: Applebot

Allow: /

Disallow: /private/

User-agent: *

Disallow: /not-allowed/

Si las instrucciones de robots no mencionan a Applebot, pero sí mencionan a Googlebot, el robot de Apple seguirá las instrucciones de Googlebot. Applebot no sigue el retraso de rastreo.

Applebot está diseñado para ser eficiente y se ajustará para minimizar el impacto en los propietarios de sitios. Por ejemplo, para evitar la sobrecarga de los servidores del sitio, la velocidad de rastreo de Applebot se ajusta automáticamente cuando un sitio se ralentiza o devuelve errores. Apple también almacena en caché el contenido rastreado para reducir el rastreo innecesario. Identificar el contenido que no necesita rastrearse reduce los costos de infraestructura para los propietarios de sitios y hace que Internet sea más eficiente en general.

Reglas de representación y de robot

Applebot puede representar el contenido de tu sitio web dentro de un navegador. Si JavaScript, CSS y otros recursos están bloqueados a través de robots.txt, es posible que no pueda representar el contenido de manera correcta. Esto incluye XHR, JS y CSS que la página podría necesitar.

Para que Applebot indexe el mejor contenido para la página, asegúrate de que Applebot tenga disponible todo lo necesario para que un usuario represente la página. También puedes asegurarte de que el sitio web se representa sin problemas, aunque no todos los recursos estén disponibles. Esto a menudo se conoce como “degradación elegante”.

Cómo personalizar reglas de indexación para Applebot

Applebot acepta las metaetiquetas de robots en documentos HTML. Para especificar las reglas de robots en las metaetiquetas, coloca las etiquetas en la sección <head> del documento:

<html>

<head>

<meta name="robots" content="noindex"/>

...

</head>

<body>...</body>

</html>

Applebot también acepta las siguientes directivas:

• noindex: Applebot no indexará esta página, por lo que la página no aparecerá en las sugerencias de Spotlight o Siri.

• nosnippet: Applebot no generará una descripción ni una respuesta web de la página. En todas las sugerencias para visitar esta URL, solo se incluirá el título de la página. Apple no usará los datos etiquetados nosnippet como contexto adicional ni contenido actualizado cuando se utilicen modelos de inteligencia artificial para generar resultados que se muestren en los productos y servicios de Apple.

• nofollow: Applebot no seguirá ninguno de los enlaces de la página.

• none: Applebot no indexará, fragmentará ni seguirá ninguno de los enlaces de la página, como se describe más arriba.

• all: Applebot proporcionará el documento de sugerencias y fragmentará el contenido para que aparezca una descripción breve de la página junto a la imagen representativa. Es posible que Applebot siga los enlaces de la página para proporcionar más sugerencias.

Para colocar varias directivas en una sola metaetiqueta, usa una lista separada por comas o varias metaetiquetas.

Ejemplo:

<meta name="robots" content="nosnippet, noindex”>

<meta name="robots" content=“noindex">

<meta name="robots" content=“nosnippet">

<meta name="applebot" content=“nosnippet">

Cómo usar el encabezado HTTP X-Robots-Tag

Applebot también admite directivas de indexación enviadas a través del encabezado de respuesta HTTP X-Robots-Tag. Esto es útil para recursos que no son HTML (como archivos PDF o imágenes) en los que no se pueden usar metaetiquetas, o cuando quieres aplicar directivas en el nivel del servidor. Para aplicar una directiva a Applebot:

X-Robots-Tag: applebot: nosnippet

Cómo marcar contenido con muro de pago

Applebot admite la propiedad schema.org isAccessibleForFree para identificar páginas que están detrás de un muro de pago, acceso medido o suscripción. Agrega la propiedad a los datos estructurados a nivel de página en JSON-LD:

<script type="application/ld+json">

{

"@context": "https://schema.org",

"isAccessibleForFree": false

}

</script>

páginas marcadas páginas marcadas isAccessibleForFree: false cumplen los requisitos para aparecer en los resultados de búsqueda, pero Applebot no usará ese contenido como contexto adicional cuando se utilicen modelos de inteligencia artificial para generar resultados que se muestren en los productos y servicios de Apple. Esta señal se aplica a nivel de página. No se admite el marcado a nivel de sección con hasPart

Applebot-Extended y control del uso de datos

Además de seguir todas las reglas y directivas de robots.txt, Apple tiene un agente de usuario secundario, Applebot-Extended, que ofrece a los editores web controles adicionales sobre cómo Apple puede usar el contenido de su sitio web.

Con Applebot-Extended, los editores web pueden optar por dejar de usar el contenido de su sitio web para entrenar los modelos básicos de propósito general de Apple que impulsan las funciones de inteligencia artificial generativa en todos los productos Apple, incluidos Apple Intelligence, servicios y herramientas para desarrolladores.

Puedes agregar una regla en robots.txt para no permitir Applebot-Extended, de la siguiente manera:

User-agent: Applebot-Extended

Disallow: /private/

Applebot-Extended no rastrea páginas web. Las páginas web que deshabilitan Applebot-Extended pueden seguir incluyéndose en los resultados de búsqueda. Applebot-Extended solo se utiliza para determinar cómo usar los datos rastreados por el agente de usuario de Applebot.

Permitir Applebot-Extended ayudará a mejorar las capacidades y la calidad de los modelos de inteligencia artificial generativa de Apple con el tiempo.

Acerca de las clasificaciones de las búsquedas

Al clasificar los resultados de las búsquedas web, Apple Search puede tener en cuenta los siguientes factores:

• Interacción agregada del usuario con los resultados de las búsquedas

• Relevancia y concordancia de los términos de búsqueda con los temas y el contenido de la página web

• Cantidad y calidad de los enlaces de otras páginas en la web

• Señales basadas en la ubicación del usuario (datos aproximados)

• Características del diseño de la página web

Los resultados de la búsqueda pueden usar los factores anteriores sin importar (de forma predeterminada) la clasificación. Los usuarios de Buscar están sujetos a la política de privacidad disponible en Sugerencias de Siri, Buscar y privacidad.

Comunícate con nosotros

Si tienes preguntas o inquietudes, comunícate con nosotros en applebot@apple.com.