Acerca de Applebot

Más información acerca de Applebot, la araña web para Apple.

Los datos rastreados por Applebot se utilizan para alimentar varias prestaciones, como la tecnología de búsqueda integrada en muchas experiencias de usuario del ecosistema Apple, lo que incluye Spotlight, Siri y Safari. Habilitar Applebot en robots.txt permite que el contenido del sitio web aparezca en los resultados de búsqueda para los usuarios de Apple de todo el mundo con estos productos.

Los datos rastreados por Applebot también se pueden utilizar para ayudar a entrenar modelos básicos de Apple para las prestaciones de IA generativa en los productos Apple, como Apple Intelligence, los Servicios y las Herramientas para desarrolladores. Los editores web pueden optar por que su contenido no se utilice para entrenar modelos generativos básicos al no permitir Applebot-Extended en el archivo robots.txt.

Los datos rastreados por Applebot se pueden utilizar para proporcionar contexto adicional y contenido actualizado cuando se usan modelos de IA para generar resultados que se puedan visualizar en los productos y servicios de Apple. Por ejemplo, responder preguntas sobre conocimiento general del mundo en Siri y Buscar, donde se pueden incluir enlaces a fuentes y sitios web utilizados para ayudar a generar la respuesta. Si los editores web prefieren que su contenido no se utilice en estas respuestas de conocimiento general, pueden aplicar la metaetiqueta nosnippet en el contenido específico.

Incluso si no permites Applebot-Extended y etiquetas el contenido del sitio web con la metaetiqueta nosnippet, es posible que las instrucciones de tu sitio web aún puedan permitir que Applebot rastree tus páginas web. Tu contenido seguirá siendo reconocible a través de Spotlight, Siri y Safari, así como a través de otras prestaciones de todo el sistema en los dispositivos Apple.

Identificar Applebot

El tráfico procedente de Applebot se suele identificar mediante el uso de DNS inverso en el dominio *.applebot.apple.com.

Otra forma es hacer coincidir la dirección IP con un prefijo CIDR contenido en el siguiente archivo JSON: Applebot IP CIDRs.

DNS inverso

Se puede usar el comando host para determinar si una dirección IP es parte de Applebot. Estos ejemplos muestran el comando host y su resultado:

$ host 17-58-101-179.applebot.apple.com

17-58-101-179.applebot.apple.com has address 17.58.101.179.

El comando host también se puede usar para verificar que el DNS apunte a la misma dirección IP:

$ host 17.58.101.179

179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

Agentes de usuario

Un agente de usuario ayuda a los webmasters a identificar el tráfico del rastreador, para que puedan obtener informes de registro de acceso precisos de su actividad y controlar el acceso al sitio a través de robots.txt.

Applebot trabaja con varios agentes de usuario, incluidos Buscar y Podcasts.

Buscar

Para el rastreo y el renderizado de la web de búsqueda, Applebot utiliza el siguiente formato:

La cadena de usuario-agente incluye «Applebot» (junto a otra información). Este es el formato general:

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Mozilla/5.0 (Dispositivo; OS_version) AppleWebKit/WebKit_version (KHTML, como Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Ejemplo para equipos de escritorio:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15(KHTML, como Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

Ejemplo para dispositivos móviles:

Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 como Mac OS X) AppleWebKit/605.1.15 (KHTML, como Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

A veces, Applebot actualizará la versión del navegador que anuncia mientras está en el formato general anterior.

Rastreadores especiales

Propiedades en línea de Apple

El tráfico de iTMS puede venir de los hosts de applebot.apple.com, y se identificará con el siguiente agente de usuario:

Agente de usuario: iTMS

El agente de usuario de iTMS no sigue a robots.txt, ya que no es un rastreador de búsqueda general. El agente de usuario de iTMS solo rastrea las direcciones URL asociadas con el contenido registrado en Apple Podcasts.

Personalizar reglas de robot.txt

Applebot respeta las directivas estándar de robots.txt en los rastreos de búsqueda generales que están dirigidos a Applebot. En este ejemplo, Applebot no intenta rastrear los documentos que se encuentran en /private/ ni en /not-allowed/:

User-agent: Applebot

Allow: /

Disallow: /private/

User-agent: *

Disallow: /not-allowed/

Si las instrucciones de los robots no mencionan Applebot pero sí Googlebot, el robot de Apple seguirá las instrucciones de Googlebot. Applebot no sigue crawl-delay.

Applebot está diseñado para ser eficiente y se ajustará para minimizar el impacto en los propietarios de los sitios. Por ejemplo, para evitar sobrecargar los servidores del sitio, la tasa de rastreo de Applebot se ajusta automáticamente cuando un sitio se ralentiza o devuelve errores. Apple también almacena en caché el contenido rastreado para reducir el rastreo innecesario. Al identificar el contenido que no hay que rastrear, se reducen los costes de infraestructura para los propietarios de sitios y, en consecuencia, internet se vuelve más eficiente en general.

Reglas de representación y de robot

Applebot puede representar el contenido de tu sitio web dentro de un navegador. Si JavaScript, CSS y otros recursos están bloqueados a través de robots.txt, es posible que no pueda representar el contenido correctamente. Esto incluye XHR, JS y CSS que la página podría necesitar.

Para que Applebot indexe el mejor contenido para la página, asegúrate de que Applebot tenga disponible todo lo necesario para que un usuario represente la página. También puedes asegurarte de que el sitio web se representa sin problemas, aunque no todos los recursos estén disponibles. Esto a menudo se conoce como «degradación elegante».

Personalizar reglas de indexación para Applebot

Applebot admite metaetiquetas de robots en documentos HTML. Para especificar reglas de robots en las metaetiquetas, inserta las etiquetas en la sección <head> del documento:

<html>

<head>

<meta name="robots" content="noindex"/>

...

</head>

<body>...</body>

</html>

Applebot también admite las siguientes directivas:

• noindex: Applebot no indexará esta página y no aparecerá en las sugerencias de Spotlight ni en las de Siri.

• nosnippet: Applebot no generará ninguna descripción ni respuesta web para la página. Las sugerencias para visitar esta dirección URL solo incluirán el título de la página. Apple no utilizará datos etiquetados como nosnippet como contexto adicional y contenido actualizado cuando se usen modelos de IA para generar resultados que se puedan visualizar en los productos y servicios de Apple.

• nofollow: Applebot no abrirá ningún enlace de la página.

• none: Applebot no indexará, fragmentará ni abrirá los enlaces de la página, según se ha mencionado anteriormente.

• all: Applebot proporciona el documento para que se hagan sugerencias y fragmenta el contenido para que aparezca una breve descripción de la página junto a una imagen representativa. Es posible que Applebot abra los enlaces de la página para facilitar más sugerencias.

Si quieres incluir varias directivas en una sola metaetiqueta, utiliza una lista separada por comas o varias metaetiquetas.

Ejemplo:

<meta name="robots" content="nosnippet, noindex”>

<meta name="robots" content=“noindex">

<meta name="robots" content=“nosnippet">

<meta name="applebot" content=“nosnippet">

Uso del encabezado HTTP X-Robots-Tag

Applebot también admite directivas de indexación enviadas a través del encabezado de respuesta HTTP X-Robots-Tag. Esto resulta útil para recursos que no son HTML (como PDF o imágenes) en los que no se pueden usar metaetiquetas o cuando quieres aplicar directivas en los servidores. Para aplicar una directiva a Applebot:

X-Robots-Tag: applebot: nosnippet

Marcado de contenido tras un muro de pago

Applebot admite la propiedad schema.org isAccessibleForFree para identificar páginas que están detrás de un muro de pago, acceso medido o suscripción. Añade la propiedad a tus datos estructurados a nivel de página en JSON-LD:

<script type="application/ld+json">

{

"@context": "https://schema.org",

"isAccessibleForFree": false

}

</script>

Las páginas marcadas isAccessibleForFree: false pueden aparecer en los resultados de búsqueda, pero Applebot no usará ese contenido como contexto adicional cuando se utilicen modelos de IA para generar contenido que se muestre en los productos y servicios de Apple. Esta señal se aplica a nivel de página. No se admite el marcado de secciones con hasPart. Para optar por no permitir que tu contenido se utilice para entrenar los modelos de base de Apple, usa Applebot-Extended, descrito en la siguiente sección.

Applebot-Extended y control del uso de datos

Además de seguir todas las reglas y directivas de robots.txt, Apple tiene un agente de usuario secundario, Applebot-Extended, que ofrece a los editores web controles adicionales sobre cómo Apple puede usar el contenido de su sitio web.

Con Applebot-Extended, los editores web pueden elegir no permitir que se use el contenido de su sitio web para entrenar los modelos básicos de carácter general de Apple que hay detrás de las prestaciones de IA generativa en los productos Apple, como Apple Intelligence, los servicios y las herramientas para desarrolladores.

Puedes añadir una regla en robots.txt para no permitir Applebot-Extended, de la siguiente manera:

User-agent: Applebot-Extended

Disallow: /private/

Applebot-Extended no rastrea páginas web. Las páginas web que no permiten Applebot-Extended se pueden seguir incluyendo en los resultados de búsqueda. Applebot-Extended solo se utiliza para determinar cómo usar los datos rastreados por el agente de usuario de Applebot.

Permitir Applebot-Extended ayudará a mejorar las capacidades y la calidad de los modelos de IA generativa de Apple con el tiempo.

Acerca de las clasificaciones de las búsquedas

Apple Search puede tener en cuenta los siguientes factores al clasificar los resultados de las búsquedas web:

• Interacción agregada del usuario con los resultados de las búsquedas

• Relevancia y concordancia de los términos de búsqueda con los temas y el contenido de la página web

• Número y calidad de enlaces de otras páginas en la web

• Señales basadas en la ubicación del usuario (datos aproximados)

• Características del diseño de la página web

Los resultados de la búsqueda pueden usar los factores anteriores sin importar (predeterminada) la clasificación. Los usuarios de Buscar quedan sujetos a la política de privacidad disponible en Sugerencias de Siri, Buscar y la privacidad.

Contactar con nosotros

Si tienes cualquier duda, contacta con nosotros en applebot@apple.com.