Acerca de Applebot

Más información acerca de Applebot, la araña web para Apple.

Los datos rastreados por Applebot se utilizan para alimentar varias prestaciones, como la tecnología de búsqueda integrada en muchas experiencias de usuario del ecosistema Apple, lo que incluye Spotlight, Siri y Safari. Habilitar Applebot en robots.txt permite que el contenido del sitio web aparezca en los resultados de búsqueda para los usuarios de Apple de todo el mundo con estos productos.

Applebot accede a muchos tipos de recursos desde los servidores web, incluidos, entre otros, robots.txt, mapas del sitio, feeds de RSS, HTML, subrecursos necesarios para renderizar páginas como javascript, solicitudes de Ajax, imágenes y más.

Identificar Applebot

El tráfico procedente de Applebot se suele identificar mediante el uso de DNS inverso en el dominio *.applebot.apple.com.

Otra forma es hacer coincidir la dirección IP con un prefijo CIDR contenido en el siguiente archivo JSON: Applebot IP CIDRs.

DNS inverso

Se puede usar el comando host para determinar si una dirección IP es parte de Applebot. Estos ejemplos muestran el comando host y su resultado:

$ host 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com has address 17.58.101.179.

El comando host también se puede usar para verificar que el DNS apunte a la misma dirección IP:

$ host 17.58.101.179 179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

Agentes de usuario

Un agente de usuario ayuda a los webmasters a identificar el tráfico del rastreador, para que puedan obtener informes de registro de acceso precisos de su actividad y controlar el acceso al sitio a través de robots.txt.

Applebot trabaja con varios agentes de usuario, incluidos Buscar y Podcasts.

Buscar

Para el rastreo y el renderizado de la web de búsqueda, Applebot utiliza el siguiente formato:

La cadena de usuario-agente incluye “Applebot” (junto a otra información). Este es el formato general:

Mozilla/5.0 (Dispositivo; OS_version) AppleWebKit/WebKit_version (KHTML, como Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Ejemplo para equipos de escritorio:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15(KHTML, como Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

Ejemplo para dispositivos móviles:

Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 como Mac OS X) AppleWebKit/605.1.15 (KHTML, como Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

A veces, Applebot actualizará la versión del navegador que anuncia mientras está en el formato general anterior.

Apple Podcasts

iTMS también puede venir de los hosts de iTMS también puede venir de los hosts de applebot.apple.com

Agente de usuario: iTMS

El agente de usuario de iTMS no sigue a robots.txt, ya que no es un rastreador de búsqueda general. Solo rastrea las URL asociadas con el contenido registrado en Apple Podcasts.

Personalizar reglas de robot.txt

Applebot respeta las directivas estándar de robots.txt en los rastreos de búsqueda generales que están dirigidos a Applebot. En este ejemplo, Applebot no intenta rastrear los documentos que se encuentran en /private/ ni en /not-allowed/:

Agente de usuario: Applebot Allow: / Disallow: /private/ User-agent: * Disallow: /not-allowed/

Si las instrucciones de los robots no mencionan Applebot pero sí Googlebot, el robot de Apple seguirá las instrucciones de Googlebot.

Reglas de representación y de robot

Applebot puede representar el contenido de tu sitio web dentro de un navegador. Si JavaScript, CSS y otros recursos están bloqueados a través de robots.txt, es posible que no pueda representar el contenido correctamente. Esto incluye XHR, JS y CSS que la página podría necesitar.

Para que Applebot indexe el mejor contenido para la página, asegúrate de que Applebot tenga disponible todo lo necesario para que un usuario represente la página. También puedes asegurarte de que el sitio web se representa sin problemas, aunque no todos los recursos estén disponibles. Esto a menudo se conoce como “degradación elegante”.

Personalizar reglas de indexación para Applebot

Applebot admite metaetiquetas de robots en documentos HTML. Para especificar las reglas de los robots en las metaetiquetas, coloca las etiquetas en la sección

... ...

Applebot también admite las siguientes directivas:

• noindex: Applebot no indexará esta página y no aparecerá en las sugerencias de Spotlight ni en las de Siri.

• nosnippet: Applebot no generará ninguna descripción ni respuesta web para la página. Las sugerencias para visitar esta URL incluirán solo el título de la página.

• nofollow: Applebot no abrirá ningún enlace de la página.

• none: Applebot no indexará, fragmentará ni abrirá los enlaces de la página, según se ha mencionado anteriormente.

• all: Applebot proporciona el documento para que se hagan sugerencias y fragmenta el contenido para que aparezca una breve descripción de la página junto a una imagen representativa. Es posible que Applebot abra los enlaces de la página para facilitar más sugerencias.

Si quieres incluir varias directivas en una sola metaetiqueta, utiliza una lista separada por comas o varias metaetiquetas.

Ejemplo:

Control del uso de datos

Además de seguir todas las reglas y directivas de robots.txt, Apple tiene un agente de usuario secundario, Applebot-Extended, que ofrece a los editores web controles adicionales sobre cómo Apple puede usar el contenido de su sitio web.

Con Applebot-Extended, los editores web pueden elegir no participar en el uso de contenido de su sitio web para entrenar a los modelos básicos de Apple que hay detrás de las prestaciones de IA generativa en los productos Apple, incluidos Apple Intelligence, los servicios y las herramientas para desarrolladores.

Puedes añadir una regla en robots.txt para no permitir Applebot-Extended, de la siguiente manera:

Agente de usuario: Applebot-Extended Disallow: /private/

Applebot-Extended no rastrea páginas web. Las páginas web que no permiten Applebot-Extended se pueden seguir incluyendo en los resultados de búsqueda. Applebot-Extended solo se utiliza para determinar cómo usar los datos rastreados por el agente de usuario de Applebot.

Permitir Applebot-Extended ayudará a mejorar las capacidades y la calidad de los modelos de IA generativa de Apple con el tiempo.

Acerca de las clasificaciones de las búsquedas

Apple Search puede tener en cuenta los siguientes factores al clasificar los resultados de las búsquedas web:

• Interacción agregada del usuario con los resultados de las búsquedas

• Relevancia y concordancia de los términos de búsqueda con los temas y el contenido de la página web

• Número y calidad de enlaces de otras páginas en la web

• Señales basadas en la ubicación del usuario (datos aproximados)

• Características del diseño de la página web

Los resultados de la búsqueda pueden usar los factores anteriores sin importar (predeterminada) la clasificación. Los usuarios de Buscar quedan sujetos a la política de privacidad disponible en Sugerencias de Siri, Buscar y la privacidad.

Contactar con nosotros

Si tienes cualquier duda, contacta con nosotros en applebot@apple.com.