À propos d’Applebot

Consultez cet article pour en savoir davantage sur Applebot, le robot d’indexation d’Apple.

Les données explorées par Applebot sont utilisées pour alimenter diverses fonctionnalités, comme la technologie de recherche intégrée à de nombreuses expériences utilisateur dans l’écosystème d’Apple, notamment Spotlight, Siri et Safari. L’autorisation d’Applebot dans le fichier robots.txt permet l’affichage du contenu de sites Web dans les résultats de recherche des utilisateurs Apple du monde entier dans ces produits.

Les données explorées par Applebot peuvent également être utilisées pour la formation des modèles de base d’Apple qui alimentent les fonctionnalités d’IA génératives des produits Apple, y compris Apple Intelligence, les services et les outils de développement. Les éditeurs Web peuvent refuser que leur contenu soit utilisé pour entraîner des modèles de base génératifs en interdisant Applebot-Extended dans le fichier robots.txt.

Même si vous n’autorisez pas Applebot-Extended, les instructions de votre site Web peuvent toujours permettre à Applebot d’explorer vos pages Web. Dans ce cas, votre contenu resterait détectable par Spotlight, Siri, ainsi que d’autres fonctionnalités du système sur les appareils Apple.

Reconnaître Applebot

Le trafic provenant d’Applebot est généralement identifié à l’aide d’un DNS inversé dans le domaine *.applebot.apple.com.

Vous pouvez également faire correspondre l’adresse IP avec l’un des préfixes CIDR indiqués dans le fichier JSON suivant : préfixes CIDR associés aux adresses IP d’Applebot.

DNS inverse

La commande host peut permettre de déterminer si une adresse IP appartient à Applebot.  Les exemples suivants montrent la commande host et son résultat :

$ host 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com has address 17.58.101.179.

On peut également utiliser la commande host pour vérifier que le DNS renvoie à la même adresse IP :

$ host 17.58.101.179 179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

Agents utilisateurs

Un agent utilisateur aide les webmestres à identifier le trafic des robots d’indexation, ce qui leur permet d’obtenir des rapports d’accès précis sur leur activité et de contrôler l’accès au site avec le fichier robots.txt.

Applebot alimente plusieurs agents utilisateurs, y compris Rechercher et Podcasts.

Rechercher

Pour l’exploration et le rendu des recherches sur le Web, Applebot utilise le format suivant :

La chaîne d’agent utilisateur contient « Applebot » et d’autres renseignements. Le format général est le suivant :

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Exemple pour un ordinateur de bureau :

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, comme Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

Exemple pour un appareil mobile :

Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

Parfois, Applebot mettra à jour la version du navigateur annoncée tout en conservant le format général ci-dessus.

Apple Podcasts

Le trafic iTMS peut également provenir d’hôtes applebot.apple.com; il sera identifié par l’agent utilisateur suivant :

User-Agent: iTMS

L’agent utilisateur iTMS ne respecte pas les directives robots.txt, car il ne s’agit pas d’un robot d’indexation de recherche général. Il explore uniquement les URL associées au contenu enregistré sur Apple Podcasts.

Personnaliser les règles du fichier robot.txt

Applebot respecte les directives robots.txt standard dans les explorations de recherche générales destinées à Applebot. Dans l’exemple suivant, Applebot n’essaie pas d’indexer les documents répertoriés sous /private/ ou /not-allowed/ :

User-agent: Applebot Allow: / Disallow: /private/ User-agent: * Disallow: /not-allowed/

Si les instructions de robot ne mentionnent pas Applebot, mais qu’elles mentionnent Googlebot, le robot d’Apple suivra les instructions de Googlebot.

Rendu et règles pour les robots

Applebot peut faire le rendu du contenu de votre site Web dans un navigateur. Si javascript, CSS et d’autres ressources sont bloquées par le fichier robots.txt, il ne pourra peut-être pas faire correctement le rendu du contenu. Sont comprises les ressources XHR, JS et CSS possiblement nécessaires à la page.

Pour qu’Applebot puisse indexer le meilleur contenu de la page, assurez-vous que tout ce qui est nécessaire au rendu de la page pour l’utilisateur soit aussi accessible à Applebot. Autrement, assurez-vous que le rendu de la page se fasse proprement, même si toutes les ressources ne sont pas accessibles. C’est ce qu’on appelle fréquemment le fonctionnement dégradé.

Personnalisation des règles d’indexation pour Applebot

Applebot prend en charge les balises méta pour robots dans les documents HTML. Pour spécifier les règles pour robots dans les balises méta, placez les balises dans la section <head> du document :

<html><head> <meta name="robots" content="noindex"/> ... </head> <body>...</body> </html>

Applebot prend également en charge les directives suivantes :

• noindex : Applebot n’indexera pas cette page, et elle ne figurera pas dans les suggestions Spotlight ou Siri.

• nosnippet : Applebot ne générera pas de description ni de réponse Web pour la page.

• nofollow : Applebot ne suivra aucun lien sur la page.

• none : Applebot n’indexera pas cette page, n’extraira aucun contenu, ni ne suivra de lien sur celle-ci, comme décrit ci-dessus.

• all : Applebot fournit le document pour les suggestions et génère des extraits de son contenu, ce qui permet d’afficher une brève description de la page à côté d’une image représentative.

Pour mettre plusieurs directives dans une même balise méta, utilisez une liste dont les éléments sont séparés par des virgules ou plusieurs balises méta.

Exemple :

<meta name="robots" content="nosnippet, noindex”> <meta name="robots" content=“noindex"> <meta name="robots" content=“nosnippet">

Applebot-Extended et le contrôle de l’utilisation des données

En plus de suivre toutes les règles et directives du fichier robots.txt, Apple dispose d’un agent utilisateur secondaire, Applebot-Extended, qui donne aux éditeurs Web des contrôles supplémentaires sur l’utilisation du contenu de leur site Web par Apple.

Avec Applebot-Extended, les éditeurs Web peuvent interdire l’utilisation du contenu de leur site Web à des fins de formation des modèles de base d’Apple qui alimentent les fonctionnalités d’IA générative des produits Apple, notamment Apple Intelligence, les services et les outils de développement.

Vous pouvez ajouter la règle suivante dans le fichier robots.txt pour interdire Applebot-Extended :

User-agent: Applebot-Extended Disallow: /private/

Applebot-Extended n’explore pas les pages Web. Les pages Web qui interdisent Applebot-Extended peuvent toujours être affichées dans les résultats de recherche. Applebot-Extended est uniquement utilisé pour définir l’utilisation des données explorées par l’agent utilisateur d’Applebot.

L’autorisation d’Applebot-Extended contribuera à l’amélioration des capacités et de la qualité des modèles d’IA générative d’Apple au fil du temps.

À propos du classement des résultats de recherche

La recherche Apple peut tenir compte des facteurs suivants pour le classement des résultats de recherche sur le Web :

• Interactions agrégées des utilisateurs avec les résultats de recherche.

• Pertinence et correspondance des termes de recherche par rapport aux sujets et au contenu des pages Web.

• Nombre et qualité des liens provenant d’autres pages sur le Web.

• Signaux basés sur la position de l’utilisateur (données approximatives).

• Caractéristiques de conception de la page Web.

Les résultats de recherche peuvent prendre en compte les facteurs ci-dessus sans importance (prédéterminée) de classement. Les utilisateurs de la recherche sont assujettis à la politique de confidentialité de l’article Suggestions Siri, recherche et confidentialité.

Nous joindre

Si vous avez des questions ou des préoccupations, veuillez nous écrire à l’adresse applebot@apple.com.