Applebot est le robot d’indexation du Web pour Apple. Des produits comme les suggestions Siri et les suggestions Spotlight se servent d’Applebot.
Reconnaître Applebot
Le trafic généré par Applebot se reconnaît à son agent utilisateur, et une requête DNS inverse montre qu’il appartient au domaine *.applebot.apple.com, provenant du bloc d’adresses Internet 17.0.0.0.
Vérifier que du trafic est celui d’Applebot
Dans macOS, la commande host peut servir à déterminer si une adresse IP appartient à Applebot. Les exemples suivants montrent la commande host et son résultat :
$ host 17.58.101.179 179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.
On peut également utiliser la commande host pour vérifier que le DNS renvoie à la même adresse IP :
$ host 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com has address 17.58.101.179.
Vérification de l’agent utilisateur d’Applebot
La chaîne d’agent utilisateur contient « Applebot » et d’autres renseignements. Voici son format :
Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko) Version/Safari_version Safari/WebKit_version (Applebot/Applebot_version)
Exemples pour les ordinateurs de bureau :
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1)
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/12.1.1 Safari/605.1.15 (Applebot/0.1)
Exemples pour les appareils mobiles :
Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B410 Safari/600.1.4 (Applebot/0.1; +http://www.apple.com/go/applebot)
Mozilla/5.0 (iPhone; CPU iPhone OS 13_4_1 like Mac OS X) AppleWebKit/605.1.15Z (KHTML, like Gecko) Version/13.1 Mobile/15E148 Safari/604.1 (Applebot/0.1)
Personnaliser les règles du fichier robot.txt
Applebot respecte les directives robots.txt standard destinées à Applebot. Dans l’exemple suivant, Applebot n’essaie pas d’indexer les documents répertoriés sous /private/ ou /not-allowed/ :
User-agent: Applebot # apple Allow: / # Allow everything (also true if omitted) Disallow: /private/ # disallow this directory
User-agent: * # any robot Disallow: /not-allowed/ # disallow this directory
Si les instructions du fichier robots.txt ne mentionnent pas Applebot, mais qu’elles mentionnent Googlebot, le robot d’Apple suivra alors les instructions se rapportant à Googlebot.
Rendu et règles pour les robots
Applebot peut faire le rendu du contenu de votre site Web dans un navigateur. Si javascript, CSS et d’autres ressources sont bloquées par le fichier robots.txt, il ne pourra peut-être pas faire correctement le rendu du contenu. Sont comprises les ressources XHR, JS et CSS possiblement nécessaires à la page.
Pour qu’Applebot puisse indexer le meilleur contenu de la page, assurez-vous que tout ce qui est nécessaire au rendu de la page pour l’utilisateur soit aussi accessible à Applebot. Autrement, assurez-vous que le rendu de la page se fasse proprement, même si toutes les ressources ne sont pas accessibles. C’est ce qu’on appelle fréquemment le fonctionnement dégradé.
Personnalisation des règles d’indexation pour Applebot
Applebot prend en charge les balises méta pour robots dans les documents HTML. Pour spécifier les règles pour robots dans les balises méta, placez les balises dans la section <head> du document, comme suit :
<html><head> <meta name="robots" content="noindex"/> ... </head> <body>...</body> </html>
Applebot prend également en charge les directives suivantes :
- noindex : Applebot n’indexera pas cette page, et elle ne figurera pas dans les suggestions Spotlight ou Siri.
- nosnippet : Applebot ne générera pas de description ni de réponse Web pour la page. Toutes les suggestions faisant référence à cette URL ne comprendront que le titre de la page.
- nofollow : Applebot ne suivra aucun lien sur la page.
- none : Applebot n’indexera pas cette page, n’extraira aucun contenu, ni ne suivra de lien sur celle-ci, comme décrit ci-dessus.
- all : Applebot fournit le document pour les suggestions et génère des extraits de son contenu, ce qui permet d’afficher une brève description de la page à côté d’une image représentative. Applebot peut suivre des liens sur la page pour fournir davantage de suggestions.
Pour mettre plusieurs directives dans une même balise méta, utilisez une liste dont les éléments sont séparés par des virgules ou plusieurs balises méta. Exemples :
<meta name="robots" content="nosnippet, noindex”>
<meta name="robots" content=“noindex">
<meta name="robots" content=“nosnippet">
À propos du classement des résultats de recherche
La recherche Apple peut tenir compte des facteurs suivants pour le classement des résultats de recherche sur le Web :
- Interactions agrégées des utilisateurs avec les résultats de recherche.
- Pertinence et correspondance des termes de recherche par rapport aux sujets et au contenu des pages Web.
- Nombre et qualité des liens provenant d’autres pages sur le Web.
- Signaux basés sur la position de l’utilisateur (données approximatives).
- Caractéristiques de conception de la page Web.
Les résultats de recherche peuvent prendre en compte les facteurs ci-dessus sans importance (prédéterminée) de classement. Les utilisateurs de la recherche sont assujettis à la politique de confidentialité de l’article Suggestions Siri, recherche et confidentialité.
Communiquer avec nous
Si vous avez des questions ou des préoccupations, veuillez nous écrire à l’adresse applebot@apple.com.