Over Applebot

Applebot is de webcrawler voor Apple. Producten zoals Siri en Spotlight maken voor hun suggesties gebruik van Applebot.

Applebot identificeren

Verkeer dat afkomstig is van Applebot, wordt geïdentificeerd door de user-agent, en een omgekeerde DNS-lookup geeft als domein '*.applebot.apple.com', afkomstig uit het netwerkblok 17.0.0.0.

Controleren of verkeer afkomstig is van Applebot

In macOS kan het commando 'host' worden gebruikt om te bepalen of een IP-adres deel uitmaakt van Applebot. Hier zijn enkele voorbeelden van het commando 'host' en de resultaten ervan:

$ host 17.58.101.179 179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

Het commando 'host' kan ook worden gebruikt om te controleren of de DNS naar hetzelfde IP-adres verwijst:

$ host 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com has address 17.58.101.179.

Applebot-user-agent verifiëren

De tekenreeks 'user-agent' bevat 'Applebot' en andere gegevens. Dit is de notatie:

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko) Version/Safari_version Safari/WebKit_version (Applebot/Applebot_version)

Voorbeelden voor desktop:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1) Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/12.1.1 Safari/605.1.15 (Applebot/0.1)

Voorbeelden voor mobiel:

Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B410 Safari/600.1.4 (Applebot/0.1; +http://www.apple.com/go/applebot) Mozilla/5.0 (iPhone; CPU iPhone OS 13_4_1 like Mac OS X) AppleWebKit/605.1.15Z (KHTML, like Gecko) Version/13.1 Mobile/15E148 Safari/604.1 (Applebot/0.1)

robot.txt-regels aanpassen

Applebot respecteert de standaardregels voor aanwijzingen in robots.txt die gericht zijn aan Applebot. In dit voorbeeld zal Applebot niet proberen om documenten te crawlen die zich bevinden onder '/private/' of '/not-allowed/':

User-agent: Applebot # apple Allow: / # Allow everything (also true if omitted) Disallow: /private/ # disallow this directory User-agent: * # any robot Disallow: /not-allowed/ # disallow this directory

Als in de instructies voor robots niet 'Applebot' wordt vermeld, maar wel 'Googlebot', volgt de Apple robot de Googlebot-instructies.

Weergave en robotregels

Applebot kan de inhoud van je website weergeven in een browser. Als javascript, CSS en andere bronnen worden geblokkeerd via robots.txt, kan Applebot de inhoud mogelijk niet correct weergeven. Dit geldt ook voor eventuele XHR, JS en CSS die voor de pagina vereist zijn.

Om Applebot de beste inhoud voor de pagina te laten indexeren, moet je ervoor zorgen dat alles wat een gebruiker nodig heeft om de pagina weer te geven, beschikbaar is voor Applebot. Je kunt er ook voor zorgen dat de website netjes wordt weergegeven, ook al zijn niet alle bronnen beschikbaar. Dit wordt vaak 'graceful degradation' (elegante versobering) genoemd.

Indexeringsregels voor Applebot aanpassen

Applebot ondersteunt robots-metatags in HTML-documenten. Als je robots-regels wilt opgeven in metatags, plaats je de tags in de sectie

... ...

Applebot ondersteunt verder de volgende aanwijzingen:

• noindex: Applebot indexeert deze pagina niet en de pagina wordt niet weergegeven in de suggesties van Spotlight of Siri.

• nosnippet: Applebot maakt geen beschrijving of webantwoord voor de pagina.

• nofollow: Applebot volgt de links op de pagina niet.

• none: Applebot indexeert de pagina niet, creëert geen beschrijving van de pagina en volgt de links op de pagina niet, zoals hierboven beschreven.

• all: Applebot biedt het document aan bij suggesties en maakt een beschrijving van de inhoud, zodat er een korte beschrijving van de pagina kan worden weergegeven naast een representatieve afbeelding.

Gebruik een door komma's gescheiden lijst of meerdere metatags om meerdere aanwijzingen in een enkele metatag te plaatsen.

Voorbeelden:

Over de rangschikking van zoekresultaten

De functie 'Zoek' in Apple software houdt bij het rangschikken van zoekresultaten op internet mogelijk rekening met het volgende:

• Geaggregeerde gebruikersbetrokkenheid bij zoekresultaten

• Relevantie en mate van overeenkomst van zoektermen met onderwerpen en inhoud van webpagina's

• Aantal en kwaliteit van links vanaf andere pagina's op internet

• Signalen die zijn gebruikt om de locatie van de gebruiker te bepalen (geschatte gegevens)

• Ontwerpkenmerken van webpagina's

Bij de bepaling van de rangschikking van zoekresultaten staat niet van tevoren vast welke invloed de bovenstaande aspecten hebben. Voor gebruikers van 'Zoek' geldt het privacybeleid in Siri-suggesties, zoeken en privacy.

Neem contact met ons op

Bij vragen of opmerkingen kun je contact met ons opnemen via applebot@apple.com.