Applebot è il web crawler di Apple. I suggerimenti di Siri e Spotlight, per esempio, usano Applebot.
Come identificare Applebot
Il traffico proveniente da Applebot viene identificato dallo user agent e il DNS inverso lo mostra nel dominio *.applebot.apple.com, originato dal netblock 17.0.0.0.
Verificare che il traffico provenga da Applebot
In macOS, il comando host può essere utilizzato per determinare se un indirizzo IP fa parte di Applebot. Questi esempi mostrano il comando host e il suo risultato:
$ host 17.58.101.179 179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.
Il comando host può anche essere utilizzato per verificare che il DNS punti allo stesso indirizzo IP:
$ host 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com has address 17.58.101.179.
Verificare lo user agent di Applebot
La stringa dello user agent contiene “Applebot” e altre informazioni. Il formato è il seguente:
Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko) Version/Safari_version Safari/WebKit_version (Applebot/Applebot_version)
Esempi per desktop:
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1)
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/12.1.1 Safari/605.1.15 (Applebot/0.1)
Esempi per dispositivi mobili:
Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B410 Safari/600.1.4 (Applebot/0.1; +http://www.apple.com/go/applebot)
Mozilla/5.0 (iPhone; CPU iPhone OS 13_4_1 like Mac OS X) AppleWebKit/605.1.15Z (KHTML, like Gecko) Version/13.1 Mobile/15E148 Safari/604.1 (Applebot/0.1)
Personalizzare le regole del file robot.txt
Applebot rispetta le direttive standard del file robots.txt destinate ad Applebot. In questo esempio, Applebot non tenta di eseguire ricerche nei documenti archiviati in /private/ o /not-allowed/:
User-agent: Applebot # apple Allow: / # Allow everything (also true if omitted) Disallow: /private/ # disallow this directory
User-agent: * # any robot Disallow: /not-allowed/ # disallow this directory
Se le istruzioni robots non menzionano Applebot, ma Googlebot, il robot di Apple seguirà le istruzioni Googlebot.
Rendering e regole robot
Applebot può effettuare il rendering dei contenuti del tuo sito web all'interno di un browser. Se javascript, CSS e altre risorse sono bloccate tramite il file robots.txt, potrebbe non essere in grado di eseguire correttamente il rendering del contenuto, compresi XHR, JS e CSS che la pagina potrebbe richiedere.
Affinché Applebot possa indicizzare il miglior contenuto per la pagina, assicurati che abbia a disposizione tutto il necessario affinché un utente possa effettuare il rendering della pagina. In alternativa, assicurati che il sito web si visualizzi bene, anche se tutte le risorse non sono disponibili. Questa procedura è nota anche come “riduzione controllata”.
Personalizzare delle regole di indicizzazione per Applebot
Applebot supporta i meta tag robots nei documenti HTML. Per specificare le regole robots nei meta tag, inserisci i tag nella sezione <head> del documento, come indicato di seguito:
<html><head> <meta name="robots" content="noindex"/> ... </head> <body>...</body> </html>
Applebot supporta anche le seguenti direttive:
- noindex: Applebot non indicizzerà questa pagina, che non comparirà nei suggerimenti di Siri e Spotlight.
- nosnippet: Applebot non genererà una descrizione o una risposta web per la pagina, ma includerà solo il titolo della pagina nell'elenco di URL suggeriti.
- nofollow: Applebot non seguirà alcun link nella pagina.
- none: Applebot non indicizzerà, non genererà la descrizione e non seguirà i link nella pagina, come descritto sopra.
- all: Applebot genererà il documento per i suggerimenti e consentirà la visualizzazione di una breve descrizione della pagina accanto a un'immagine rappresentativa. Applebot può seguire i link nella pagina per fornire ulteriori suggerimenti.
Per inserire più direttive in un unico meta tag, usa un elenco separato da virgole o più meta tag. Esempi:
<meta name="robots" content="nosnippet, noindex”>
<meta name="robots" content=“noindex">
<meta name="robots" content=“nosnippet">
Informazioni sulle priorità di ricerca
Apple Search può considerare quanto segue quando classifica i risultati della ricerca web:
- Dati aggregati delle interazioni degli utenti con i risultati della ricerca
- Rilevanza e corrispondenza dei termini di ricerca con argomenti e contenuti della pagina web
- Numero e qualità dei collegamenti da altre pagine del web
- Segnali basati sulla posizione dell'utente (dati approssimativi)
- Caratteristiche di progettazione della pagina web
I risultati della ricerca possono utilizzare i suddetti fattori senza importanza (predeterminata) di classificazione. Gli utenti di Search sono soggetti alla politica sulla privacy di Suggerimenti di Siri, Ricerca e privacy.
Contattaci
Se hai dubbi o domande, contattaci all'indirizzo applebot@apple.com.