Informazioni su Applebot

Scopri Applebot, il web crawler di Apple.

I dati raccolti mediante crawling da Applebot vengono utilizzati per alimentare varie funzionalità, come la tecnologia di ricerca integrata in molte esperienze utente nell'ecosistema di Apple, tra cui Spotlight, Siri e Safari. Se si abilita Applebot in robots.txt, il contenuto del sito web verrà visualizzato nei risultati di ricerca per gli utenti Apple di tutto il mondo in questi prodotti.

Applebot accede a molti tipi di risorse dai server web, inclusi a titolo esemplificativo robots.txt, sitemap, feed RSS, HTML, risorse secondarie necessarie per il rendering di pagine come javascript, richieste Ajax, immagini e altro ancora.

Come identificare Applebot

In genere il traffico proveniente da Applebot viene identificato mediante il DNS inverso nel dominio *.applebot.apple.com.

Un altro metodo consiste nell'abbinare l'indirizzo IP a un prefisso CIDR contenuto nel seguente file JSON: notazioni CIDR per l'indirizzo IP di Applebot.

DNS inverso

Il comando host può essere utilizzato per determinare se un indirizzo IP fa parte di Applebot. Questi esempi mostrano il comando host e il suo risultato:

$ host 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com has address 17.58.101.179.

Il comando host può anche essere utilizzato per verificare che il DNS punti allo stesso indirizzo IP:

$ host 17.58.101.179 179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

Agenti utente

Un agente utente aiuta i webmaster a identificare il traffico del crawler, in modo che possano ottenere statistiche di accesso accurate in merito all'attività del crawler e controllare l'accesso al sito tramite robots.txt.

Applebot alimenta diversi agenti utente, tra cui Search e Podcasts.

Cerca

Per il rendering e il crawling di ricerca web, Applebot utilizza il seguente formato:

La stringa dello user agent contiene “Applebot” e altre informazioni. Di seguito è riportato il formato generale:

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Esempio per desktop:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15(KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

Esempio per dispositivi mobili:

Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

Occasionalmente, Applebot aggiornerà la versione del browser che pubblicizza rimanendo nel formato generale sopra riportato.

Apple Podcasts

Il traffico iTMS può anche provenire dagli host applebot.apple.com e verrà identificato dal seguente agente utente:

User-Agent: iTMS

L'agente utente iTMS non segue robots.txt, in quanto non è un crawler di ricerca generale. Esegue solo il crawling degli URL associati ai contenuti registrati su Apple Podcasts.

Personalizzare le regole del file robot.txt

Applebot rispetta le direttive standard di robots.txt nel crawling di ricerca generale destinato a Applebot. In questo esempio, Applebot non tenta di eseguire ricerche nei documenti archiviati in /private/ o /not-allowed/:

User-agent: Applebot Allow: / Disallow: /private/ User-agent: * Disallow: /not-allowed/

Se le istruzioni robots non menzionano Applebot, ma Googlebot, il robot di Apple seguirà le istruzioni Googlebot.

Rendering e regole robot

Applebot può effettuare il rendering dei contenuti del tuo sito web all'interno di un browser. Se javascript, CSS e altre risorse sono bloccate tramite il file robots.txt, potrebbe non essere in grado di eseguire correttamente il rendering del contenuto, compresi XHR, JS e CSS che la pagina potrebbe richiedere.

Affinché Applebot possa indicizzare il miglior contenuto per la pagina, assicurati che abbia a disposizione tutto il necessario affinché un utente possa effettuare il rendering della pagina. In alternativa, assicurati che il sito web si visualizzi bene, anche se tutte le risorse non sono disponibili. Questa procedura è nota anche come “riduzione controllata”.

Personalizzare le regole di indicizzazione per Applebot

Applebot supporta i meta tag robots nei documenti HTML. Per specificare le regole dei robot nei meta tag, inserisci i tag nella

... ...

Applebot supporta anche le seguenti direttive:

• noindex: Applebot non indicizzerà questa pagina, che non comparirà nei suggerimenti di Siri e Spotlight.

• nosnippet: Applebot non genererà una descrizione o una risposta web per la pagina, ma includerà solo il titolo della pagina nell'elenco di URL suggeriti.

• nofollow: Applebot non seguirà alcun link nella pagina.

• none: Applebot non indicizzerà, non genererà la descrizione e non seguirà i link nella pagina, come descritto sopra.

• all: Applebot genererà il documento per i suggerimenti e consentirà la visualizzazione di una breve descrizione della pagina accanto a un'immagine rappresentativa.

Per inserire più direttive in un unico meta tag, usa un elenco separato da virgole o più meta tag.

Esempio:

Controllare l'utilizzo dei dati

Oltre a seguire tutte le regole e le direttive di robots.txt, Apple utilizza un agente utente secondario, Applebot-Extended, che offre agli editori web ulteriori controlli sul modo in cui i contenuti del proprio sito web può essere utilizzato da Apple.

Con Applebot-Extended, gli editori web possono scegliere di rinunciare ai contenuti del proprio sito web utilizzati per addestrare i modelli di base di Apple che alimentano funzionalità di intelligenza artificiale generativa attraverso i prodotti Apple, tra cui Apple Intelligence, Services e Developer Tools.

Puoi aggiungere una regola in robots.txt per disattivare Applebot-Extended, come indicato di seguito:

User-agent: Applebot-Extended Disallow: /private/

Applebot-Extended non esegue il crawling delle pagine web. Le pagine web in cui Applebot-Extended è disattivato possono comunque essere incluse nei risultati della ricerca. Applebot-Extended viene utilizzato solo per determinare come utilizzare i dati raccolti mediante crawling dall'agente utente Applebot.

L'attivazione di Applebot-Extended contribuisce a migliorare funzionalità e qualità dei modelli di intelligenza artificiale generativa di Apple nel tempo.

Informazioni sulle priorità di ricerca

Apple Search può considerare i seguenti fattori quando classifica i risultati della ricerca web:

• Dati aggregati delle interazioni degli utenti con i risultati della ricerca

• Rilevanza e corrispondenza dei termini di ricerca con argomenti e contenuti della pagina web

• Numero e qualità dei collegamenti da altre pagine del web

• Segnali basati sulla posizione dell'utente (dati approssimativi)

• Caratteristiche di progettazione della pagina web

I risultati della ricerca possono utilizzare i suddetti fattori senza importanza (predeterminata) di classificazione. Gli utenti di Search sono soggetti alla politica sulla privacy di Suggerimenti di Siri, Ricerca e privacy.

Contattaci

Se hai dubbi o domande, contattaci all'indirizzo applebot@apple.com.