Informazioni su Applebot

Scopri Applebot, il web crawler di Apple.

I dati raccolti mediante crawling da Applebot vengono utilizzati per alimentare varie funzionalità, come la tecnologia di ricerca integrata in molte esperienze utente nell'ecosistema di Apple, tra cui Spotlight, Siri e Safari. Se si abilita Applebot in robots.txt, il contenuto del sito web verrà visualizzato nei risultati di ricerca per gli utenti Apple di tutto il mondo in questi prodotti.

I dati scansionati da Applebot possono anche essere utilizzati per formare i modelli di base di Apple che alimentano funzionalità di IA generativa attraverso i prodotti Apple, tra cui Apple Intelligence, Services e Developer Tools. Gli editori web possono selezionare l'opzione per impedire che i loro contenuti vengano utilizzati per addestrare modelli di base generativi non consentendo Applebot-Extended nel file robots.txt.

I dati raccolti tramite crawling da Applebot possono essere utilizzati per fornire contesto aggiuntivo e contenuti aggiornati quando i modelli di intelligenza artificiale vengono utilizzati per generare output da visualizzare nei prodotti e nei servizi Apple. Ad esempio, per rispondere a domande di ampio respiro sulla conoscenza generale in Siri e Ricerca, che possono includere link a fonti e siti web utilizzati per contribuire a generare la risposta. Gli editori web possono scegliere di escludere i propri contenuti da queste risposte di ampia conoscenza generale applicando il meta tag nosnippet a contenuti specifici.

Anche se non consenti Applebot-Extended e contrassegni il contenuto del sito web con il meta tag nosnippet, le istruzioni del tuo sito web potrebbero comunque consentire ad Applebot di eseguire il crawling delle tue pagine web. I tuoi contenuti rimarranno reperibili tramite Spotlight, Siri e Safari, nonché tramite altre funzioni di sistema sui dispositivi Apple.

Come identificare Applebot

In genere il traffico proveniente da Applebot viene identificato mediante il DNS inverso nel dominio *.applebot.apple.com.

Un altro metodo consiste nell'abbinare l'indirizzo IP a un prefisso CIDR contenuto nel seguente file JSON: notazioni CIDR per l'indirizzo IP di Applebot.

DNS inverso

Il comando host può essere utilizzato per determinare se un indirizzo IP fa parte di Applebot. Questi esempi mostrano il comando host e il suo risultato:

$ host 17-58-101-179.applebot.apple.com

17-58-101-179.applebot.apple.com has address 17.58.101.179.

Il comando host può anche essere utilizzato per verificare che il DNS punti allo stesso indirizzo IP:

$ host 17.58.101.179

179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

Agenti utente

Un agente utente aiuta i webmaster a identificare il traffico del crawler, in modo che possano ottenere statistiche di accesso accurate in merito all'attività del crawler e controllare l'accesso al sito tramite robots.txt.

Applebot alimenta diversi agenti utente, tra cui Search e Podcasts.

Cerca

Per il rendering e il crawling di ricerca web, Applebot utilizza il seguente formato:

La stringa dello user agent contiene “Applebot” e altre informazioni. Di seguito è riportato il formato generale:

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Esempio per desktop:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15(KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

Esempio per dispositivi mobili:

Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

Occasionalmente, Applebot aggiornerà la versione del browser che pubblicizza rimanendo nel formato generale sopra riportato.

Crawler speciali

Proprietà online Apple

Il traffico iTMS può provenire dagli host applebot.apple.com e verrà identificato dal seguente agente utente:

User-Agent: iTMS

L'agente utente iTMS non segue robots.txt, in quanto non è un crawler di ricerca generale. L'agente utente iTMS esegue il crawling solo degli URL associati ai contenuti registrati su Apple Podcasts.

Personalizzare le regole del file robot.txt

Applebot rispetta le direttive standard di robots.txt nel crawling di ricerca generale destinato a Applebot. In questo esempio, Applebot non tenta di eseguire ricerche nei documenti archiviati in /private/ o /not-allowed/:

User-agent: Applebot

Allow: /

Disallow: /private/

User-agent: *

Disallow: /not-allowed/

Se le istruzioni robots non menzionano Applebot, ma Googlebot, il robot di Apple seguirà le istruzioni Googlebot. Applebot non segue il ritardo di scansione.

Applebot è progettato per l'efficienza e si adatterà per ridurre al minimo l'impatto sui proprietari dei siti. Ad esempio, per evitare di sovraccaricare i server del sito, la frequenza di crawling di Applebot si regola automaticamente quando un sito rallenta o restituisce errori. Apple memorizza anche nella cache i contenuti sottoposti a crawling per ridurre il crawling non necessario. L'identificazione dei contenuti che non è necessario sottoporre a crawling riduce i costi dell'infrastruttura per i proprietari dei siti e rende internet più efficiente nel suo complesso.

Rendering e regole robot

Applebot può effettuare il rendering dei contenuti del tuo sito web all'interno di un browser. Se javascript, CSS e altre risorse sono bloccate tramite il file robots.txt, potrebbe non essere in grado di eseguire correttamente il rendering del contenuto, compresi XHR, JS e CSS che la pagina potrebbe richiedere.

Affinché Applebot possa indicizzare il miglior contenuto per la pagina, assicurati che abbia a disposizione tutto il necessario affinché un utente possa effettuare il rendering della pagina. In alternativa, assicurati che il sito web si visualizzi bene, anche se tutte le risorse non sono disponibili. Questa procedura è nota anche come “riduzione controllata”.

Personalizzare le regole di indicizzazione per Applebot

Applebot supporta i meta tag robots nei documenti HTML. Per specificare le regole robots nei meta tag, inserisci i tag nella sezione <head> del documento, come indicato di seguito:

<html>

<head>

<meta name="robots" content="noindex"/>

...

</head>

<body>...</body>

</html>

Applebot supporta anche le seguenti direttive:

• noindex: Applebot non indicizzerà questa pagina, che non comparirà nei suggerimenti di Siri e Spotlight.

• nosnippet: Applebot non genererà una descrizione o una risposta web per la pagina, ma includerà solo il titolo della pagina nell'elenco di URL suggeriti. Apple non utilizzerà i dati contrassegnati come nosnippet come contesto aggiuntivo e contenuti aggiornati quando i modelli di intelligenza artificiale vengono utilizzati per generare output da visualizzare nei prodotti e servizi Apple.

• nofollow: Applebot non seguirà alcun link nella pagina.

• none: Applebot non indicizzerà, non genererà la descrizione e non seguirà i link nella pagina, come descritto sopra.

• all: Applebot genererà il documento per i suggerimenti e consentirà la visualizzazione di una breve descrizione della pagina accanto a un'immagine rappresentativa. Applebot può seguire i link nella pagina per fornire ulteriori suggerimenti.

Per inserire più direttive in un unico meta tag, usa un elenco separato da virgole o più meta tag.

Esempio:

<meta name="robots" content="nosnippet, noindex”>

<meta name="robots" content=“noindex">

<meta name="robots" content=“nosnippet">

<meta name="applebot" content=“nosnippet">

Utilizzare l'intestazione HTTP X-Robots-Tag

Applebot supporta anche le direttive di indicizzazione fornite tramite l'intestazione di risposta HTTP X-Robots-Tag. Questo è utile per le risorse non HTML (come PDF o immagini) in cui non è possibile usare i meta tag oppure quando si desidera applicare direttive a livello di server. Per applicare una direttiva ad Applebot:

X-Robots-Tag: applebot: nosnippet

Contrassegnare i contenuti con paywall

Applebot supporta la proprietà schema.org isAccessibleForFree per identificare le pagine protette da paywall, accesso misurato o abbonamento. Aggiungi la proprietà ai dati strutturati a livello di pagina in JSON-LD:

<script type="application/ld+json">

{

"@context": "https://schema.org",

"isAccessibleForFree": false

}

</script>

Le pagine contrassegnate isAccessibleForFree: false sono idonee a comparire nei risultati di ricerca, ma Applebot non userà quel contenuto come contesto aggiuntivo quando vengono utilizzati modelli di intelligenza artificiale per generare output da visualizzare nei prodotti e servizi Apple. Questo segnale si applica a livello di pagina. L'evidenziazione a livello di sezione con hasPart non è supportata. Per non consentire l'utilizzo dei tuoi contenuti per addestrare i modelli di base di Apple, usa Applebot-Extended descritto nella sezione successiva.

Applebot-Extended e controllo dell'utilizzo dei dati

Oltre a seguire tutte le regole e le direttive di robots.txt, Apple utilizza un agente utente secondario, Applebot-Extended, che offre agli editori web ulteriori controlli sul modo in cui i contenuti del proprio sito web può essere utilizzato da Apple.

Con Applebot-Extended, gli editori web possono scegliere di non consentire l’utilizzo dei contenuti del proprio sito web per addestrare i modelli di base di Apple che alimentano funzionalità di intelligenza artificiale generativa sui prodotti Apple, tra cui Apple Intelligence, servizi e strumenti di sviluppo.

Puoi aggiungere una regola in robots.txt per disattivare Applebot-Extended, come indicato di seguito:

User-agent: Applebot-Extended

Disallow: /private/

Applebot-Extended non esegue il crawling delle pagine web. Le pagine web in cui Applebot-Extended è disattivato possono comunque essere incluse nei risultati della ricerca. Applebot-Extended viene utilizzato solo per determinare come utilizzare i dati raccolti mediante crawling dall'agente utente Applebot.

L'attivazione di Applebot-Extended contribuisce a migliorare funzionalità e qualità dei modelli di intelligenza artificiale generativa di Apple nel tempo.

Informazioni sulle priorità di ricerca

Apple Search può considerare i seguenti fattori quando classifica i risultati della ricerca web:

• Dati aggregati delle interazioni degli utenti con i risultati della ricerca

• Rilevanza e corrispondenza dei termini di ricerca con argomenti e contenuti della pagina web

• Numero e qualità dei collegamenti da altre pagine del web

• Segnali basati sulla posizione dell'utente (dati approssimativi)

• Caratteristiche di progettazione della pagina web

I risultati della ricerca possono utilizzare i suddetti fattori senza importanza (predeterminata) di classificazione. Gli utenti di Search sono soggetti alla politica sulla privacy di Suggerimenti di Siri, Ricerca e privacy.

Contattaci

Se hai dubbi o domande, contattaci all'indirizzo applebot@apple.com.