Om Applebot

Läs om Applebot, Apples webbcrawler.

Data som genomsökts av Applebot används för att driva olika funktioner, såsom söktekniken integrerad i många användarupplevelser i Apples ekosystem, däribland Spotlight, Siri, och Safari. Om du aktiverar Applebot i robots.txt kan webbplatsinnehåll visas i sökresultat för Apple-användare runt om i världen i dessa produkter.

Data som genomsöks av Applebot kan också användas för att träna Apples grundmodeller som driver generativa AI-funktioner över Apple-produkter, bland annat Apple Intelligence, tjänster och Developer Tools. Webbpublicister kan välja bort att deras innehåll används för att träna generativa grundmodeller genom att inte tillåta Applebot-Extended i robots.txt-filen.

Data som samlats in av Applebot kan användas för att tillhandahålla ytterligare kontext och aktuellt innehåll när AI-modeller används för att generera innehåll som visas i Apples produkter och tjänster. Till exempel vid besvarande av breda kunskapsfrågor i Siri och Sök, där länkar till källor och webbplatser som har använts för att hjälpa till att generera svaret kan inkluderas. Webbpublicister kan välja att deras innehåll inte ska användas i dessa breda kunskapssvar genom att använda metataggen nosnippet för specifikt innehåll.

Även om du inte tillåter Applebot-Extended och taggar webbplatsinnehåll med metataggen nosnippet kan dina webbplatsinstruktioner fortfarande tillåta Applebot att genomsöka dina webbsidor. Ditt innehåll kan fortfarande hittas via Spotlight, Siri och Safari samt andra systemomfattande funktioner på Apple-enheter.

Identifiera Applebot

Trafik som kommer från Applebot identifieras i allmänhet genom att använda omvänd DNS i *.applebot.apple.com-domänen.

Ett annat sätt är att matcha IP-adressen med ett CIDR-prefix som finns i följande JSON-fil: Applebot IP CIDRs.

Omvänd DNS

Värdkommandot kan användas för att avgöra om en IP-adress tillhör Applebot. I följande exempel visas värdkommandot och tillhörande resultat:

$ host 17-58-101-179.applebot.apple.com

17-58-101-179.applebot.apple.com has address 17.58.101.179.

Värdkommandot kan också användas för att bekräfta att DNS pekar på samma IP-adress:

$ host 17.58.101.179

179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

Användaragenter

En användaragent hjälper webbansvariga att identifiera sökrobottrafik, så att de kan få korrekta åtkomstloggrapporter om sökrobotaktivitet och kontrollera åtkomsten till webbplatsen via robots.txt.

Applebot driver flera användaragenter, däribland Sökning och Podcasts.

Sökning

För sökning på och rendering av webben använder Applebot följande format:

Användaragentens sträng innehåller ”Applebot” och annan information. Följande är det allmänna formatet:

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, somGecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, som Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Exempel för stationär dator:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15(KHTML, som Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

Exempel för mobil:

Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, som Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

Ibland kommer Applebot att uppdatera webbläsarversionen som den annonserar medan den förblir i det allmänna formatet ovan.

Särskilda webbsökrobotar

Apples onlineegenskaper

iTMS-trafik kan komma från applebot.apple.com-värdar och kommer att identifieras av följande användaragent:

User-Agent: iTMS

iTMS-användaragenten följer inte robots.txt, eftersom det inte är en allmän sökrobot. iTMS-användaragenten genomsöker endast webbadresser som är kopplade till registrerat innehåll på Apple Podcasts.

Anpassa robot.txt-reglerna

Applebot respekterar standarddirektiven för robots.txt i allmänna sökgenomsökningar som är inriktade på Applebot. I det här exemplet försöker inte Applebot att crawla dokument som finns under /private/ eller /not-allowed/:

Användaragent: Applebot

Tillåt: /

Tillåt inte: /private/

Användaragent: *

Tillåt inte: /not-allowed/

Om robotinstruktionerna inte nämner Applebot men nämner Googlebot, kommer Apples robot att följa instruktionerna för Googlebot. Applebot följer inte crawl-delay.

Applebot är utformat för effektivitet och justeras för att minimera påverkan på webbplatsägare. Till exempel justeras Applebots genomsökningshastighet automatiskt för att undvika att överbelasta webbservrar när en webbplats blir långsam eller returnerar fel. Apple cachelagrar också genomsökt innehåll för att minska onödiga genomsökningar. Genom att identifiera innehåll som inte behöver genomsökas sänks infrastrukturskostnaderna för webbplatsägare och internet blir mer effektivt som helhet.

Rendering och robotregler

Applebot kan rendera innehållet på webbplatsen inuti en webbläsare. Om javascript, CSS eller andra resurser blockeras i robots.txt kan det hända att innehållet inte kan renderas korrekt. Detta omfattar XHR, JS och CSS som sidan kan behöva.

Om Applebot ska kunna indexera det bästa innehållet för sidan måste du säkerställa att alla element som krävs för att en användare ska kunna rendera sidan är tillgängliga för Applebot. Du kan också se till att webbplatsen renderas korrekt även om vissa av resurserna saknas. Detta kallas ofta gradvis funktionsnedgång (graceful degradation).

Anpassa Applebots indexeringsregler

Applebot har stöd för metataggar för robotar i HTML-dokument. Ange robotregler i metataggarna genom att sätta taggar i <head> i dokumentet:

<html>

<head>

<meta name="robots" content="noindex"/>

...

</head>

<body>...</body>

</html>

Applebot har även stöd för följande direktiv:

• noindex: Applebot indexerar inte den här sidan och den visas inte i Spotlight- eller Siri-förslag.

• nosnippet: Applebot genererar inte en beskrivning eller ett webbsvar för sidan. Förslag på att besöka den här URL-adressen visar endast sidans titel. Apple kommer inte att använda data som är taggad med nosnippet som ytterligare kontext och aktuellt innehåll när AI-modeller används för att generera innehåll som visas i Apples produkter och tjänster.

• nofollow: Applebot följer inte länkar på sidan.

• none: Applebot indexerar inte, skapar inte utdrag och följer inte länkar på den här sidan, enligt beskrivning ovan.

• all: Applebot föreslår dokumentet och visar utdrag från innehållet så att en kort beskrivning för sidan visas bredvid en representerad bild. Applebot kan följa länkar på sidan för att ge ytterligare förslag.

Använd en kommaavgränsad lista om du vill lägga flera direktiv i en enda metatagg, eller använd flera metataggar.

Exempel:

<meta name="robots" content="nosnippet, noindex”>

<meta name="robots" content=“noindex">

<meta name="robots" content=“nosnippet">

<meta name="applebot" content=“nosnippet">

Använda HTTP-huvudet X-Robots-Tag

Applebot stöder också indexeringsdirektiv som levereras via HTTP-svarshuvudet X-Robots-Tag. Detta är användbart för icke-HTML-resurser (t.ex. PDF-filer eller bilder) där metataggar inte kan användas, eller när du vill tillämpa direktiv på servernivå. För att tillämpa ett direktiv på Applebot:

X-Robots-Tag: applebot: nosnippet

Markera innehåll bakom betalvägg

Applebot har stöd för schema.org isAccessibleForFree-egenskapen för att identifiera sidor som ligger bakom en betalvägg, mätad åtkomst eller prenumeration. Lägg till egenskapen i dina strukturerade data på sidnivå i JSON-LD:

<script type="application/ld+json">

{

"@context": "https://schema.org",

"isAccessibleForFree": false

}

</script>

Sidor markerade med isAccessibleForFree: false är berättigade att visas i sökresultat, men Applebot använder inte det innehållet som ytterligare kontext när AI-modeller används för att generera utdata som visas i Apples produkter och tjänster. Den här signalen gäller på sidnivå. Märkning på avsnittsnivå med hasPart stöds inte. Om du vill välja bort att ditt innehåll används för att träna Apples grundmodeller använder du Applebot-Extended som beskrivs i nästa avsnitt.

Applebot-Extended och att kontrollera dataanvändning

Förutom att följa alla robots.txt-regler och direktiv har Apple en sekundär användaragent, Applebot-Extended, som ger webbpublicister ytterligare kontroll över hur deras webbplatsinnehåll kan användas av Apple.

Med Applebot-Extended kan webbpublicister välja att tacka nej till att deras webbplatsinnehåll används för att träna Apples allmänna grundmodeller som driver generativa AI-funktioner i Apples produkter, inklusive Apple Intelligence, tjänster och utvecklarverktyg.

Du kan lägga till en regel i robots.txt för att inte tillåta Applebot-Extended, enligt följande:

Användaragent: Applebot-Extended

Tillåt inte: /private/

Applebot-Extended genomsöker inte webbsidor. Webbsidor som inte tillåter Applebot-Extended kan fortfarande inkluderas i sökresultaten. Applebot-Extended används endast för att avgöra hur man ska använda data som genomsökts av Applebots användaragent.

Att tillåta Applebot-Extended bidrar till att förbättra kapaciteten och kvaliteten på Apples generativa AI-modeller över tid.

Om rangordning av sökresultat

Apple Search kan ta hänsyn till följande faktorer när sökresultaten ska rangordnas:

• Sammanlagda användarinteraktioner med sökresultaten

• Söktermernas relevans och matchningsfrekvens till webbplatsens ämne och innehåll

• Antal och kvaliteten på länkar från andra sidor på webben

• Signaler baserade på användares platser (ungefärliga data)

• Webbplatsens designkaraktär

Sökresultaten kan baseras på faktorerna ovan utan någon (förutbestämd) vikt på rangordningen. Personer som använder sökningen omfattas av integritetspolicyn som ingår i Siri-förslag, sökning och integritet.

Kontakta oss

Har du frågor kan du kontakta oss på applebot@apple.com.