Om Applebot

Läs om Applebot, Apples webbcrawler.

Data som genomsökts av Applebot används för att driva olika funktioner, såsom söktekniken som är integrerad i många användarupplevelser i Apples ekosystem, däribland Spotlight, Siri, och Safari. Om du aktiverar Applebot i robots.txt kan webbplatsinnehåll visas i sökresultat för Apple-användare runt om i världen i dessa produkter.

Data som genomsöks av Applebot kan också användas för att träna Apples grundmodeller som driver generativa AI-funktioner över Apple-produkter, bland annat Apple Intelligence, tjänster och Developer Tools. Webbpublicister kan välja bort att deras innehåll används för att träna generativa grundmodeller genom att inte tillåta Applebot-Extended i robots.txt-filen.

Även om du inte tillåter Applebot-Extended kan instruktionerna på din webbplats fortfarande tillåta Applebot att genomsöka dina webbsidor. I så fall förblir ditt innehåll upptäckbart genom Spotlight, Siri samt andra systemomfattande funktioner på Apple-enheter.

Identifiera Applebot

Trafik som kommer från Applebot identifieras i allmänhet genom att använda omvänd DNS i *.applebot.apple.com-domänen.

Ett annat sätt är att matcha IP-adressen med ett CIDR-prefix som finns i följande JSON-fil: Applebot IP CIDRs.

Omvänd DNS

Värdkommandot kan användas för att avgöra om en IP-adress tillhör Applebot. I följande exempel visas värdkommandot och tillhörande resultat:

$ host 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com has address 17.58.101.179.

Värdkommandot kan också användas för att bekräfta att DNS pekar på samma IP-adress:

$ host 17.58.101.179 179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

Användaragenter

En användaragent hjälper webbansvariga att identifiera sökrobottrafik, så att de kan få korrekta åtkomstloggrapporter om sökrobotaktivitet och kontrollera åtkomsten till webbplatsen via robots.txt.

Applebot driver flera användaragenter, däribland Sökning och Podcasts.

Sökning

För sökning på och rendering av webben använder Applebot följande format:

Användaragentens sträng innehåller ”Applebot” och annan information. Följande är det allmänna formatet:

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, somGecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, som Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Exempel för stationär dator:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15(KHTML, som Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

Exempel för mobil:

Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, som Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

Ibland kommer Applebot att uppdatera webbläsarversionen som den annonserar medan den förblir i det allmänna formatet ovan.

Apple Podcasts

iTMS-trafik kan också komma från applebot.apple.com-värdar och kommer att identifieras av följande användaragent:

User-Agent: iTMS

iTMS-användaragenten följer inte robots.txt, eftersom det inte är en allmän sökrobot. Den genomsöker bara webbadresser som är associerade med registrerat innehåll på Apple Podcasts.

Anpassa robot.txt-reglerna

Applebot respekterar standarddirektiven för robots.txt i allmänna sökgenomsökningar som är inriktade på Applebot. I det här exemplet försöker inte Applebot att crawla dokument som finns under /private/ eller /not-allowed/:

User-agent: Applebot Allow: / Disallow: /private/ User-agent: * Disallow: /not-allowed/

Om robotinstruktionerna inte nämner Applebot men nämner Googlebot, följer Apple-roboten instruktionerna för Googlebot.

Rendering och robotregler

Applebot kan rendera innehållet på webbplatsen inuti en webbläsare. Om javascript, CSS eller andra resurser blockeras i robots.txt kan det hända att innehållet inte kan renderas korrekt. Detta omfattar XHR, JS och CSS som sidan kan behöva.

Om Applebot ska kunna indexera det bästa innehållet för sidan måste du säkerställa att alla element som krävs för att en användare ska kunna rendera sidan är tillgängliga för Applebot. Du kan också se till att webbplatsen renderas korrekt även om vissa av resurserna saknas. Detta kallas ofta gradvis funktionsnedgång (graceful degradation).

Anpassa Applebots indexeringsregler

Applebot har stöd för metataggar för robotar i HTML-dokument. Ange robotregler i metataggarna genom att sätta taggar i <head> i dokumentet:

<html><head> <meta name="robots" content="noindex"/> ... </head> <body>...</body> </html>

Applebot har även stöd för följande direktiv:

• noindex: Applebot indexerar inte den här sidan och den visas inte i Spotlight- eller Siri-förslag.

• nosnippet: Applebot genererar inte en beskrivning eller ett webbsvar för sidan.

• nofollow: Applebot följer inte länkar på sidan.

• none: Applebot indexerar inte, skapar inte utdrag och följer inte länkar på den här sidan, enligt beskrivning ovan.

• all: Applebot föreslår dokumentet och visar utdrag från innehållet så att en kort beskrivning för sidan visas bredvid en representerad bild.

Använd en kommaavgränsad lista om du vill lägga flera direktiv i en enda metatagg, eller använd flera metataggar.

Exempel:

<meta name="robots" content="nosnippet, noindex”> <meta name="robots" content=“noindex"> <meta name="robots" content=“nosnippet">

Applebot-Extended och att kontrollera dataanvändning

Förutom att följa alla robots.txt-regler och direktiv har Apple en sekundär användaragent, Applebot-Extended, som ger webbpublicister ytterligare kontroll över hur deras webbplatsinnehåll kan användas av Apple.

Med Applebot-Extended kan webbpublicister välja bort att deras webbplatsinnehåll används för att träna Apples grundmodeller som driver generativa AI-funktioner över Apple-produkter, däribland Apple Intelligence, tjänster och Developer Tools.

Du kan lägga till en regel i robots.txt för att inte tillåta Applebot-Extended, enligt följande:

User-agent: Applebot-Extended Disallow: /private/

Applebot-Extended genomsöker inte webbsidor. Webbsidor som inte tillåter Applebot-Extended kan fortfarande inkluderas i sökresultaten. Applebot-Extended används endast för att avgöra hur man ska använda data som genomsökts av Applebots användaragent.

Att tillåta Applebot-Extended bidrar till att förbättra kapaciteten och kvaliteten på Apples generativa AI-modeller över tid.

Om rangordning av sökresultat

Apple Search kan ta hänsyn till följande faktorer när sökresultaten ska rangordnas:

• Sammanlagda användarinteraktioner med sökresultaten

• Söktermernas relevans och matchningsfrekvens till webbplatsens ämne och innehåll

• Antal och kvaliteten på länkar från andra sidor på webben

• Signaler baserade på användares platser (ungefärliga data)

• Webbplatsens designkaraktär

Sökresultaten kan baseras på faktorerna ovan utan någon (förutbestämd) vikt på rangordningen. Personer som använder sökningen omfattas av integritetspolicyn som ingår i Siri-förslag, sökning och integritet.

Kontakta oss

Har du frågor kan du kontakta oss på applebot@apple.com.