Om Applebot

Finn ut mer om Applebot, søkeroboten for Apple.

Dataene som gjennomgås av Applebot, brukes til å drive ulike funksjoner, for eksempel søketeknologien som er integrert mange steder i Apples økosystem, blant annet Spotlight, Siri og Safari. Ved å aktivere Applebot i robots.txt kan nettstedinnhold vises i søkeresultater for Apple-brukere over hele verden i disse produktene.

Applebot får tilgang til mange typer ressurser fra nettservere, blant annet robots.txt, nettstedskart, RSS-strømmer, HTML, underressurser som trengs for å gjengi sider som javascript, Ajax-forespørsler, bilder og så videre.

Identifisere Applebot

Trafikk som kommer fra Applebot, identifiseres vanligvis ved å bruke omvendt DNS i *.domenet applebot.apple.com.

En annen måte er å samsvare IP-adressen med et CIDR-prefiks i følgende JSON-fil: Applebot IP CIDRs.

Omvendt DNS

Vertskommandoen kan brukes til å finne ut om en IP-adresse er en del av Applebot. Disse eksemplene viser tjeneste kommandoen og dens resultat:

$ host 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com has address 17.58.101.179.

Tjenestekommandoen kan også brukes til å bekrefte at DNS peker til samme IP-adresse:

$ host 17.58.101.179 179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

Brukeragenter

En brukeragent hjelper nettstedsansvarlige med å identifisere søkerobottrafikk, slik at de kan få nøyaktige tilgangsloggrapporter om søkerobotaktivitet og kontrollere tilgangen til nettstedet via robots.txt.

Applebot driver flere brukeragenter, blant annet søk og podkaster.

Søk

For nettgjennomgang og gjengivelse bruker Applebot følgende format:

Brukeragentstrengen inneholder «Applebot» og annen informasjon. Følgende er det generelle formatet:

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Eksempel for skrivebord:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15(KHTML, som Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

Eksempel for mobil:

Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, som Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

Noen ganger vil Applebot oppdatere nettleserversjonen som den annonserer mens den forblir i det generelle formatet ovenfor.

Apple Podcasts

iTMS-trafikk kan også komme fra applebot.apple.com-verter, og vil bli identifisert av følgende brukeragent:

User-Agent: iTMS

iTMS-brukeragenten følger ikke robots.txt, da den ikke er en generell søkerobot. Den gjennomsøker bare nettadresser knyttet til registrert innhold på Apple Podcasts.

Tilpasse robot.txt-regler

Applebot respekterer standard robots.txt-direktiver i generelle søkegjennomganger som er målrettet mot Applebot. I dette eksempelet prøver ikke Applebot å gjennomgå dokumenter som er under /private/ eller /not-allowed/:

User-agent: Applebot Allow: / Disallow: /private/ User-agent: * Disallow: /not-allowed/

Hvis robotinstruksjoner ikke omtaler Applebot, men de omtaler Googlebot, følger Apple-roboten Googlebot-instruksjoner.

Gjengivelse og robotregler

Applebot kan gjengi innholdet på nettstedet ditt i en nettleser. Hvis javascript, CSS og andre ressurser er blokkert via robots.txt, kan det hende at den ikke er i stand til å gjengi innholdet på en ordentlig måte. Dette inkluderer XHR, JS og CSS som siden kan kreve.

For at Applebot skal indeksere det beste innholdet på siden, må du sørge for at alt som trengs for at en bruker skal kunne gjengi siden, er tilgjengelig for Applebot. Alternativt må du sørge for at nettstedet blir gjengitt på en god måte, selv om alle ressursene ikke er tilgjengelige. Dette blir ofte omtalt som «graceful degradation» (grasiøs degradering).

Tilpasning av indekseringsreglene for Applebot

Applebot støtter robot-metaetiketter i HTML-dokumenter. For å spesifisere robotregler i meta-tagger, plasserer du taggene i

... ...

Applebot støtter også følgende regler:

• noindex: Applebot indekserer ikke denne siden, og den vises ikke i Spotlight- eller Siri-forslag.

• nosnippet: Applebot genererer ikke noen beskrivelse eller nettsvar for siden. Forslag om å gå til denne nettadressen inkluderer bare tittelen på siden.

• nofollow: Applebot følger ingen koblinger på siden.

• none: Applebot kommer ikke til å indeksere, skrive en beskrivelse av eller følge koblinger på siden, som beskrevet ovenfor.

• all: Applebot legger frem dokumentet for forslag og skriver beskrivelser av innholdet, slik at en kort beskrivelse av siden kan vises ved siden av et bilde. Applebot kan følge koblingene på siden for å tilby flere forslag.

For å legge inn flere regler i én enkelt metaetikett må du bruke en kommadelt liste eller flere metaetiketter.

Eksempel:

Kontroll av databruk

I tillegg til å følge alle robots.txt-regler og -direktiver har Apple en sekundær brukeragent, Applebot-Extended, som gir nettutgivere ytterligere kontroll over hvordan innholdet på nettstedet deres kan brukes av Apple.

Med Applebot-Extended kan nettutgivere hindre at innholdet på nettstedet deres brukes til å trene Apples grunnmodeller som driver generative KI-funksjoner i ulike Apple-produkter, blant annet Apple Intelligence, tjenester og utviklerverktøy.

Du kan legge til denne regelen i robots.txt for å ikke tillate Applebot-Extended:

User-agent: Applebot-Extended Disallow: /private/

Applebot-Extended gjennomsøker ikke nettsider. Nettsider som ikke tillater Applebot-Extended, kan fortsatt komme med i søkeresultatene. Applebot-Extended brukes kun til å bestemme hvordan dataene som gjennomsøkes av Applebot-brukeragenten, skal brukes.

Å tillate Applebot-Extended vil bidra til å forbedre egenskapene og kvaliteten til Apples generative KI-modeller over tid.

Om rangering av søk

Apples søk kan ta følgende faktorer i betraktning når resultatet fra nettsøk rangeres:

• Samlet brukerengasjement for søkeresultater

• Relevans og samsvar av søkeord med emner og innhold på nettstedet

• Antall og kvalitet på koblinger fra andre sider på nettet

• Lokasjonsbaserte signaler for bruker (omtrentlige data)

• Egenskaper for nettstedets design

Søkeresultatene kan bruke faktorene ovenfor uten noen (forhåndsbestemt) viktighet av rangering. Brukere av søk er underlagt personvernerklæringen i Siri-forslag, søk og personvern.

Kontakt oss

Hvis du har spørsmål eller problemer, kan du kontakte oss på applebot@apple.com.