Om Applebot

Finn ut mer om Applebot, søkeroboten for Apple.

Dataene som gjennomgås av Applebot, brukes til å drive ulike funksjoner, for eksempel søketeknologien integrert mange steder i Apples økosystem, blant annet Spotlight, Siri og Safari. Ved å aktivere Applebot i robots.txt kan nettstedinnhold vises i søkeresultater for Apple-brukere over hele verden i disse produktene.

Dataene som gjennomsøkes av Applebot kan også brukes til å lære opp Apples fundamentale modeller som driver generative KI-funksjoner på tvers av Apple-produkter, inkludert Apple Intelligence, Tjenester og Utviklerverktøy. Utgivere av nettinnhold kan angi at innholdet deres ikke skal brukes til opplæring av generative fundamentale modeller ved å ikke tillate Applebot-Extended i robots.txt-filen.

Applebot-gjennomsøkte data kan brukes til å gi ytterligere kontekst og oppdatert innhold når KI-modeller brukes til å generere utdata som skal vises i Apple-produkter og -tjenester. For eksempel ved å svare på generelle spørsmål om verden og kunnskap i Siri og Søk, som kan inneholde koblinger til kilder og nettsteder som brukes til å generere svaret. Nettutgivere kan velge bort at innholdet deres brukes i disse generelle svarene om verden og kunnskap ved å legge til metakoden nosnippet i spesifikt innhold.

Selv om du ikke tillater Applebot-Extended og merker nettstedinnhold med metakodennosnippet, kan nettstedinstruksjonene dine fortsatt tillate at Applebot gjennomsøker nettsidene dine. Innholdet ditt vil fortsatt være søkbart via Spotlight, Siri og Safari, samt andre systemomfattende funksjoner på Apple-enheter.

Identifisere Applebot

Trafikk som kommer fra Applebot, identifiseres vanligvis ved å bruke omvendt DNS i *.applebot.apple.com-domenet.

En annen måte er å samsvare IP-adressen med et CIDR-prefiks i følgende JSON-fil: Applebot IP CIDRs.

Omvendt DNS

Vertskommandoen kan brukes til å finne ut om en IP-adresse er en del av Applebot. Disse eksemplene viser tjeneste kommandoen og dens resultat:

$ host 17-58-101-179.applebot.apple.com

17-58-101-179.applebot.apple.com har adressen 17.58.101.179.

Tjenestekommandoen kan også brukes til å bekrefte at DNS peker til samme IP-adresse:

$ host 17.58.101.179

179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

Brukeragenter

En brukeragent hjelper nettstedsansvarlige med å identifisere søkerobottrafikk, slik at de kan få nøyaktige tilgangsloggrapporter om søkerobotaktivitet og kontrollere tilgangen til nettstedet via robots.txt.

Applebot driver flere brukeragenter, blant annet søk og podkaster.

Søk

For nettgjennomgang og gjengivelse bruker Applebot følgende format:

Brukeragentstrengen inneholder «Applebot» og annen informasjon. Følgende er det generelle formatet:

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Eksempel for skrivebord:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, som Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

Eksempel for mobil:

Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, som Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

Noen ganger vil Applebot oppdatere nettleserversjonen som den annonserer mens den forblir i det generelle formatet ovenfor.

Spesielle crawlere

Apple-nettsteder

iTMS-trafikk kan også komme fra applebot.apple.com-verter, og vil bli identifisert av følgende brukeragent:

User-Agent: iTMS

iTMS-brukeragenten følger ikke robots.txt, da den ikke er en generell søkerobot. iTMS-brukeragenten gjennomsøker bare nettadresser som er knyttet til registrert innhold på Apple Podcasts.

Tilpasse robot.txt-regler

Applebot respekterer standard robots.txt-direktiver i generelle søkegjennomganger som er målrettet mot Applebot. I dette eksempelet prøver ikke Applebot å gjennomgå dokumenter som er under /private/ eller /not-allowed/:

User-agent: Applebot

Allow: /

Disallow: /private/

User-agent: *

Disallow: /not-allowed/

Hvis robotinstruksjoner ikke omtaler Applebot, men de omtaler Googlebot, følger Apple-roboten Googlebot-instruksjoner. Applebot følger ikke crawl-delay.

Applebot er utviklet for effektivitet og tilpasser seg for å minimere påvirkningen på nettstedseiere. For eksempel justeres gjennomsøkingsraten til Applebot automatisk når et nettsted blir tregere eller returnerer feil, for å unngå å overbelaste nettstedsserverne. Apple bufrer også gjennomsøkt innhold for å redusere unødvendig gjennomsøking. Ved å identifisere innhold som ikke trenger å gjennomsøkes, reduserer man infrastrukturkostnadene for nettstedseiere og gjør internett mer effektivt som helhet.

Gjengivelse og robotregler

Applebot kan gjengi innholdet på nettstedet ditt i en nettleser. Hvis javascript, CSS og andre ressurser er blokkert via robots.txt, kan det hende at den ikke er i stand til å gjengi innholdet på en ordentlig måte. Dette inkluderer XHR, JS og CSS som siden kan kreve.

For at Applebot skal indeksere det beste innholdet på siden, må du sørge for at alt som trengs for at en bruker skal kunne gjengi siden, er tilgjengelig for Applebot. Alternativt må du sørge for at nettstedet blir gjengitt på en god måte, selv om alle ressursene ikke er tilgjengelige. Dette blir ofte omtalt som «graceful degradation» (grasiøs degradering).

Tilpasning av indekseringsreglene for Applebot

Applebot støtter robot-metaetiketter i HTML-dokumenter. For å angi robotregler i metaetiketter setter du inn etikettene i <head>-delen i dokumentet:

<html>

<head>

<meta name="robots" content="noindex"/>

...

</head>

<body>...</body>

</html>

Applebot støtter også følgende regler:

• noindex: Applebot indekserer ikke denne siden, og den vises ikke i Spotlight- eller Siri-forslag.

• nosnippet: Applebot genererer ikke noen beskrivelse eller nettsvar for siden. Forslag om å gå til denne nettadressen inkluderer bare tittelen på siden. Apple bruker ikke data som er merket med nosnippet som ekstra kontekst og oppdatert innhold når KI-modeller brukes til å generere utdata som skal vises i Apple-produkter og -tjenester.

• nofollow: Applebot følger ingen koblinger på siden.

• none: Applebot kommer ikke til å indeksere, skrive en beskrivelse av eller følge koblinger på siden, som beskrevet ovenfor.

• all: Applebot legger frem dokumentet for forslag og skriver beskrivelser av innholdet, slik at en kort beskrivelse av siden kan vises ved siden av et bilde. Applebot kan følge koblingene på siden for å tilby flere forslag.

For å legge inn flere regler i én enkelt metaetikett må du bruke en kommadelt liste eller flere metaetiketter.

Eksempel:

<meta name="robots" content="nosnippet, noindex”>

<meta name="robots" content=“noindex">

<meta name="robots" content=“nosnippet">

<meta name="applebot" content=“nosnippet">

Bruk av HTTP-hodet X-Robots-Tag

Applebot støtter også indekseringsdirektiver som leveres via X-Robots-Tag-HTTP-svarhodet. Dette er nyttig for ressurser som ikke er HTML (for eksempel PDF-filer eller bilder) der meta-tagger ikke kan brukes, eller når du vil bruke direktiver på serversiden. Slik bruker du et direktiv på Applebot:

X-Robots-Tag: applebot: nosnippet

Merking av innhold bak betalingsmur

Applebot støtter egenskapenschema.org isAccessibleForFree for å identifisere sider som er bak en betalingsmur, med målt tilgang eller abonnement. Legg til egenskapen i de strukturerte dataene på sidenivå i JSON-LD:

<script type="application/ld+json">

{

"@context": "https://schema.org",

"isAccessibleForFree": false

}

</script>

Sider merket isAccessibleForFree: false kan vises i søkeresultater, men Applebot vil ikke bruke dette innholdet som ekstra kontekst når KI-modeller brukes til å generere resultat som vises i Apple-produkter og -tjenester. Dette signalet gjelder på sidenivå. Merking på inndelingsnivå ved hjelp av hasPart støttes ikke. Hvis du vil velge bort at innholdet ditt brukes til å trene Apples grunnmodeller, bruker du Applebot-Extended som beskrevet i neste avsnitt.

Applebot-Extended og styring av databruk

I tillegg til å følge alle robots.txt-regler og -direktiver har Apple en sekundær brukeragent, Applebot-Extended, som gir nettutgivere ytterligere kontroll over hvordan innholdet på nettstedet deres kan brukes av Apple.

Med Applebot-Extended kan nettutgivere hindre at innholdet på nettstedet deres brukes til å trene Apples grunnmodeller for generelle formål som driver generative KI-funksjoner i ulike Apple-produkter, blant annet Apple Intelligence, tjenester og utviklerverktøy.

Du kan legge til denne regelen i robots.txt for å ikke tillate Applebot-Extended:

User-agent: Applebot-Extended

Disallow: /private/

Applebot-Extended gjennomsøker ikke nettsider. Nettsider som ikke tillater Applebot-Extended, kan fortsatt komme med i søkeresultatene. Applebot-Extended brukes kun til å bestemme hvordan dataene som gjennomsøkes av Applebot-brukeragenten, skal brukes.

Å tillate Applebot-Extended vil bidra til å forbedre egenskapene og kvaliteten til Apples generative KI-modeller over tid.

Om rangering av søk

Apples søk kan ta følgende faktorer i betraktning når resultatet fra nettsøk rangeres:

• Samlet brukerengasjement for søkeresultater

• Relevans og samsvar av søkeord med emner og innhold på nettstedet

• Antall og kvalitet på koblinger fra andre sider på nettet

• Lokasjonsbaserte signaler for bruker (omtrentlige data)

• Egenskaper for nettstedets utforming

Søkeresultatene kan bruke faktorene ovenfor uten noen (forhåndsbestemt) viktighet av rangering. Brukere av søk er underlagt personvernerklæringen i Siri-forslag, søk og personvern.

Kontakt oss

Hvis du har spørsmål eller problemer, kan du kontakte oss på applebot@apple.com.