Om Applebot

Her kan du læse om Applebot, der er Apples webrobot.

De data, som Applebot gennemgår, bruges til at drive forskellige funktioner, såsom søgeteknologien, der er integreret i mange brugeroplevelser i Apples økosystem, herunder Spotlight, Siri, og Safari. Aktivering af Applebot i robots.txt gør det muligt for Apple-brugere over hele verden at få vist webstedsindhold i søgeresultater i disse produkter.

Applebot får adgang til mange slags ressourcer fra webservere, herunder, men ikke begrænset til, robots.txt, sitemaps, RSS-feeds, HTML, underressourcer, der er nødvendige for at gengive sider såsom javascript, Ajax-anmodninger, billeder og meget andet.

Identificering af Applebot

Trafik, der kommer fra Applebot, identificeres generelt ved at bruge omvendt DNS i *.applebot.apple.com-domænet.

En anden måde er at matche IP-adressen med et CIDR-præfiks indeholdt i følgende JSON-arkiv: Applebot IP CIDRs.

Omvendt DNS

Host-kommandoen kan bruges til at bestemme, om en IP-adresse er en del af Applebot. Disse eksempler viser host-kommandoen og dens resultat:

$ host 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com has address 17.58.101.179.

Host-kommandoen kan også bruges til at verificere, at DNS peger på den samme IP-adresse:

$ host 17.58.101.179 179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

Brugeragenter

En brugeragent hjælper webmastere med at identificere crawlertrafik, så de kan få nøjagtige adgangslograpporter om crawleraktivitet og kontrollere adgangen til webstedet via robots.txt.

Applebot driver flere brugeragenter, herunder Søg og Podcasts.

Søg

Til webcrawling og -gengivelse i Søg bruger Applebot følgende format:

Bruger-agentstrengen indeholder "Applebot" og andre oplysninger. Følgende er det generelle format:

Mozilla/5.0 (enhed; OS_version) AppleWebKit/WebKit_version (KHTML såsom Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Eksempel på stationær computer:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15(KHTML såsom Gecko) Version/17.4 Safari/605.1.15 (Applebot +de#/0.1; +http://www.apple.com/go/applebot)

Eksempel på mobil:

Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 såsom macOS X) AppleWebKit/605.1.15 (KHTML såsom Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

Af og til vil Applebot opdatere den offentliggjorte browserversion, men det generelle format ovenfor bevares.

Apple Podcasts

iTMS-trafik kan også komme fra applebot.apple.com-hosts og vil blive identificeret af følgende brugeragent:

Brugeragent: iTMS

iTMS-brugeragenten følger ikke robots.txt, da det ikke er en generel søgecrawler. Den gennemgår kun URL'er forbundet med registreret indhold i Apple Podcasts.

Tilpasning af regler i robot.txt

Applebot respekterer robots.txt-standarddirektiver i generelle søgecrawls, der er målrettet mod Applebot. I dette eksempel prøver Applebot ikke at crawle dokumenter, der ligger under /private/ eller /not-allowed/:

User-agent: Applebot Allow: / Disallow: /private/ User-agent: * Disallow: /not-allowed/

Hvis Applebot ikke er nævnt i robotinstruktionerne, men derimod Googlebot, følger Apples robot Googlebot-instruktionerne.

Gengivelse og robotregler

Applebot kan gengive indholdet på dit websted i en browser. Hvis JavaScript, CSS og andre ressourcer er blokeret via robots.txt, kan indholdet muligvis ikke gengives korrekt. Dette omfatter XHR, JS og CSS, som siden muligvis kræver.

For at Applebot kan indeksere det bedste indhold for siden, skal du sørge for, at alt det, der kræves, for at en bruger kan gengive siden, er tilgængeligt for Applebot. Alternativt skal du sørge for, at webstedet gengives uden fejl, også selvom ikke alle ressourcerne er tilgængelige. Det sikrer, at webstedet virker, men muligvis med begrænset funktionalitet.

Tilpasning af indekseringsregler for Applebot

Applebot understøtter robotmetatags i HTML-dokumenter. Hvis du vil angive regler for robotter i metatags, skal du angive tags i

... ...

Applebot understøtter også følgende direktiver:

• noindex: Applebot indekserer ikke denne side, og den vises ikke i forslag fra Spotlight eller Siri.

• nosnippet: Applebot genererer ikke en beskrivelse af eller et websvar for siden. Forslag til at besøge denne URL-adresse omfatter kun sidens titel.

• nofollow: Applebot følger ikke nogen links på siden.

• none: Applebot indekserer, udklipper eller følger ikke links på siden, sådan som det er beskrevet ovenfor.

• all: Applebot leverer dokumentet til forslag og udklipper indholdet, så der kan vises en kort beskrivelse af siden ud for et repræsentativt billede. Applebot kan følge links på siden for at give flere forslag.

Hvis du vil have flere direktiver i et enkelt metatag, skal du bruge en kommasepareret liste eller flere metatags.

Eksempel:

Kontrol af dataforbrug

Udover at følge alle robots.txt-regler og -direktiver har Apple en sekundær brugeragent, Applebot-Extended, der giver webudgivere yderligere kontrol over, hvordan deres webstedsindhold kan bruges af Apple.

Med Applebot-Extended kan webudgivere vælge at fravælge, at deres webstedsindhold bruges til at træne Apples grundmodeller, der driver generative AI-funktioner på tværs af Apple-produkter, herunder Apple Intelligence, Services og Developer Tools.

Du kan tilføje en regel i robots.txt for at afvise Applebot-Extended, som følger:

User-agent: Applebot-Extended Disallow: /private/

Applebot-Extended gennemgår ikke websider. Websider, der ikke tillader Applebot-Extended, kan stadig inkluderes i søgeresultaterne. Applebot-Extended bruges kun til at bestemme, hvordan man bruger de data, der er crawlet af Applebot-brugeragenten.

At tillade Applebot-Extended vil hjælpe med at forbedre mulighederne og kvaliteten af Apples generative AI-modeller over tid.

Om søgerangeringer

Apples søgemaskine kan tage følgende faktorer i betragtning, når websøgeresultater rangeres:

• Aggregeret brugerengagement med søgeresultater

• Relevans og matchning af søgeord med websidens emner og indhold

• Antal og kvalitet af links fra andre sider på internettet

• Signaler baseret på brugerplacering (omtrentlige data)

• Egenskaber for websidedesign

Søgeresultaterne bruger muligvis ovenstående faktorer uden nogen (forudbestemt) betydning af rangering. Brugerne af Apples søgemaskine er underlagt anonymitetspolitikken for Siri-forslag, søgning og anonymitet.

Kontakt os

Hvis du har spørgsmål eller problemer, kan du kontakte os på applebot@apple.com.