Informationen zu Applebot

Hier erhältst du Informationen zu Applebot, dem Webcrawler für Apple.

Die von Applebot gecrawlten Daten werden für verschiedene Funktionen verwendet, z. B. für die Suchtechnologie, die in viele Benutzererlebnisse im Apple-Ökosystem integriert ist, einschließlich Spotlight, Siri, und Safari. Wenn Applebot in der Datei „robots.txt“ aktiviert ist, können Website-Inhalte in Suchergebnissen für Apple-Benutzer auf der ganzen Welt in diesen Produkten angezeigt werden.

Applebot greift von Webservern auf viele Arten von Ressourcen zu, darunter auf robots.txt, Sitemaps, RSS-Feeds, HTML und untergeordnete Ressourcen, die zum Rendern von Seiten erforderlich sind, wie JavaScript, Ajax-Anfragen, Bilder und mehr.

Applebot identifizieren

Von Applebot kommender Datenverkehr wird im Allgemeinen durch Reverse DNS in der Domäne *.applebot.apple.com identifiziert.

Eine andere Möglichkeit besteht darin, die IP-Adresse mit einem CIDR-Präfix abzugleichen, das in der folgenden JSON-Datei enthalten ist: Applebot IP CIDRs.

Reverse DNS

Mit dem Befehl „host“ kann festgestellt werden, ob eine IP-Adresse Teil von Applebot ist. Diese Beispiele zeigen den Befehl „host“ und sein Ergebnis:

$ host 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com has address 17.58.101.179.

Mit dem Befehl „host“ kann auch überprüft werden, ob ein DNS auf dieselbe IP-Adresse verweist:

$ host 17.58.101.179 179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

User Agents

Ein User Agent hilft Webmastern, Crawler-Datenverkehr zu identifizieren, sodass sie genaue Zugriffsprotokollberichte über die Crawler-Aktivitäten erhalten und den Zugriff auf die Website über robots.txt steuern können.

Applebot unterstützt mehrere User Agent, darunter „Suchen“ und „Podcasts“.

Suchen

Für das Such-Web-Crawling und -Rendering verwendet Applebot das folgende Format:

Die Zeichenfolge des User Agent enthält „Applebot“ und andere Informationen. Dies ist das allgemeine Format:

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Beispiel für Desktopcomputer:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15(KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

Beispiel für Smartphones:

Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

Gelegentlich aktualisiert Applebot die genannte Browserversion, wobei das allgemeine Format oben beibehalten wird.

Apple Podcasts

iTMS-Datenverkehr kann auch von applebot.apple.com-Hosts kommen und wird vom folgenden User Agent identifiziert:

User-Agent: iTMS

Der User Agent iTMS folgt nicht robots.txt, da es sich nicht um einen allgemeinen Such-Crawler handelt. Es werden nur URLs gecrawlt, die mit registrierten Inhalten in Apple Podcasts verknüpft sind.

robot.txt-Regeln anpassen

Applebot beachtet die standardmäßigen robots.txt-Anweisungen bei allgemeinen Such-Crawls, die auf Applebot ausgerichtet sind. In diesem Beispiel versucht Applebot nicht, Dokumente zu durchforsten, die unter /private/ oder /not-allowed/ gespeichert sind:

User-agent: Applebot Allow: / Disallow: /private/ User-agent: * Disallow: /not-allowed/

Wenn die Robots-Anweisungen Applebot nicht erwähnen, Googlebot jedoch schon, folgt der Apple-Robot den Googlebot-Anweisungen.

Rendering- und Robots-Regeln

Applebot kann den Inhalt deiner Website in einem Browser rendern. Wenn Javascript, CSS und andere Ressourcen über robots.txt blockiert werden, kann der Inhalt möglicherweise nicht ordnungsgemäß gerendert werden. Dies umfasst XHR, JS und CSS, die für die Seite möglicherweise erforderlich sind.

Damit Applebot den besten Inhalt für die Seite indizieren kann, stelle sicher, dass Applebot alles zur Verfügung hat, was ein Benutzer zum Rendern der Seite benötigt. Stelle alternativ sicher, dass die Website sauber gerendert wird, auch wenn nicht alle Ressourcen verfügbar sind. Dies wird oft als elegante Verschlechterung bezeichnet.

Indizierungsregeln für Applebot anpassen

Applebot unterstützt Robots-Meta-Tags in HTML-Dokumenten. Um Robots-Regeln in Meta-Tags anzugeben, füge die Tags in den

... ...

Applebot unterstützt auch die folgenden Anweisungen:

• noindex: Applebot indiziert diese Seite nicht, und sie wird nicht in Spotlight- oder Siri-Vorschlägen angezeigt.

• nosnippet: Applebot wird keine Beschreibung oder Webantwort für die Seite generieren. Alle Vorschläge, diese URL zu besuchen, enthalten nur den Seitentitel.

• nofollow: Applebot wird keinem Link auf der Seite folgen.

• none: Applebot wird keinen Index und keine Beschreibung generieren und keinen Links auf der Seite folgen, wie oben beschrieben.

• all: Applebot stellt das Dokument für Vorschläge bereit und generiert Snippets des Inhalts, damit eine kurze Beschreibung der Seite neben einem repräsentativen Bild angezeigt werden kann. Applebot folgt möglicherweise den Links auf der Seite, um weitere Vorschläge bereitzustellen.

Um mehrere Anweisungen in einem einzigen Meta-Tag zusammenzufassen, verwende eine kommagetrennte Liste oder mehrere Meta-Tags.

Beispiel:

Datennutzung steuern

Neben der Einhaltung aller robots.txt-Regeln und -Richtlinien verfügt Apple über einen sekundären User Agent, Applebot-Extended, der Web-Publishern zusätzliche Kontrolle darüber gibt, wie ihre Website-Inhalte von Apple verwendet werden können.

Mit Applebot-Extended können Web-Publisher entscheiden, ob der Inhalt ihrer Website nicht zum Trainieren der Apple-Grundmodelle verwendet wird, die generative KI-Funktionen in Apple-Produkten unterstützen, einschließlich Apple Intelligence, Services und Developer Tools.

Du kannst in robots.txt wie folgt eine Regel hinzufügen, um Applebot-Extended zu verbieten:

User-agent: Applebot-Extended Disallow: /private/

Applebot-Extended crawlt keine Webseiten. Webseiten, die Applebot-Extended nicht zulassen, können weiterhin in Suchergebnissen enthalten sein. Applebot-Extended wird nur verwendet, um zu bestimmen, wie die vom Applebot User Agent gecrawlten Daten verwendet werden.

Durch Erlauben von Applebot-Extended werden die Funktionen und die Qualität der generativen KI-Modelle von Apple im Laufe der Zeit verbessert.

Suchrankings

Die Apple-Suche berücksichtigt möglicherweise folgende Faktoren, wenn Web-Suchergebnisse bewertet werden:

• Aggregierte Benutzerinteraktion mit Suchergebnissen

• Relevanz und Zuordnung von Suchbegriffen zu Webseitenthemen und -inhalten

• Anzahl und Qualität der Links von anderen Seiten im Web

• Benutzerstandortbasierte Signale (ungefähre Daten)

• Designmerkmale der Webseite

In den Suchergebnissen werden möglicherweise die oben genannten Faktoren ohne (vorher festgelegte) Bedeutung des Rankings verwendet. Benutzer der Suche unterliegen den Datenschutzbestimmungen in Siri Vorschläge, Suche & Datenschutz.

Support kontaktieren

Wenn du Fragen oder Bedenken hast, kontaktiere uns über applebot@apple.com.