Informationen zu Applebot

Hier erhältst du Informationen zu Applebot, dem Webcrawler für Apple.

Die von Applebot durchforsteten Daten werden für verschiedene Funktionen verwendet, z. B. für die Suchtechnologie, die in viele Benutzererlebnisse im Apple-Ökosystem integriert ist, einschließlich Spotlight, Siri, und Safari. Wenn Applebot in der Datei „robots.txt“ aktiviert ist, können Website-Inhalte in Suchergebnissen für Apple-Benutzer auf der ganzen Welt in diesen Produkten angezeigt werden.

Die vom Applebot durchforsteten Daten können auch verwendet werden, um Apple Foundation-Modelle zu trainieren, die generative KI-Funktionen in allen Apple-Produkten unterstützen, einschließlich Apple Intelligence, Services und Entwicklertools. Web-Publisher können die Verwendung ihrer Inhalte zum Training von Generative Foundation-Modellen deaktivieren, indem sie Applebot-Extended in der Datei „robots.txt“ verbieten.

Die vom Applebot durchforsteten Daten können verwendet werden, um zusätzlichen Kontext und aktuelle Inhalte bereitzustellen, wenn KI-Modelle zur Generierung von Ausgaben für die Anzeige in Apple-Produkten und -Services verwendet werden. Zum Beispiel bei der Beantwortung allgemeiner Fragen zum Weltwissen in Siri und in der Suche, die Links zu Quellen und Websites enthalten können, die zur Generierung der Antwort verwendet wurden. Web-Publisher können die Verwendung ihrer Inhalte in diesen Antworten auf allgemeine Fragen zum Weltwissen deaktivieren, indem sie den Meta-Tag nosnippet auf bestimmte Inhalte anwenden.

Selbst wenn du Applebot‑Extended deaktivierst und Website‑Inhalte mit dem Meta‑Tag nosnippet -versiehst, können deine Website‑Einstellungen dennoch zulassen, dass Applebot deine Webseiten durchforstet. Die Inhalte bleiben über Spotlight, Siri und Safari sowie über andere systemweite Funktionen auf Apple-Geräten auffindbar.

Applebot identifizieren

Von Applebot kommender Datenverkehr wird im Allgemeinen durch Reverse DNS in der Domäne *.applebot.apple.com identifiziert.

Eine andere Möglichkeit besteht darin, die IP-Adresse mit einem CIDR-Präfix abzugleichen, das in der folgenden JSON-Datei enthalten ist: Applebot IP CIDRs.

Reverse DNS

Mit dem Befehl „host“ kann festgestellt werden, ob eine IP-Adresse Teil von Applebot ist. Diese Beispiele zeigen den Befehl „host“ und sein Ergebnis:

$ host 17-58-101-179.applebot.apple.com

17-58-101-179.applebot.apple.com has address 17.58.101.179.

Mit dem Befehl „host“ kann auch überprüft werden, ob ein DNS auf dieselbe IP-Adresse verweist:

$ host 17.58.101.179

179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

User Agents

Ein User Agent hilft Webmastern, Crawler-Datenverkehr zu identifizieren, sodass sie genaue Zugriffsprotokollberichte über die Crawler-Aktivitäten erhalten und den Zugriff auf die Website über robots.txt steuern können.

Applebot unterstützt mehrere User Agent, darunter „Suchen“ und „Podcasts“.

Suchen

Für das Such-Web-Crawling und -Rendering verwendet Applebot das folgende Format:

Die Zeichenfolge des User Agent enthält „Applebot“ und andere Informationen. Dies ist das allgemeine Format:

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Beispiel für Desktopcomputer:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15(KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

Beispiel für Smartphones:

Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

Gelegentlich aktualisiert Applebot die genannte Browserversion, wobei das allgemeine Format oben beibehalten wird.

Spezielle Crawler

Online-Eigenschaften von Apple

iTMS-Datenverkehr kann von applebot.apple.com-Hosts kommen und wird vom folgenden User Agent identifiziert:

User-Agent: iTMS

Der User Agent iTMS folgt nicht robots.txt, da es sich nicht um einen allgemeinen Such-Crawler handelt. Der iTMS-User-Agent durchforstet nur URLs, die mit registrierten Inhalten in Apple Podcasts verknüpft sind.

robot.txt-Regeln anpassen

Applebot beachtet die standardmäßigen robots.txt-Anweisungen bei allgemeinen Such-Crawls, die auf Applebot ausgerichtet sind. In diesem Beispiel versucht Applebot nicht, Dokumente zu durchforsten, die unter /private/ oder /not-allowed/ gespeichert sind:

User-agent: Applebot

Allow: /

Disallow: /private/

User-Agent: *

Disallow: /not-allowed/

Wenn die Robots-Anweisungen Applebot nicht erwähnen, Googlebot jedoch schon, folgt der Apple-Robot den Googlebot-Anweisungen. Applebot folgt crawl-delay nicht.

Applebot ist auf Effizienz ausgelegt und wird angepasst, um die Auswirkungen auf Websitebetreiber zu minimieren. Um beispielsweise eine Überlastung der Webserver zu vermeiden, passt sich die Crawling-Rate von Applebot automatisch an, wenn eine Website langsamer wird oder Fehler zurückgibt. Apple speichert durchforstete Inhalte auch im Cache, um unnötiges Durchforsten zu reduzieren. Durch die Identifizierung von Inhalten, die nicht gecrawlt werden müssen, werden die Infrastrukturkosten für Websitebetreiber gesenkt und das Internet insgesamt effizienter.

Rendering- und Robots-Regeln

Applebot kann den Inhalt deiner Website in einem Browser rendern. Wenn Javascript, CSS und andere Ressourcen über robots.txt blockiert werden, kann der Inhalt möglicherweise nicht ordnungsgemäß gerendert werden. Dies umfasst XHR, JS und CSS, die für die Seite möglicherweise erforderlich sind.

Damit Applebot den besten Inhalt für die Seite indizieren kann, stelle sicher, dass Applebot alles zur Verfügung hat, was ein Benutzer zum Rendern der Seite benötigt. Stelle alternativ sicher, dass die Website sauber gerendert wird, auch wenn nicht alle Ressourcen verfügbar sind. Dies wird oft als elegante Verschlechterung bezeichnet.

Indizierungsregeln für Applebot anpassen

Applebot unterstützt Robots-Meta-Tags in HTML-Dokumenten. Um Robots-Regeln in Meta-Tags anzugeben, füge die Tags in den Abschnitt <head> des Dokuments ein:

</HTML>

<head>

<meta name="robots" content="noindex"/>

...

</head>

<body>...</body>

</html>

Applebot unterstützt auch die folgenden Anweisungen:

• noindex: Applebot indiziert diese Seite nicht, und sie wird nicht in Spotlight- oder Siri-Vorschlägen angezeigt.

• nosnippet: Applebot wird keine Beschreibung oder Webantwort für die Seite generieren. Alle Vorschläge, diese URL zu besuchen, enthalten nur den Seitentitel. Apple verwendet Daten mit dem Tag nosnippet nicht als zusätzlichen Kontext und aktuelle Inhalte, wenn KI-Modelle zur Generierung von Ausgaben für die Anzeige in Apple-Produkten und -Services verwendet werden.

• nofollow: Applebot wird keinem Link auf der Seite folgen.

• none: Applebot wird keinen Index und keine Beschreibung generieren und keinen Links auf der Seite folgen, wie oben beschrieben.

• all: Applebot stellt das Dokument für Vorschläge bereit und generiert Snippets des Inhalts, damit eine kurze Beschreibung der Seite neben einem repräsentativen Bild angezeigt werden kann. Applebot folgt möglicherweise den Links auf der Seite, um weitere Vorschläge bereitzustellen.

Um mehrere Anweisungen in einem einzigen Meta-Tag zusammenzufassen, verwende eine kommagetrennte Liste oder mehrere Meta-Tags.

Beispiel:

<meta name="robots" content="nosnippet, noindex”>

<meta name="robots" content=“noindex">

<meta name="robots" content=“nosnippet">

<meta name="applebot" content=“nosnippet">

Den HTTP-Header „X-Robots-Tag“ verwenden

Applebot unterstützt auch Indizierungsanweisungen, die über den HTTP-Antwort-Header X-Robots-Tag bereitgestellt werden. Dies ist nützlich für Nicht-HTML-Ressourcen (wie PDFs oder Bilder), bei denen keine Meta-Tags verwendet werden können, oder wenn Anweisungen auf Serverebene angewendet werden sollen. So wird eine Anweisung auf Applebot angewendet:

X-Robots-Tag: applebot: nosnippet

Markieren von Inhalten hinter einer Paywall

Applebot unterstützt die schema.org isAccessibleForFree-Eigenschaft, um Seiten zu identifizieren, die hinter einer Paywall, einem begrenzten Zugriff oder einem Abonnement befinden. Füge die Eigenschaft zu deinen strukturierten Daten auf Seitenebene in JSON-LD hinzu:

<script type="application/ld+json">

{

"@context": "https://schema.org",

"isAccessibleForFree": false

}

</script>

Seiten, die mit isAccessibleForFree: false gekennzeichnet sind, können zwar in Suchergebnissen erscheinen, aber Applebot verwendet deren Inhalte nicht als zusätzlichen Kontext, wenn KI‑Modelle zur Generierung von Ausgaben für die Anzeige in Apple‑Produkten und ‑Services verwendet werden. Dieses Signal gilt auf Seitenebene. Markup auf Abschnittsebene mit hasPart wird nicht unterstützt. Um auszuschließen, dass deine Inhalte zum Trainieren von Foundation-Modellen von Apple verwendet werden, verwende Applebot‑Extended, wie im nächsten Abschnitt beschrieben.

Applebot-Extended und Kontrolle der Datennutzung

Neben der Einhaltung aller robots.txt-Regeln und -Richtlinien verfügt Apple über einen sekundären User Agent, Applebot-Extended, der Web-Publishern zusätzliche Kontrolle darüber gibt, wie ihre Website-Inhalte von Apple verwendet werden können.

Mit Applebot‑Extended können Web‑Publisher festlegen, dass die Inhalte ihrer Website nicht zum Trainieren der allgemeinen Foundation-Modelle von Apple verwendet werden, die generative KI‑Funktionen in Apple‑Produkten unterstützen, darunter Apple Intelligence, Services und Entwicklertools.

Du kannst in robots.txt wie folgt eine Regel hinzufügen, um Applebot-Extended zu verbieten:

User-agent: Applebot-Extended

Disallow: /private/

Applebot-Extended crawlt keine Webseiten. Webseiten, die Applebot-Extended nicht zulassen, können weiterhin in Suchergebnissen enthalten sein. Applebot-Extended wird nur verwendet, um zu bestimmen, wie die vom Applebot User Agent gecrawlten Daten verwendet werden.

Durch Erlauben von Applebot-Extended werden die Funktionen und die Qualität der generativen KI-Modelle von Apple im Laufe der Zeit verbessert.

Suchrankings

Die Apple-Suche berücksichtigt möglicherweise folgende Faktoren, wenn Web-Suchergebnisse bewertet werden:

• Aggregierte Benutzerinteraktion mit Suchergebnissen

• Relevanz und Zuordnung von Suchbegriffen zu Webseitenthemen und -inhalten

• Anzahl und Qualität der Links von anderen Seiten im Web

• Benutzerstandortbasierte Signale (ungefähre Daten)

• Designmerkmale der Webseite

In den Suchergebnissen werden möglicherweise die oben genannten Faktoren ohne (vorher festgelegte) Bedeutung des Rankings verwendet. Benutzer der Suche unterliegen den Datenschutzbestimmungen in Siri Vorschläge, Suche & Datenschutz.

Support kontaktieren

Wenn du Fragen oder Bedenken hast, kontaktiere uns über applebot@apple.com.