Informacje na temat Applebot

Dowiedz się na temat Applebot — przeszukiwarki sieci www używanej przez Apple.

Dane indeksowane przez Applebot służą do obsługi różnych funkcji, takich jak technologia wyszukiwania zintegrowana z różnymi usługami dla użytkowników w ekosystemie Apple, w tym Spotlight, Siri i Safari. Włączenie Applebot w pliku robots.txt umożliwia wyświetlanie treści witryny w wynikach wyszukiwania użytkowników Apple korzystających z tych usług na całym świecie.

Dane indeksowane przez Applebot mogą też służyć do trenowania podstawowych modeli Apple, które obsługują generatywne funkcje AI w produktach Apple, w tym w usługach Apple Intelligence i narzędziach dla deweloperów. Wydawcy internetowi mogą zrezygnować z wykorzystywania ich treści do trenowania generatywnych modeli fundamentowych, blokując Applebot-Extended w pliku robots.txt.

Dane indeksowane przez Applebot mogą być wykorzystywane do dostarczania dodatkowego kontekstu oraz aktualnych treści wykorzystywanych przez modele sztucznej inteligencji do generowania treści wyświetlanych w produktach i usługach Apple. Na przykład podczas udzielania odpowiedzi na pytania dotyczące ogólnej wiedzy o świecie w Siri i funkcji wyszukiwania, odpowiedzi mogą zawierać odnośniki do źródeł i stron internetowych wykorzystanych do ich wygenerowania. Wydawcy internetowi mogą zrezygnować z wykorzystywania ich treści w tych odpowiedziach na pytania dotyczące ogólnej wiedzy o świecie, dodając do określonych treści metatag nosnippet.

Nawet jeśli zablokujesz Applebot-Extended i oznaczysz zawartość witryny metatagiem nosnippet, instrukcje w Twojej witrynie mogą nadal zezwalać Applebot na indeksowanie Twoich stron internetowych. Zawartość będzie nadal wykrywalna za pośrednictwem funkcji Spotlight, Siri i Safari, a także innych funkcji systemowych na urządzeniach Apple.

Identyfikowanie Applebot

Ruch pochodzący z Applebot jest zazwyczaj identyfikowany za pomocą odwrotnego DNS w domenie *.applebot.apple.com.

Innym sposobem jest dopasowanie adresu IP do prefiksu CIDR zawartego w tym pliku JSON: Applebot IP CIDRs.

Odwrotny DNS

Do ustalenia, czy adres IP jest częścią Applebot, można użyć polecenia hosta. Poniższe przykłady przedstawiają polecenie hosta i jego wyniki:

$ host 17-58-101-179.applebot.apple.com

17-58-101-179.applebot.apple.com has address 17.58.101.179.

Polecenia hosta można też użyć do zweryfikowania, czy DNS wskazuje ten sam adres IP:

$ host 17.58.101.179

179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

Agenci użytkownika

Agent użytkownika pomaga webmasterom identyfikować ruch robotów, dzięki czemu mogą uzyskiwać dokładne raporty dziennika dostępu dotyczące aktywności robotów i kontrolować dostęp do witryny za pośrednictwem pliku robots.txt.

Applebot obsługuje różnych agentów użytkownika, w tym Wyszukiwanie i Podcasts.

Szukaj

Do indeksowania i renderowania zawartości sieci wyszukiwania Applebot używa następującego formatu:

Łańcuch agenta użytkownika zawiera ciąg „Applebot” razem z innymi informacjami. Tak wygląda format ogólny:

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Przykład dla komputera stacjonarnego:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15(KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

Przykład dla urządzenia mobilnego:

Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

Czasami Applebot aktualizuje reklamowaną wersję przeglądarki, utrzymując powyższy format.

Specjalne roboty indeksujące

Usługi internetowe Apple

Ruch iTMS może pochodzić z hostów applebot.apple.com i będzie identyfikowany przez następującego agenta użytkownika:

Agent użytkownika: iTMS

Agent użytkownika iTMS nie korzysta z pliku robots.txt, ponieważ nie jest to ogólny robot wyszukiwarki. Agent użytkownika iTMS indeksuje tylko adresy URL powiązane z treściami zarejestrowanymi w Apple Podcasts.

Dostosowywanie reguł robot.txt

Applebot stosuje standardowe dyrektywy robots.txt podczas ogólnego indeksowania obsługiwanego przez Applebot. W tym przykładzie Applebot nie próbuje przeszukiwać dokumentów, które znajdują się w katalogu /private/ lub /not-allowed/:

User-agent: Applebot

Allow: /

Disallow: /private/

User-agent: *

Disallow: /not-allowed/

Jeśli w instrukcjach robota nie jest wymieniona nazwa Applebot, ale jest wymieniona nazwa Googlebot, robot Apple będzie postępować według instrukcji Googlebot. Applebot nie przestrzega dyrektywy crawl-delay.

Applebot został zaprojektowany z myślą o wydajności i automatycznie dostosowuje swoje działanie, aby ograniczyć wpływ na infrastrukturę właścicieli witryn. Przykładowo, aby nie przeciążać serwerów, Applebot automatycznie zmniejsza częstotliwość indeksowania, gdy strona działa wolniej lub zwraca błędy. Apple dodatkowo buforuje zindeksowane treści, co pomaga ograniczyć konieczność ponownego indeksowania tych samych stron. Identyfikowanie treści, które nie wymagają ponownego indeksowania, obniża koszty infrastruktury po stronie właścicieli witryn i przyczynia się do zwiększenia wydajności Internetu jako całości.

Renderowanie a reguły robotów

Applebot może renderować zawartość witryny w przeglądarce. Jeśli javascript, CSS i inne zasoby są blokowane za pośrednictwem pliku robots.txt, Applebot może nie być w stanie poprawnie renderować zawartości. Obejmuje to obiekty XHR, JS i CSS, których może wymagać strona.

Aby Applebot mógł indeksować najlepszą zawartość strony, upewnij się, że Applebot ma dostęp do wszystkiego, co jest potrzebne do renderowania strony. Możesz też upewnić się, że witryna jest renderowana bez błędów, nawet jeśli nie wszystkie zasoby są dostępne. Jest to często określane jako łagodne zejście (graceful degradation).

Dostosowywanie reguł indeksowania dla Applebot

Applebot obsługuje metatagi robotów w dokumentach HTML. Aby określić reguły robotów w metatagach, umieść tagi w sekcji <head> dokumentu:

<html>

<head>

<meta name="robots" content="noindex"/>

...

</head>

<body>...</body>

</html>

Applebot obsługuje także następujące dyrektywy:

• noindex: Applebot nie zindeksuje tej strony i nie pojawi się ona w sugestiach Spotlight lub Siri.

• nosnippet: Applebot nie wygeneruje opisu ani odpowiedzi internetowej dla tej strony. Wszystkie sugestie odwiedzenia tego adresu URL będą zawierać wyłącznie tytuł strony. Ponadto Apple nie będzie wykorzystywać danych oznaczonych tagiem nosnippet jako dodatkowego kontekstu ani źródła aktualnych treści wykorzystywanych przez modele sztucznej inteligencji do generowania treści wyświetlanych w produktach i usługach Apple.

• nofollow: Applebot nie będzie śledzić żadnych łączy na tej stronie.

• none: Applebot nie zindeksuje tej strony, nie wyświetli jej urywków ani nie będzie śledzić znajdujących się na niej łączy, jak to opisano powyżej.

• all: Applebot dostarczy dokument na potrzeby sugestii i wyświetlania urywków zawartości, wskutek czego obok obrazu go reprezentującego może się pojawić krótki opis strony. Applebot może śledzić łącza na tej stronie, aby udostępnić więcej sugestii.

Aby umieścić kilka dyrektyw w jednym metataga, użyj listy rozdzielonej przecinkami lub kilku metatagów.

Przykład:

<meta name="robots" content="nosnippet, noindex”>

<meta name="robots" content=“noindex">

<meta name="robots" content=“nosnippet">

<meta name="applebot" content=“nosnippet">

Korzystanie z nagłówka HTTP X-Robots-Tag

Applebot obsługuje również dyrektywy indeksowania przekazywane za pomocą nagłówka odpowiedzi HTTP X-Robots-Tag. Jest to szczególnie przydatne w przypadku zasobów innych niż strony HTML (takich jak pliki PDF czy obrazy), dla których nie można zastosować metatagów, lub gdy chcesz zarządzać dyrektywami na poziomie serwera. Aby zastosować dyrektywę do Applebot:

X-Robots-Tag: applebot: nosnippet

Oznaczanie treści dostępnych za paywallem

Applebot obsługuje właściwość schema.org isAccessibleForFree, która pozwala oznaczyć strony objęte paywallem, limitem dostępu lub wymagające subskrypcji. Dodaj właściwość do danych strukturalnych na poziomie strony w formacie JSON-LD:

<script type="application/ld+json">

{

"@context": "https://schema.org",

"isAccessibleForFree": false

}

</script>

Strony oznaczone isAccessibleForFree: false mogą pojawiać się w wynikach wyszukiwania, ale Applebot nie będzie używać tych treści jako dodatkowego kontekstu, gdy do generowania odpowiedzi wyświetlanych w produktach i usługach Apple będą używane modele sztucznej inteligencji. Ten sygnał ma zastosowanie na poziomie strony. Oznaczenia na poziomie sekcji z użyciem hasPart nie są obsługiwane. Aby zrezygnować z wykorzystywania treści do szkolenia modeli podstawowych Apple, użyj Applebot-Extended opisanego w następnej sekcji.

Applebot-Extended i kontrolowanie wykorzystania danych

Oprócz przestrzegania wszystkich zasad i dyrektyw w pliku robots.txt, Apple ma dodatkowego agenta użytkownika, Applebot-Extended, który zapewnia wydawcom internetowym dodatkową kontrolę nad sposobem wykorzystania zawartości ich witryn przez Apple.

Dzięki Applebot-Extended wydawcy internetowi mogą zrezygnować z wykorzystywania zawartości ich witryn do szkolenia podstawowych modeli Apple ogólnego przeznaczenia obsługujących funkcje generatywnej sztucznej inteligencji w usługach Apple, w tym Apple Intelligence oraz usługach i narzędziach dla deweloperów.

Aby wyłączyć Applebot-Extended, możesz dodać regułę w pliku robots.txt w następujący sposób:

User-agent: Applebot-Extended

Disallow: /private/

Applebot-Extended nie indeksuje stron internetowych. Strony internetowe, które nie zezwalają na korzystanie z Applebot-Extended, nadal mogą być uwzględniane w wynikach wyszukiwania. Applebot-Extended służy wyłącznie do określenia sposobu wykorzystania danych indeksowanych przez agenta użytkownika Applebot.

Zezwolenie na używanie Applebot-Extended może z czasem poprawić możliwości i jakość modeli generatywnej AI Apple.

Informacje o rankingach wyszukiwania

Funkcja wyszukiwania firmy Apple może brać pod uwagę następujące czynniki podczas ustalania rankingów wyszukiwania w sieci www:

• Łączne zaangażowanie użytkowników w wyniki wyszukiwania

• Trafność i dopasowanie wyszukiwanych haseł do tematów i zawartości strony

• Liczba i jakość łączy z innych stron w sieci www

• Sygnały oparte na lokalizacji użytkownika (dane przybliżone)

• Charakterystyka projektu strony internetowej

Wyniki wyszukiwania mogą wykorzystywać powyższe czynniki bez żadnego (z góry określonego) znaczenia rankingu. Użytkownicy funkcji wyszukiwania podlegają zasadom ochrony prywatności opisanym w artykule Sugestie Siri, wyszukiwanie i prywatność.

Skontaktuj się z nami

W razie pytań lub wątpliwości prosimy o kontakt pod adresem applebot@apple.com.