Informacje na temat Applebot

Dowiedz się na temat Applebot — przeszukiwarki sieci www używanej przez Apple.

Dane indeksowane przez Applebot służą do obsługi różnych funkcji, takich jak technologia wyszukiwania zintegrowana z różnymi usługami dla użytkowników w ekosystemie Apple, w tym Spotlight, Siri i Safari. Włączenie Applebot w pliku robots.txt umożliwia wyświetlanie treści witryny w wynikach wyszukiwania użytkowników Apple korzystających z tych usług na całym świecie.

Applebot uzyskuje dostęp do wielu rodzajów zasobów z serwerów internetowych, w tym między innymi do plików robots.txt, map witryn, kanałów RSS, HTML, zasobów podrzędnych potrzebnych do renderowania stron, takich jak JavaScript, żądań Ajax, obrazów itp.

Identyfikowanie Applebot

Ruch pochodzący z Applebot jest zazwyczaj identyfikowany za pomocą odwrotnego DNS w domenie *.applebot.apple.com.

Innym sposobem jest dopasowanie adresu IP do prefiksu CIDR zawartego w tym pliku JSON: Applebot IP CIDRs.

Odwrotny DNS

Do ustalenia, czy adres IP jest częścią Applebot, można użyć polecenia hosta. Poniższe przykłady przedstawiają polecenie hosta i jego wyniki:

$ host 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com has address 17.58.101.179.

Polecenia hosta można też użyć do zweryfikowania, czy DNS wskazuje ten sam adres IP:

$ host 17.58.101.179 179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

Agenci użytkownika

Agent użytkownika pomaga webmasterom identyfikować ruch robotów, dzięki czemu mogą uzyskiwać dokładne raporty dziennika dostępu dotyczące aktywności robotów i kontrolować dostęp do witryny za pośrednictwem pliku robots.txt.

Applebot obsługuje różnych agentów użytkownika, w tym Wyszukiwanie i Podcasts.

Wyszukiwanie

Do indeksowania i renderowania zawartości sieci wyszukiwania Applebot używa następującego formatu:

Łańcuch agenta użytkownika zawiera ciąg „Applebot” razem z innymi informacjami. Tak wygląda format ogólny:

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Przykład dla komputera stacjonarnego:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15(KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

Przykład dla urządzenia mobilnego:

Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

Czasami Applebot aktualizuje reklamowaną wersję przeglądarki, utrzymując powyższy format.

Apple Podcasts

Ruch iTMS może również pochodzić z applebot.apple.com hostów i będzie identyfikowany przez następującego agenta użytkownika:

Agent użytkownika: iTMS

Agent użytkownika iTMS nie korzysta z pliku robots.txt, ponieważ nie jest to ogólny robot wyszukiwarki. Indeksuje tylko adresy URL powiązane z treściami zarejestrowanymi w Apple Podcasts.

Dostosowywanie reguł robot.txt

Applebot stosuje standardowe dyrektywy robots.txt podczas ogólnego indeksowania obsługiwanego przez Applebot. W tym przykładzie Applebot nie próbuje przeszukiwać dokumentów, które znajdują się w katalogu /private/ lub /not-allowed/:

User-agent: Applebot Allow: / Disallow: /private/ User-agent: * Disallow: /not-allowed/

Jeśli w instrukcjach robota nie jest wymieniona nazwa Applebot, ale jest wymieniona nazwa Googlebot, robot Apple będzie postępować według instrukcji Googlebot.

Renderowanie a reguły robotów

Applebot może renderować zawartość witryny w przeglądarce. Jeśli javascript, CSS i inne zasoby są blokowane za pośrednictwem pliku robots.txt, Applebot może nie być w stanie poprawnie renderować zawartości. Obejmuje to obiekty XHR, JS i CSS, których może wymagać strona.

Aby Applebot mógł indeksować najlepszą zawartość strony, upewnij się, że Applebot ma dostęp do wszystkiego, co jest potrzebne do renderowania strony. Możesz też upewnić się, że witryna jest renderowana bez błędów, nawet jeśli nie wszystkie zasoby są dostępne. Jest to często określane jako łagodne zejście (graceful degradation).

Dostosowywanie reguł indeksowania dla Applebot

Applebot obsługuje metatagi robotów w dokumentach HTML. Aby określić reguły robotów w metatagach, umieść tagi

... ...

Applebot obsługuje także następujące dyrektywy:

• noindex: Applebot nie zindeksuje tej strony i nie pojawi się ona w sugestiach Spotlight lub Siri.

• nosnippet: Applebot nie wygeneruje opisu ani odpowiedzi internetowej dla tej strony. Wszystkie sugestie odwiedzenia tego adresu URL będą zawierać wyłącznie tytuł strony.

• nofollow: Applebot nie będzie śledzić żadnych łączy na tej stronie.

• none: Applebot nie zindeksuje tej strony, nie wyświetli jej urywków ani nie będzie śledzić znajdujących się na niej łączy, jak to opisano powyżej.

• all: Applebot dostarczy dokument na potrzeby sugestii i wyświetlania urywków zawartości, wskutek czego obok obrazu go reprezentującego może się pojawić krótki opis strony. Applebot może śledzić łącza na tej stronie, aby udostępnić więcej sugestii.

Aby umieścić kilka dyrektyw w jednym metataga, użyj listy rozdzielonej przecinkami lub kilku metatagów.

Przykład:

Kontrolowanie wykorzystania danych

Oprócz przestrzegania wszystkich zasad i dyrektyw w pliku robots.txt, Apple ma dodatkowego agenta użytkownika, Applebot-Extended, który zapewnia wydawcom internetowym dodatkową kontrolę nad sposobem wykorzystania zawartości ich witryn przez Apple.

Dzięki Applebot-Extended wydawcy internetowi mogą zrezygnować z wykorzystywania zawartości ich witryn do szkolenia podstawowych modeli Apple obsługujących funkcje generatywnej sztucznej inteligencji w usługach Apple, w tym Apple Intelligence oraz usługach i narzędziach dla programistów.

Aby wyłączyć Applebot-Extended, możesz dodać regułę w pliku robots.txt w następujący sposób:

User-agent: Applebot-Extended Disallow: /private/

Applebot-Extended nie indeksuje stron internetowych. Strony internetowe, które nie zezwalają na korzystanie z Applebot-Extended, nadal mogą być uwzględniane w wynikach wyszukiwania. Applebot-Extended służy wyłącznie do określenia sposobu wykorzystania danych indeksowanych przez agenta użytkownika Applebot.

Zezwolenie na używanie Applebot-Extended może z czasem poprawić możliwości i jakość modeli generatywnej AI Apple.

Informacje o rankingach wyszukiwania

Funkcja wyszukiwania firmy Apple może brać pod uwagę następujące czynniki podczas ustalania rankingów wyszukiwania w sieci www:

• Łączne zaangażowanie użytkowników w wyniki wyszukiwania

• Trafność i dopasowanie wyszukiwanych haseł do tematów i zawartości strony

• Liczba i jakość łączy z innych stron w sieci www

• Sygnały oparte na lokalizacji użytkownika (dane przybliżone)

• Charakterystyka projektu strony internetowej

Wyniki wyszukiwania mogą wykorzystywać powyższe czynniki bez żadnego (z góry określonego) znaczenia rankingu. Użytkownicy funkcji wyszukiwania podlegają zasadom ochrony prywatności opisanym w artykule Sugestie Siri, wyszukiwanie i prywatność.

Skontaktuj się z nami

W razie pytań lub wątpliwości prosimy o kontakt pod adresem applebot@apple.com.