Сведения об Applebot

Узнайте, что такое Applebot, поисковый робот для Apple.

Данные, собранные ботом Applebot, используются в работе различных функций, таких как технология поиска, интегрированная во многие пользовательские интерфейсы в экосистеме Apple, включая Spotlight, Siri и Safari. Включение Applebot в robots.txt позволяет отображать контент веб-сайта в результатах поиска для пользователей Apple по всему миру в этих продуктах.

Applebot имеет доступ ко многим видам ресурсов с веб-серверов, включая, помимо прочего, robots.txt, карты сайтов, RSS-каналы, HTML, подресурсы, необходимые для отображения таких страниц, как javascript, запросы Ajax, изображения и многое другое.

Идентификация Applebot

Трафик, поступающий от Applebot, обычно идентифицируется с помощью обратного поиска DNS в домене *.applebot.apple.com.

Другой способ — сопоставить IP-адрес с префиксом CIDR, содержащимся в следующем файле JSON: маски CIDR IP-адресов Applebot.

Обратный поиск DNS

Команда host позволяет определить, является ли IP-адрес частью структуры Applebot. В следующих примерах показана команда host и результаты ее выполнения:

$ host 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com has address 17.58.101.179.

Команду host также можно использовать для проверки неизменности IP-адреса при использовании DNS:

$ host 17.58.101.179 179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

Пользовательские агенты

Пользовательский агент помогает веб-мастерам идентифицировать трафик сканера, чтобы они могли получать точные отчеты о действиях сканера и управлять доступом к сайту через robots.txt.

На основе Applebot работают несколько пользовательских агентов, включая «Поиск» и «Подкасты».

Поиск

Для сканирования и рендеринга веб-поиска Applebot использует следующий формат:

В строке user-agent содержится «Applebot» и другая информация. Ниже приведен общий формат:

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Пример для настольного компьютера:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15(KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

Пример для мобильного устройства:

Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

Иногда Applebot обновляет версию браузера, которую он объявляет, придерживаясь общего формата выше.

Apple Podcasts

iTMS-трафик также может поступать с хостов applebot.apple.com и будет идентифицироваться следующим пользовательским агентом:

User-Agent: iTMS

Пользовательский агент iTMS не следит за robots.txt, так как это не общий поисковый сканер. Он сканирует только URL-адреса, связанные с зарегистрированным контентом в Apple Podcasts.

Настройка правил в файле robot.txt

Applebot соблюдает стандартные директивы robots.txt при общих поисковых сканированиях, которые нацелены на Applebot. В этом примере Applebot не пытается искать документы, которые отмечены как /private/ или /not-allowed/.

User-agent: Applebot Allow: / Disallow: /private/ User-agent: * Disallow: /not-allowed/

Если в инструкциях файла robots не упоминается Applebot, но есть Googlebot, робот Apple будет следовать инструкциям для Googlebot.

Правила рендеринга и роботов

Applebot может выполнять рендеринг содержимого вашего сайта в браузере. Если javascript, CSS и другие ресурсы заблокированы с использованием файла robots.txt, возможно, содержимое будет искажено. Это утверждение распространяется на ресурсы XHR, JS и CSS, которые могут требоваться на странице.

Чтобы Applebot мог проиндексировать страницу наилучшим образом, убедитесь, что все, что нужно пользователю для отображения страницы, доступно для Applebot. Также можно убедиться, что сайт отображается правильно, даже если все ресурсы не доступны. Такой подход часто называют постепенным сокращением возможностей.

Настройка правил индексации для Applebot

Applebot поддерживает метатеги robots в документах HTML. Чтобы указать правила robots в метатегах, поместите теги в

... ...

Applebot также поддерживает перечисленные ниже директивы.

• noindex: Applebot не будет индексировать эту страницу, и она не отобразится в службах «Предложения Siri» и «Предложения Spotlight».

• nosnippet: Applebot не будет создавать описание или веб-слепок для этой страницы.

• nofollow: Applebot не будет переходить ни по каким ссылкам на этой странице.

• none: Applebot не будет индексировать эту страницу, использовать ее фрагменты или переходить по ссылкам на ней, как это описано выше.

• all: Applebot предоставляет документ для предложений и использует фрагменты содержимого, чтобы рядом с демонстрационным изображением появилось краткое описание страницы.

Чтобы вставить несколько директив в один метатег, используйте список с разделением запятыми или несколько метатегов.

Пример:

Контроль использования данных

В дополнение к соблюдению всех правил и директив robots.txt, Apple использует вторичный пользовательский агент, Applebot-Extended, который дает веб-издателям дополнительный контроль над тем, как Apple может использовать контент с их веб-сайтов.

С помощью Applebot-Extended веб-издатели могут отказаться от использования контента своего веб-сайта для обучения базовых моделей Apple, на основе которых работают генеративные функции искусственного интеллекта в продуктах Apple, включая Apple Intelligence, сервисы и инструменты разработки.

Вы можете добавить правило в robots.txt, чтобы запретить использование Applebot-Extended, следующим образом.

User-agent: Applebot-Extended Disallow: /private/

Applebot-Extended не сканирует веб-страницы. Веб-страницы, которые запрещают использование Applebot-Extended, все равно могут быть включены в результаты поиска. Applebot-Extended используется только для определения того, как использовать данные, сканируемые пользовательским агентом Applebot.

Если разрешить использование Applebot-Extended, это поможет улучшить возможности и качество генеративных моделей ИИ Apple с течением времени.

О поисковых рейтингах

При определении рейтинга результатов веб-поиска Apple Search может принимать во внимание следующие факторы:

• агрегированное взаимодействие пользователей с результатами поиска;

• актуальность и соответствие поисковых терминов темам и содержанию веб-страницы;

• количество и качество ссылок с других страниц в сети;

• сигналы, основанные на местоположении пользователя (приблизительные данные);

• характеристики дизайна веб-страницы.

Результаты поиска могут использовать вышеуказанные факторы без (заранее определенной) важности ранжирования. На пользователей поиска распространяется политика конфиденциальности, описанная в статье «Предложения Siri, Поиск и конфиденциальность».

Свяжитесь с нами

Если у вас есть какие-либо вопросы или проблемы, свяжитесь с нами по адресу applebot@apple.com.