Сведения об Applebot

Узнайте, что такое Applebot, поисковый робот для Apple.

Данные, собранные ботом Applebot, используются в работе различных функций, таких как технология поиска, интегрированная во многие пользовательские интерфейсы в экосистеме Apple, включая Spotlight, Siri и Safari. Включение Applebot в robots.txt позволяет отображать контент веб-сайта в результатах поиска для пользователей Apple по всему миру в этих продуктах.

Данные, собранные ботом Applebot, также могут использоваться для обучения базовых моделей Apple, на основе которых работают функции генеративного искусственного интеллекта в продуктах Apple, включая Apple Intelligence, сервисы и инструменты разработки. Веб-издатели могут отказаться от использования своего контента для обучения базовых генеративных моделей моделям, запретив Applebot-Extended в файле robots.txt.

Даже если вы запретите Applebot-Extended, инструкции веб-сайта все равно могут позволять Applebot сканировать его страницы. В таком случае ваш контент будет и дальше включаться в результаты Spotlight, Siri, а также других общесистемных функций на устройствах Apple.

Идентификация Applebot

Трафик, поступающий от Applebot, обычно идентифицируется с помощью обратного поиска DNS в домене *.applebot.apple.com.

Другой способ — сопоставить IP-адрес с префиксом CIDR, содержащимся в следующем файле JSON: маски CIDR IP-адресов Applebot.

Обратный поиск DNS

Команда host позволяет определить, является ли IP-адрес частью структуры Applebot. В следующих примерах показана команда host и результаты ее выполнения:

$ host 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com has address 17.58.101.179.

Команду host также можно использовать для проверки неизменности IP-адреса при использовании DNS:

$ host 17.58.101.179 179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

Пользовательские агенты

Пользовательский агент помогает веб-мастерам идентифицировать трафик сканера, чтобы они могли получать точные отчеты о действиях сканера и управлять доступом к сайту через robots.txt.

На основе Applebot работают несколько пользовательских агентов, включая «Поиск» и «Подкасты».

Поиск

Для сканирования и рендеринга веб-поиска Applebot использует следующий формат:

В строке user-agent содержится «Applebot» и другая информация. Ниже приведен общий формат:

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Пример для настольного компьютера:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15(KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

Пример для мобильного устройства:

Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

Иногда Applebot обновляет версию браузера, которую он объявляет, придерживаясь общего формата выше.

Apple Podcasts

iTMS-трафик также может поступать с хостов applebot.apple.com и будет идентифицироваться следующим пользовательским агентом:

User-Agent: iTMS

Пользовательский агент iTMS не следит за robots.txt, так как это не общий поисковый сканер. Он сканирует только URL-адреса, связанные с зарегистрированным контентом в Apple Podcasts.

Настройка правил в файле robot.txt

Applebot соблюдает стандартные директивы robots.txt при общих поисковых сканированиях, которые нацелены на Applebot. В этом примере Applebot не пытается искать документы, которые отмечены как /private/ или /not-allowed/.

User-agent: Applebot Allow: / Disallow: /private/ User-agent: * Disallow: /not-allowed/

Если в инструкциях файла robots не упоминается Applebot, но есть Googlebot, робот Apple будет следовать инструкциям для Googlebot.

Правила рендеринга и роботов

Applebot может выполнять рендеринг содержимого вашего сайта в браузере. Если javascript, CSS и другие ресурсы заблокированы с использованием файла robots.txt, возможно, содержимое будет искажено. Это утверждение распространяется на ресурсы XHR, JS и CSS, которые могут требоваться на странице.

Чтобы Applebot мог проиндексировать страницу наилучшим образом, убедитесь, что все, что нужно пользователю для отображения страницы, доступно для Applebot. Также можно убедиться, что сайт отображается правильно, даже если все ресурсы не доступны. Такой подход часто называют постепенным сокращением возможностей.

Настройка правил индексации для Applebot

Applebot поддерживает метатеги robots в документах HTML. Чтобы указать правила robots в метатегах, поместите теги в раздел <head> документа.

<html><head> <meta name="robots" content="noindex"/> ... </head> <body>...</body> </html>

Applebot также поддерживает перечисленные ниже директивы.

• noindex: Applebot не будет индексировать эту страницу, и она не отобразится в службах «Предложения Siri» и «Предложения Spotlight».

• nosnippet: Applebot не будет создавать описание или веб-слепок для этой страницы.

• nofollow: Applebot не будет переходить ни по каким ссылкам на этой странице.

• none: Applebot не будет индексировать эту страницу, использовать ее фрагменты или переходить по ссылкам на ней, как это описано выше.

• all: Applebot предоставляет документ для предложений и использует фрагменты содержимого, чтобы рядом с демонстрационным изображением появилось краткое описание страницы.

Чтобы вставить несколько директив в один метатег, используйте список с разделением запятыми или несколько метатегов.

Пример:

<meta name="robots" content="nosnippet, noindex”> <meta name="robots" content=“noindex"> <meta name="robots" content=“nosnippet">

Applebot-Extended и управление использованием данных

В дополнение к соблюдению всех правил и директив robots.txt, Apple использует вторичный пользовательский агент, Applebot-Extended, который дает веб-издателям дополнительный контроль над тем, как Apple может использовать контент с их веб-сайтов.

С помощью Applebot-Extended веб-издатели могут отказаться от использования контента своего веб-сайта для обучения базовых моделей Apple, на основе которых работают функции генеративного искусственного интеллекта в продуктах Apple, включая Apple Intelligence, сервисы и инструменты разработки.

Вы можете добавить правило в robots.txt, чтобы запретить использование Applebot-Extended, следующим образом.

User-agent: Applebot-Extended Disallow: /private/

Applebot-Extended не сканирует веб-страницы. Веб-страницы, которые запрещают использование Applebot-Extended, все равно могут быть включены в результаты поиска. Applebot-Extended используется только для определения того, как использовать данные, сканируемые пользовательским агентом Applebot.

Если разрешить использование Applebot-Extended, это поможет улучшить возможности и качество моделей генеративного ИИ Apple со временем.

О поисковых рейтингах

При определении рейтинга результатов веб-поиска Apple Search может принимать во внимание следующие факторы:

• агрегированное взаимодействие пользователей с результатами поиска;

• актуальность и соответствие поисковых терминов темам и содержанию веб-страницы;

• количество и качество ссылок с других страниц в сети;

• сигналы, основанные на местоположении пользователя (приблизительные данные);

• характеристики дизайна веб-страницы.

Результаты поиска могут использовать вышеуказанные факторы без (заранее определенной) важности ранжирования. На пользователей поиска распространяется политика конфиденциальности, описанная в статье «Предложения Siri, Поиск и конфиденциальность».

Свяжитесь с нами

Если у вас есть какие-либо вопросы или проблемы, свяжитесь с нами по адресу applebot@apple.com.