Сведения об Applebot

Узнайте, что такое Applebot, поисковый робот для Apple.

Данные, собранные ботом Applebot, используются в работе различных функций, таких как технология поиска, интегрированная во многие пользовательские интерфейсы в экосистеме Apple, включая Spotlight, Siri и Safari. Включение Applebot в robots.txt позволяет отображать контент веб-сайта в результатах поиска для пользователей Apple по всему миру в этих продуктах.

Данные, собранные ботом Applebot, также могут использоваться для обучения базовых моделей Apple, на основе которых работают функции генеративного искусственного интеллекта в продуктах Apple, включая Apple Intelligence, сервисы и инструменты разработки. Веб-издатели могут отказаться от использования своего контента для обучения базовых генеративных моделей моделям, запретив Applebot-Extended в файле robots.txt.

Данные, собранные Applebot, могут использоваться в качестве дополнительного контекста или актуального контента для моделей ИИ, результаты генерации которых отображаются в продуктах и услугах Apple. Например, ответы на вопросы энциклопедического характера в функциях Siri и «Поиск» могут включать ссылки на источники и веб-сайты, использованные для подготовки ответа. Веб-издатели могут отказаться от использования своего контента в таких ответах, добавив к нему метатег nosnippet.

Даже если вы запретите Applebot-Extended и пометите контент веб-сайта метатегом nosnippet, в инструкциях веб-сайта все равно можно разрешить Applebot сканировать страницы. Контент будет по-прежнему доступен для поиска через Spotlight, Siri и Safari, а также через другие общесистемные функции на устройствах Apple.

Идентификация Applebot

Трафик, поступающий от Applebot, обычно идентифицируется с помощью обратного поиска DNS в домене *.applebot.apple.com.

Другой способ — сопоставить IP-адрес с префиксом CIDR, содержащимся в следующем файле JSON: маски CIDR IP-адресов Applebot.

Обратный поиск DNS

Команда host позволяет определить, является ли IP-адрес частью структуры Applebot. В следующих примерах показана команда host и результаты ее выполнения:

$ host 17-58-101-179.applebot.apple.com

17-58-101-179.applebot.apple.com has address 17.58.101.179.

Команду host также можно использовать для проверки неизменности IP-адреса при использовании DNS:

$ host 17.58.101.179

179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

Пользовательские агенты

Пользовательский агент помогает веб-мастерам идентифицировать трафик сканера, чтобы они могли получать точные отчеты о действиях сканера и управлять доступом к сайту через robots.txt.

На основе Applebot работают несколько пользовательских агентов, включая «Поиск» и «Подкасты».

Поиск

Для сканирования и рендеринга веб-поиска Applebot использует следующий формат:

В строке user-agent содержится «Applebot» и другая информация. Ниже приведен общий формат:

Mozilla/5.0 (устройство; версия_ОС) AppleWebKit/версия_WebKit (KHTML, like Gecko)Version/версия_Safari [Mobile/версия_мобильной_сборки] Safari/версия_WebKit (Applebot/версия_Applebot; +http://www.apple.com/go/applebot)

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Пример для настольного компьютера:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15(KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

Пример для мобильного устройства:

Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

Иногда Applebot обновляет версию браузера, которую он объявляет, придерживаясь общего формата выше.

Специальные поисковые роботы

Онлайн-ресурсы Apple

iTMS-трафик может поступать с хостов applebot.apple.com и будет идентифицироваться следующим пользовательским агентом:

User-Agent: iTMS

Пользовательский агент iTMS не следит за robots.txt, так как это не общий поисковый сканер. Пользовательский агент iTMS сканирует только URL-адреса, связанные с контентом, зарегистрированным в Apple Podcasts.

Настройка правил в файле robot.txt

Applebot соблюдает стандартные директивы robots.txt при общих поисковых сканированиях, которые нацелены на Applebot. В этом примере Applebot не пытается искать документы, которые отмечены как /private/ или /not-allowed/.

User-agent: Applebot

Allow: /

Disallow: /private/

User-agent: *

Disallow: /not-allowed/

Если в инструкциях файла robots не упоминается Applebot, но есть Googlebot, робот Apple будет следовать инструкциям для Googlebot. Applebot не следует директиве crawl-delay.

Applebot рассчитан на эффективную работу и будет настраиваться так, чтобы его функционирование было практически незаметным для владельцев веб-сайтов. Например, чтобы избежать перегрузки серверов веб-сайта, Applebot автоматически изменяет скорость сканирования, если веб-сайт замедляется или возвращает ошибки. Кроме того, Apple кэширует просканированный контент, чтобы уменьшить объем ненужной работы. Определение контента, который не нужно сканировать, снижает для владельцев веб-сайтов затраты на инфраструктуру и делает интернет в целом более эффективным.

Правила рендеринга и роботов

Applebot может выполнять рендеринг содержимого вашего сайта в браузере. Если javascript, CSS и другие ресурсы заблокированы с использованием файла robots.txt, возможно, содержимое будет искажено. Это утверждение распространяется на ресурсы XHR, JS и CSS, которые могут требоваться на странице.

Чтобы Applebot мог проиндексировать страницу наилучшим образом, убедитесь, что все, что нужно пользователю для отображения страницы, доступно для Applebot. Также можно убедиться, что сайт отображается правильно, даже если все ресурсы не доступны. Такой подход часто называют постепенным сокращением возможностей.

Настройка правил индексации для Applebot

Applebot поддерживает метатеги robots в документах HTML. Чтобы указать правила robots в метатегах, поместите теги в раздел <head> документа.

<html>

<head>

<meta name="robots" content="noindex"/>

...

</head>

<body>...</body>

</html>

Applebot также поддерживает перечисленные ниже директивы.

• noindex: Applebot не будет индексировать эту страницу, и она не отобразится в службах «Предложения Siri» и «Предложения Spotlight».

• nosnippet: Applebot не будет создавать описание или веб-слепок для этой страницы. В любых предложениях посетить соответствующий URL-адрес будет указан только заголовок страницы. Данные, помеченные тегом nosnippet, не будут использоваться в качестве дополнительного контекста или актуального контента для моделей ИИ, результаты генерации которых отображаются в продуктах и услугах Apple.

• nofollow: Applebot не будет переходить ни по каким ссылкам на этой странице.

• none: Applebot не будет индексировать эту страницу, использовать ее фрагменты или переходить по ссылкам на ней, как это описано выше.

• all: Applebot предоставляет документ для предложений и использует фрагменты содержимого, чтобы рядом с демонстрационным изображением появилось краткое описание страницы. Applebot может переходить по ссылкам на этой странице, чтобы делать больше предложений.

Чтобы вставить несколько директив в один метатег, используйте список с разделением запятыми или несколько метатегов.

Пример:

<meta name="robots" content="nosnippet, noindex”>

<meta name="robots" content=“noindex">

<meta name="robots" content=“nosnippet">

<meta name="applebot" content=“nosnippet">

Использование HTTP-заголовка X-Robots-Tag

Applebot также поддерживает директивы индексирования, сообщаемые через заголовок HTTP-ответа X-Robots-Tag. Это полезно для ресурсов в формате, отличном от HTML, например PDF-файлов или изображений, в которых нельзя использовать метатеги, а также когда директивы необходимо применить на уровне сервера. Чтобы применить директиву к Applebot:

X-Robots-Tag: applebot: nosnippet

Маркировка платного контента

Applebot поддерживает свойство schema.org isAccessibleForFree, позволяющее идентифицировать страницы, доступ к которым ограничен необходимостью оплаты, подписки или счетчиком просмотров. Добавьте это свойство в структурированные данные уровня страницы в JSON-LD:

<script type="application/ld+json">

{

"@context": "https://schema.org",

"isAccessibleForFree": false

}

</script>

Страницы, помеченные isAccessibleForFree: false, могут появляться в результатах поиска, но Applebot не будет использовать их содержимое в качестве дополнительного контекста для моделей ИИ, результаты генерации которых отображаются в продуктах и услугах Apple. Такая пометка применяется на уровне страницы. Разметка на уровне раздела с использованием свойства hasPart не поддерживается. Чтобы запретить использование вашего контента для обучения базовых моделей Apple, используйте агент Applebot-Extended, как описано в следующем разделе.

Applebot-Extended и управление использованием данных

В дополнение к соблюдению всех правил и директив robots.txt, Apple использует вторичный пользовательский агент, Applebot-Extended, который дает веб-издателям дополнительный контроль над тем, как Apple может использовать контент с их веб-сайтов.

С помощью Applebot-Extended веб-издатели могут отказаться от использования контента своего веб-сайта для обучения базовых моделей Apple общего назначения, на основе которых работают генеративные функции искусственного интеллекта в продуктах Apple, включая Apple Intelligence, сервисы и инструменты разработки.

Вы можете добавить правило в robots.txt, чтобы запретить использование Applebot-Extended, следующим образом.

User-agent: Applebot-Extended

Disallow: /private/

Applebot-Extended не сканирует веб-страницы. Веб-страницы, которые запрещают использование Applebot-Extended, все равно могут быть включены в результаты поиска. Applebot-Extended используется только для определения того, как использовать данные, сканируемые пользовательским агентом Applebot.

Если разрешить использование Applebot-Extended, это поможет улучшить возможности и качество генеративных моделей ИИ Apple с течением времени.

О поисковых рейтингах

При определении рейтинга результатов веб-поиска Apple Search может принимать во внимание следующие факторы:

• агрегированное взаимодействие пользователей с результатами поиска;

• актуальность и соответствие поисковых терминов темам и содержанию веб-страницы;

• количество и качество ссылок с других страниц в сети;

• сигналы, основанные на местоположении пользователя (приблизительные данные);

• характеристики дизайна веб-страницы.

Результаты поиска могут использовать вышеуказанные факторы без (заранее определенной) важности ранжирования. На пользователей поиска распространяется политика конфиденциальности, описанная в статье «Предложения Siri, Поиск и конфиденциальность».

Свяжитесь с нами

Если у вас есть какие-либо вопросы или проблемы, свяжитесь с нами по адресу applebot@apple.com.