Applebot — это поисковый робот для Apple. Его используют такие службы, как «Предложения Siri» и «Предложения Spotlight».
Идентификация Applebot
Трафик, поступающий от Applebot, идентифицируется его строкой user-agent, а результат обратного разрешения DNS соответствует домену *.applebot.apple.com, размещенному в блоке адресов сети 17.0.0.0.
Проверка того, что источником трафика является Applebot
Команда host в операционной системе macOS позволяет определить, является ли IP-адрес частью структуры Applebot. В следующих примерах показана команда host и результаты ее выполнения:
$ host 17.58.101.179 179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.
Команду host также можно использовать для проверки неизменности IP-адреса при использовании DNS:
$ host 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com has address 17.58.101.179.
Проверка строки user-agent для Applebot
В строке user-agent содержится «Applebot» и другая информация. Вот формат этой строки:
Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko) Version/Safari_version Safari/WebKit_version (Applebot/Applebot_version)
Примеры для настольных компьютеров:
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1)
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/12.1.1 Safari/605.1.15 (Applebot/0.1)
Примеры для мобильных устройств:
Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B410 Safari/600.1.4 (Applebot/0.1; +http://www.apple.com/go/applebot)
Mozilla/5.0 (iPhone; CPU iPhone OS 13_4_1 like Mac OS X) AppleWebKit/605.1.15Z (KHTML, like Gecko) Version/13.1 Mobile/15E148 Safari/604.1 (Applebot/0.1)
Настройка правил в файле robot.txt
Applebot поддерживает стандартные директивы robots.txt, которые и являются в нем целевыми. В этом примере Applebot не пытается искать документы, которые отмечены как /private/ или /not-allowed/.
User-agent: Applebot # apple Allow: / # Allow everything (also true if omitted) Disallow: /private/ # disallow this directory
User-agent: * # any robot Disallow: /not-allowed/ # disallow this directory
Если в инструкциях файла robots не упоминается Applebot, но есть Googlebot, робот Apple будет следовать инструкциям для Googlebot.
Правила рендеринга и роботов
Applebot может выполнять рендеринг содержимого вашего сайта в браузере. Если javascript, CSS и другие ресурсы заблокированы с использованием файла robots.txt, возможно, содержимое будет искажено. Это утверждение распространяется на ресурсы XHR, JS и CSS, которые могут требоваться на странице.
Чтобы Applebot мог проиндексировать страницу наилучшим образом, убедитесь, что все, что нужно пользователю для отображения страницы, доступно для Applebot. Также можно убедиться, что сайт отображается правильно, даже если все ресурсы не доступны. Такой подход часто называют постепенным сокращением возможностей.
Настройка правил индексации для Applebot
Applebot поддерживает метатеги robots в документах HTML. Чтобы указать правила robots в метатегах, поместите теги в раздел <head> документа следующим образом.
<html><head> <meta name="robots" content="noindex"/> ... </head> <body>...</body> </html>
Applebot также поддерживает перечисленные ниже директивы.
- noindex: Applebot не будет индексировать эту страницу, и она не отобразится в службах «Предложения Siri» и «Предложения Spotlight».
- nosnippet: Applebot не будет создавать описание или веб-слепок для этой страницы. В любых предложениях посетить соответствующий URL-адрес будет указан только заголовок страницы.
- nofollow: Applebot не будет переходить ни по каким ссылкам на этой странице.
- none: Applebot не будет индексировать эту страницу, использовать ее фрагменты или переходить по ссылкам на ней, как это описано выше.
- all: Applebot предоставляет документ для предложений и использует фрагменты содержимого, чтобы рядом с демонстрационным изображением появилось краткое описание страницы. Applebot может переходить по ссылкам на этой странице, чтобы делать больше предложений.
Чтобы вставить несколько директив в один метатег, используйте список с разделением запятыми или несколько метатегов. Примеры:
<meta name="robots" content="nosnippet, noindex”>
<meta name="robots" content=“noindex">
<meta name="robots" content=“nosnippet">
О поисковых рейтингах
При определении рейтинга результатов веб-поиска Apple Search может принимать во внимание следующие факторы:
- агрегированное взаимодействие пользователей с результатами поиска;
- актуальность и соответствие поисковых терминов темам и содержанию веб-страницы;
- количество и качество ссылок с других страниц в сети;
- сигналы, основанные на местоположении пользователя (приблизительные данные);
- характеристики дизайна веб-страницы.
Результаты поиска могут использовать вышеуказанные факторы без (заранее определенной) важности ранжирования. На пользователей поиска распространяется политика конфиденциальности, описанная в статье «Предложения Siri, Поиск и конфиденциальность».
Обратная связь
Если у вас есть какие-либо вопросы или проблемы, свяжитесь с нами по адресу applebot@apple.com.