Applebot е уеб кроулерът за Apple. Продукти, като предложенията на Siri и Spotlight, използват Applebot.
Разпознаване на Applebot
Трафикът, който идва от Applebot, се разпознава от неговия потребителски агент, а обратният DNS го показва в домейна *.applebot.apple.com от мрежовия блок 17.0.0.0.
Проверка дали трафикът е от Applebot
В macOS може да се използва хост командата, за да се установи дали някой IP адрес е част от Applebot. Тези примери показват хост командата и нейния резултат:
$ host 17.58.101.179 179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.
Хост командата може да се използва и за да удостовери, че DNS сочи към същия IP адрес:
$ host 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com has address 17.58.101.179.
Проверка на потребителския агент на Applebot
Низът на потребителския агент съдържа „Applebot“ и друга информация. Това е форматът:
Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko) Version/Safari_version Safari/WebKit_version (Applebot/Applebot_version)
Примери за настолни устройства:
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1)
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/12.1.1 Safari/605.1.15 (Applebot/0.1)
Примери за мобилни устройства:
Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B410 Safari/600.1.4 (Applebot/0.1; +http://www.apple.com/go/applebot)
Mozilla/5.0 (iPhone; CPU iPhone OS 13_4_1 like Mac OS X) AppleWebKit/605.1.15Z (KHTML, like Gecko) Version/13.1 Mobile/15E148 Safari/604.1 (Applebot/0.1)
Персонализиране на правилата robot.txt
Applebot спазва стандартните директиви robot.txt, които са насочени към Applebot. В този пример Applebot не се опитва да сканира документи, които са класифицирани като /private/ (поверително) или /not-allowed/ (непозволено):
User-agent: Applebot # apple Allow: / # Allow everything (also true if omitted) Disallow: /private/ # disallow this directory
User-agent: * # any robot Disallow: /not-allowed/ # disallow this directory
Ако указанията на робота не споменават Applebot, но пък споменават Googlebot, роботът на Apple ще следва указанията на Googlebot.
Рендъринг и правила на робота
Възможно е Applebot да рендира съдържанието на вашия уебсайт в браузъра. Ако javascript, CSS и други ресурси са блокирани чрез robots.txt, съдържанието може да не се рендира правилно. Това включва XHR, JS и CSS, които страницата може да изисква.
За да може Applebot да индексира най-доброто съдържание за страницата, се уверете, че всичко необходимо за рендъринга на страницата от потребител е налично за Applebot. В противен случай се уверете, че уебсайтът се рендира чисто дори ако не всички ресурси са налични. Често това се нарича елегантна деградация.
Персонализиране на правилата за индексиране за Applebot
Applebot поддържа мета етикети на роботи в HTML документи. За да укажете правилата на роботите в мета етикетите, сложете етикетите в <главния> раздел на документа, ето така:
<html><head> <meta name="robots" content="noindex"/> ... </head> <body>...</body> </html>
Applebot поддържа и следните директиви:
- noindex: Applebot няма да индексира тази страница и тя няма да се появи в предложенията на Spotlight или Siri.
- nosnippet: Applebot няма да генерира описание или уеб отговор за страницата. Предложенията за посещение на този URL адрес ще включват само заглавието на страницата.
- nofollow: Applebot няма да последва нито една връзка на страницата.
- none: Applebot няма да индексира, да предоставя фрагменти от страницата или да следва връзки в нея, както е описано по-горе.
- all: Applebot предоставя документа за предложения и изважда фрагмент от съдържанието, така че да се появи кратко описание на страницата заедно с представително изображение. Възможно е Applebot да последва връзки на страницата, за да предостави повече предложения.
За да поставите няколко директиви в един мета етикет, отделете ги със запетаи в списъка или използвайте няколко мета етикета. Примери:
<meta name="robots" content="nosnippet, noindex”>
<meta name="robots" content=“noindex">
<meta name="robots" content=“nosnippet">
За класирането при търсене
Възможно е Apple Search да вземе следното предвид, когато класира резултати от уеб търсене:
- Обобщена ангажираност на потребителите с резултатите от търсенето
- Относимост и съпоставимост на думите за търсене с темите и съдържанието на уебстраниците
- Брой и качество на връзките от други страници в интернет
- Сигнали, базирани на местоположението на потребителя (приблизителни данни)
- Характеристики на дизайна на уебстраницата
Възможно е резултатите от търсенето да използват горепосочените фактори без (предварително) да ги класират по важност. Потребителите на търсенето за обект на политиката за поверителност в Предложения на Siri, търсене и поверителност.
Свържете се с нас
Ако имате въпроси или притеснения, свържете се с нас на адрес applebot@apple.com.