Applebot este crawlerul web pentru Apple. Produse precum Siri și sugestiile Spotlight folosesc Applebot.
Identificarea Applebot
Traficul care provine de la Applebot este identificat de agentul său de utilizator, iar DNS-ul inversat îl afișează în domeniul *.applebot.apple.com, provenind din blocul de rețea 17.0.0.0.
Cum se verifică dacă traficul provine de la Applebot
Dacă folosești macOS, poate fi utilizată comanda de gazdă pentru a stabili dacă o adresă IP face parte din Applebot. Aceste exemple afișează comanda de gazdă drept rezultat:
$ host 17.58.101.179 179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.
De asemenea, comanda de gazdă poate fi utilizată pentru a verifica dacă DNS-ul indică spre aceeași adresă IP:
$ host 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com has address 17.58.101.179.
Verificarea agentului utilizator Applebot
Șirul agent-utilizator conține „Applebot” și alte informații. Acesta este formatul:
Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko) Version/Safari_version Safari/WebKit_version (Applebot/Applebot_version)
Exemple pentru desktop:
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1)
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/12.1.1 Safari/605.1.15 (Applebot/0.1)
Exemple pentru mobil:
Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B410 Safari/600.1.4 (Applebot/0.1; +http://www.apple.com/go/applebot)
Mozilla/5.0 (iPhone; CPU iPhone OS 13_4_1 like Mac OS X) AppleWebKit/605.1.15Z (KHTML, like Gecko) Version/13.1 Mobile/15E148 Safari/604.1 (Applebot/0.1)
Personalizarea regulilor pentru fișierul robot.txt
Applebot respectă directivele standard pentru fișierul robots.txt direcționate către Applebot. În acest exemplu, Applebot nu încearcă să acceseze cu crawlere documente care sunt în /private/ sau /not-allowed/:
User-agent: Applebot # apple Allow: / # Allow everything (also true if omitted) Disallow: /private/ # disallow this directory
User-agent: * # any robot Disallow: /not-allowed/ # disallow this directory
Dacă instrucțiunile roboților nu menționează Applebot, ci Googlebot, robotul Apple va urma instrucțiunile Googlebot.
Redarea și regulile pentru robot
Applebot poate reda conținutul site-ului web în cadrul unui browser. Dacă javascript, CSS și alte resurse sunt blocate prin fișierul robots.txt, conținutul poate să nu fie redat corect. Aici se încadrează resurse XHR, JS și CSS pe care le poate solicita pagina.
Pentru ca Applebot să indexeze cel mai bun conținut pentru pagină, asigură-te că toate elementele necesare pentru ca un utilizator să redea pagina sunt disponibile pentru Applebot. Sau asigură-te că site-ul web se redă corect, chiar dacă celelalte resurse nu sunt disponibile. Acest lucru se numește de obicei degradare cu stil.
Personalizarea regulilor de indexare pentru Applebot
Applebot acceptă metaetichete pentru roboți în documente HTML. Pentru a specifica reguli pentru roboți în metaetichete, plasează etichetele în secțiunea <head> a documentului, astfel:
<html><head> <meta name="robots" content="noindex"/> ... </head> <body>...</body> </html>
De asemenea, Applebot acceptă următoarele directive:
- noindex: Applebot nu va indexa această pagină, iar aceasta nu va apărea în sugestiile Spotlight sau Siri.
- nosnippet: Applebot nu va genera o descriere sau un răspuns web pentru pagină. Orice sugestie de a accesa această adresă URL include numai titlul paginii.
- nofollow: Applebot nu va urmări niciun link la pagină.
- none: Applebot nu va indexa, nu va extrage și nu va urmări linkuri în pagină, așa cum este descris mai sus.
- all: Applebot furnizează documentul pentru sugestii și extrage conținutul astfel încât o descriere scurtă a paginii să apară lângă o imagine reprezentativă. Applebot poate urmări linkuri din pagină pentru a oferi mai multe sugestii.
Pentru a plasa mai multe directive într-o singură metaetichetă, folosește o listă separată prin virgulă sau mai multe metaetichete. Exemple:
<meta name="robots" content="nosnippet, noindex”>
<meta name="robots" content=“noindex">
<meta name="robots" content=“nosnippet">
Despre clasarea în căutare
Căutarea Apple poate ține cont de următoarele aspecte atunci când clasează rezultatele căutării pe web:
- Implicarea cumulată a utilizatorilor cu rezultatele căutării
- Relevanța și potrivirea termenilor de căutare cu subiectele și conținutul paginii web
- Numărul și calitatea linkurilor din alte pagini de pe web
- Locația utilizatorilor în funcție de semnale (date aproximative)
- Caracteristicile de design ale paginii web
Este posibil ca rezultatele căutării să folosească factorii de mai sus fără o importanță (prestabilită) a clasării. Utilizatorii Căutării trebuie să respecte politica de confidențialitate pentru Sufestiile Siri, căutare și confidențialitate.
Contactează-ne
Dacă ai întrebări sau nelămuriri, contactează-ne la applebot@apple.com.