Despre Applebot

Applebot este crawlerul web pentru Apple. Produse precum Siri și sugestiile Spotlight folosesc Applebot.

Identificarea Applebot

Traficul care provine de la Applebot este identificat de agentul său de utilizator, iar DNS-ul inversat îl afișează în domeniul *.applebot.apple.com, provenind din blocul de rețea 17.0.0.0.

Cum se verifică dacă traficul provine de la Applebot

Dacă folosești macOS, poate fi utilizată comanda de gazdă pentru a stabili dacă o adresă IP face parte din Applebot. Aceste exemple afișează comanda de gazdă drept rezultat:

$ gazda 17.58.101.179 179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

De asemenea, comanda de gazdă poate fi utilizată pentru a verifica dacă DNS-ul indică spre aceeași adresă IP:

$ gazda 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com are adresa 17.58.101.179.

Verificarea agentului utilizator Applebot

Șirul agent-utilizator conține „Applebot” și alte informații. Acesta este formatul:

Mozilla/5.0 (dispozitiv; versiune_SO) AppleWebKit/versiune_WebKit (KHTML, precum Gecko) Versiune/versiune_Safari Safari/versiune_WebKit (Applebot/versiune_Applebot)

Exemple pentru desktop:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, precum Gecko) Versiune/8.0.2 Safari/600.2.5 (Applebot/0.1) Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/605.1.15 (KHTML, precum Gecko) Versiune/12.1.1 Safari/605.1.15 (Applebot/0.1)

Exemple pentru mobil:

Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 precum Mac OS X) AppleWebKit/600.1.4 (KHTML, precum Gecko) Versiune/8.0 Mobile/12B410 Safari/600.1.4 (Applebot/0.1; +http://www.apple.com/go/applebot) Mozilla/5.0 (iPhone; CPU iPhone OS 13_4_1 precum Mac OS X) AppleWebKit/605.1.15Z (KHTML, precum Gecko) Versiune/13.1 Mobile/15E148 Safari/604.1 (Applebot/0.1)

Personalizarea regulilor pentru fișierul robot.txt

Applebot respectă directivele standard pentru fișierul robots.txt direcționate către Applebot. În acest exemplu, Applebot nu încearcă să acceseze cu crawlere documente care sunt în /private/ sau /not-allowed/:

Agent-utilizator: Applebot # apple Permite: / # Permite totul (adevărat și dacă se omite) Anulează permisiunea: /privat/ # anulează permisiunea agentului-utilizator al acestui director: * # orice robot Anulează permisiunea: /nu este permis/ # anulează permisiunea acestui director

Dacă instrucțiunile roboților nu menționează Applebot, ci Googlebot, robotul Apple va urma instrucțiunile Googlebot.

Redarea și regulile pentru robot

Applebot poate reda conținutul site-ului web în cadrul unui browser. Dacă javascript, CSS și alte resurse sunt blocate prin fișierul robots.txt, conținutul poate să nu fie redat corect. Aici se încadrează resurse XHR, JS și CSS pe care le poate solicita pagina.

Pentru ca Applebot să indexeze cel mai bun conținut pentru pagină, asigură-te că toate elementele necesare pentru ca un utilizator să redea pagina sunt disponibile pentru Applebot. Sau asigură-te că site-ul web se redă corect, chiar dacă celelalte resurse nu sunt disponibile. Acest lucru se numește de obicei degradare cu stil.

Personalizarea regulilor de indexare pentru Applebot

Applebot acceptă metaetichete pentru roboți în documente HTML. Pentru a specifica reguli pentru roboți în metaetichete, plasează etichetele în

... ...

De asemenea, Applebot acceptă următoarele directive:

• noindex: Applebot nu va indexa această pagină, iar aceasta nu va apărea în sugestiile Spotlight sau Siri.

• nosnippet: Applebot nu va genera o descriere sau un răspuns web pentru pagină.

• nofollow: Applebot nu va urmări niciun link la pagină.

• none: Applebot nu va indexa, nu va extrage și nu va urmări linkuri în pagină, așa cum este descris mai sus.

• all: Applebot furnizează documentul pentru sugestii și extrage conținutul astfel încât o descriere scurtă a paginii să apară lângă o imagine reprezentativă.

Pentru a plasa mai multe directive într-o singură metaetichetă, folosește o listă separată prin virgulă sau mai multe metaetichete.

Exemple:

Despre clasarea în căutare

Căutarea Apple poate ține cont de următoarele aspecte atunci când clasează rezultatele căutării pe web:

• Implicarea cumulată a utilizatorilor cu rezultatele căutării

• Relevanța și potrivirea termenilor de căutare cu subiectele și conținutul paginii web

• Numărul și calitatea linkurilor din alte pagini de pe web

• Locația utilizatorilor în funcție de semnale (date aproximative)

• Caracteristicile de design ale paginii web

Este posibil ca rezultatele căutării să folosească factorii de mai sus fără o importanță (prestabilită) a clasării. Utilizatorii Căutării trebuie să respecte politica de confidențialitate pentru Sufestiile Siri, căutare și confidențialitate.

Contactează-ne

Dacă ai întrebări sau nelămuriri, contactează-ne la applebot@apple.com.