Co je to Applebot

Applebot je webcrawler společnosti Apple – bot, který prohledává a indexuje web. Využívají ho mimo jiné návrhy Siri nebo Spotlightu.

Identifikace Applebotu

Provoz přicházející z Applebotu je identifikován jeho řetězcem user-agent a reverzním záznamem DNS ukazujícím do domény *.applebot.apple.com, s IP adresou z bloku 17.0.0.0.

Ověření, že provoz pochází od Applebotu

V systému macOS lze pomocí příkazu host zjistit, zda daná IP adresa patří Applebotu. Tyto příklady ukazují příkaz host a jeho výsledek:

$ host 17.58.101.179 179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

Příkaz host můžete použít i k ověření, jestli DNS ukazuje na stejnou IP adresu:

$ host 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com has address 17.58.101.179.

Ověření řetězce user-agent Applebotu

Řetězec user-agent obsahuje „Applebot“ a další informace. Má následující formát:

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko) Version/Safari_version Safari/WebKit_version (Applebot/Applebot_version)

Příklady pro počítač:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1) Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/12.1.1 Safari/605.1.15 (Applebot/0.1)

Příklady pro mobil:

Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B410 Safari/600.1.4 (Applebot/0.1; +http://www.apple.com/go/applebot) Mozilla/5.0 (iPhone; CPU iPhone OS 13_4_1 like Mac OS X) AppleWebKit/605.1.15Z (KHTML, like Gecko) Version/13.1 Mobile/15E148 Safari/604.1 (Applebot/0.1)

Přizpůsobení pravidel souboru robots.txt

Applebot se řídí standardními příkazy uvedenými v souboru robots.txt a cílenými na Applebota. V tomto příkladě se Applebot nebude pokoušet prohledávat dokumenty ve složkách /private/ a /not-allowed/:

User-agent: Applebot # apple Allow: / # Allow everything (also true if omitted) Disallow: /private/ # disallow this directory User-agent: * # any robot Disallow: /not-allowed/ # disallow this directory

Pokud instrukce nezmiňují Applebot, ale zmiňují aspoň Googlebot, bude se Applebot řídit instrukcemi pro Googlebota.

Vykreslování a pravidla pro roboty

Applebot může obsah vašeho webu vykreslit ve svém prohlížeči. Pokud soubor robots.txt blokuje soubory CSS, javascript nebo jiné zdroje, nemusí se obsah stránek vykreslit správně. Sem patří i zdroje XHR, JS a CSS, které stránka může vyžadovat.

Aby mohl Applebot indexovat obsah vašeho webu co nejlépe, ujistěte se, že vše, co uživatel potřebuje k vykreslení stránky, je dostupné i pro Applebot. Případně zajistěte, aby se obsah webu vykresloval relativně správně, i když nejsou k dispozici všechny zdroje. To se někdy označuje jako půvabná nebo též elegantní degradace (graceful degradation).

Přizpůsobení pravidel indexování pro Applebot

Applebot podporuje metatagy robots v dokumentech HTML. Chcete-li do metatagů zadat pravidla pro roboty, umístěte značky do části

... ...

Applebot podporuje i následující příkazy:

• noindex: Applebot nebude tuto stránku indexovat a stránka se nebude objevovat v návrzích Spotlightu ani Siri.

• nosnippet: Applebot nebude pro tuto stránku generovat popis ani webové odpovědi.

• nofollow: Applebot nebude následovat žádné odkazy ze stránky.

• none: Applebot nebude indexovat stránku, generovat její popis ani následovat odkazy, jak je popsáno výše.

• all: Applebot zpřístupní stránku v návrzích a vygeneruje náhled jejího obsahu, aby se spolu s reprezentativním obrázkem stránky mohl zobrazovat i stručný popis.

Pokud chcete do jednoho metatagu umístit víc příkazů, oddělte je čárkami, případně použijte víc meta tagů.

Příklady:

Hodnocení ve vyhledávání

Apple Search může při hodnocení webů pro účely řazení výsledků vyhledávání brát v úvahu následující:

• Agregovaná interakce uživatelů s výsledky vyhledávání

• Relevance a shoda vyhledávacích dotazů s tématem a obsahem stránky

• Počet a kvalita odkazů z jiných stránek na webu

• Signály založené na poloze uživatele (přibližná data)

• Vlastnosti návrhu webové stránky

Výsledky vyhledávání mohou používat výše uvedené faktory bez (předem stanoveného) významu hodnocení. Uživatelé vyhledávání podléhají zásadám ochrany osobních údajů popsaným v dokumentu Návrhy Siri, hledání a soukromí.

Kontaktujte nás

Pokud máte nějaké dotazy nebo obavy, napište nám na adresu applebot@apple.com.