Applebot je webcrawler společnosti Apple – bot, který prohledává a indexuje web. Využívají ho mimo jiné návrhy Siri nebo Spotlightu.
Identifikace Applebotu
Provoz přicházející z Applebotu je identifikován jeho řetězcem user-agent a reverzním záznamem DNS ukazujícím do domény *.applebot.apple.com, s IP adresou z bloku 17.0.0.0.
Ověření, že provoz pochází od Applebotu
V systému macOS lze pomocí příkazu host zjistit, zda daná IP adresa patří Applebotu. Tyto příklady ukazují příkaz host a jeho výsledek:
$ host 17.58.101.179 179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.
Příkaz host můžete použít i k ověření, jestli DNS ukazuje na stejnou IP adresu:
$ host 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com has address 17.58.101.179.
Ověření řetězce user-agent Applebotu
Řetězec user-agent obsahuje „Applebot“ a další informace. Má následující formát:
Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko) Version/Safari_version Safari/WebKit_version (Applebot/Applebot_version)
Příklady pro počítač:
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1)
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/12.1.1 Safari/605.1.15 (Applebot/0.1)
Příklady pro mobil:
Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B410 Safari/600.1.4 (Applebot/0.1; +http://www.apple.com/go/applebot)
Mozilla/5.0 (iPhone; CPU iPhone OS 13_4_1 like Mac OS X) AppleWebKit/605.1.15Z (KHTML, like Gecko) Version/13.1 Mobile/15E148 Safari/604.1 (Applebot/0.1)
Přizpůsobení pravidel souboru robots.txt
Applebot se řídí standardními příkazy uvedenými v souboru robots.txt a cílenými na Applebota. V tomto příkladě se Applebot nebude pokoušet prohledávat dokumenty ve složkách /private/ a /not-allowed/:
User-agent: Applebot # apple Allow: / # Allow everything (also true if omitted) Disallow: /private/ # disallow this directory
User-agent: * # any robot Disallow: /not-allowed/ # disallow this directory
Pokud instrukce nezmiňují Applebot, ale zmiňují aspoň Googlebot, bude se Applebot řídit instrukcemi pro Googlebota.
Vykreslování a pravidla pro roboty
Applebot může obsah vašeho webu vykreslit ve svém prohlížeči. Pokud soubor robots.txt blokuje soubory CSS, javascript nebo jiné zdroje, nemusí se obsah stránek vykreslit správně. Sem patří i zdroje XHR, JS a CSS, které stránka může vyžadovat.
Aby mohl Applebot indexovat obsah vašeho webu co nejlépe, ujistěte se, že vše, co uživatel potřebuje k vykreslení stránky, je dostupné i pro Applebot. Případně zajistěte, aby se obsah webu vykresloval relativně správně, i když nejsou k dispozici všechny zdroje. To se někdy označuje jako půvabná nebo též elegantní degradace (graceful degradation).
Přizpůsobení pravidel indexování pro Applebot
Applebot podporuje metaznačky robots v dokumentech HTML. Jestli chcete specifikovat značky meta pro boty, umístěte je v dokumentu do oddílu <head>. Například:
<html><head> <meta name="robots" content="noindex"/> ... </head> <body>...</body> </html>
Applebot podporuje i následující příkazy:
- noindex: Applebot nebude tuto stránku indexovat a stránka se nebude objevovat v návrzích Spotlightu ani Siri.
- nosnippet: Applebot nebude pro tuto stránku generovat popis ani webové odpovědi. Veškeré návrhy na navštívení této adresy URL budou uvádět jen název stránky.
- nofollow: Applebot nebude následovat žádné odkazy ze stránky.
- none: Applebot nebude indexovat stránku, generovat její popis ani následovat odkazy, jak je popsáno výše.
- all: Applebot zpřístupní stránku v návrzích a vygeneruje náhled jejího obsahu, aby se spolu s reprezentativním obrázkem stránky mohl zobrazovat i stručný popis. Applebot může následovat odkazy na stránce, aby mohl poskytovat další návrhy.
Pokud chcete do jedné značky meta umístit víc příkazů, oddělte je čárkami, případně použijte víc značek meta. Příklady:
<meta name="robots" content="nosnippet, noindex”>
<meta name="robots" content=“noindex">
<meta name="robots" content=“nosnippet">
Hodnocení ve vyhledávání
Apple Search může při hodnocení webů pro účely řazení výsledků vyhledávání brát v úvahu následující:
- Agregovaná interakce uživatelů s výsledky vyhledávání
- Relevance a shoda vyhledávacích dotazů s tématem a obsahem stránky
- Počet a kvalita odkazů z jiných stránek na webu
- Signály založené na poloze uživatele (přibližná data)
- Vlastnosti návrhu webové stránky
Výsledky vyhledávání mohou používat výše uvedené faktory bez (předem stanoveného) významu hodnocení. Uživatelé vyhledávání podléhají zásadám ochrany osobních údajů popsaným v dokumentu Návrhy Siri, hledání a soukromí.
Kontaktujte nás
Pokud máte nějaké dotazy nebo obavy, napište nám na adresu applebot@apple.com.