Co je to Applebot

Přečtěte si o Applebotu, webcrawleru společnosti Apple.

Data procházená Applebotem se používají k podpoře různých funkcí, například technologie vyhledávání integrované do mnoha uživatelských prostředí v ekosystému Apple, včetně Spotlightu, Siri a Safari. Povolením Applebota v souboru robots.txt umožníte, aby se obsah webových stránek zobrazoval ve výsledcích vyhledávání uživatelům těchto produktů Apple z celého světa.

Applebot přistupuje k mnoha různým zdrojům z webových serverů, včetně například souboru robots.txt, map webů, kanálů RSS, HTML, dílčích zdrojů potřebných k vykreslení stránek, jako je javascript, požadavků Ajax, obrázků a dalších zdrojů.

Identifikace Applebotu

Přenosy přicházející z Applebotu jsou obecně identifikovány pomocí reverzního DNS záznamu v doméně *applebot.apple.com.

Dalším způsobem je porovnat IP adresu s předponou CIDR obsaženou v následujícím souboru JSON: Applebot IP CIDRs.

Reverzní DNS záznam

Pomocí příkazu host lze zjistit, zda daná IP adresa patří Applebotu. Tyto příklady ukazují příkaz host a jeho výsledek:

$ host 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com has address 17.58.101.179.

Příkaz host můžete použít i k ověření, jestli DNS ukazuje na stejnou IP adresu:

$ host 17.58.101.179 179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

Uživatelští agenti

Uživatelský agent pomáhá webmasterům identifikovat provoz prohledávače, aby mohli získat přesné protokoly přístupu o činnosti prohledávače a řídit přístup k webu prostřednictvím souboru robots.txt.

Applebot ovládá několik uživatelských agentů, včetně Hledání a Podcastů.

Hledání

K procházení a vykreslování webů pro vyhledávání používá Applebot následující formát:

Řetězec user-agent obsahuje „Applebot“ a další informace. Obecný formát je následující:

Mozilla/5.0 (zařízení; verze_OS) AppleWebKit/verze_WebKitu (KHTML, například Gecko)Version/verze_Safari [Mobilní_zařízení/verze_mobilního_zařízení] Safari/verze_WebKitu (Applebot/verze_Applebotu; +http://www.apple.com/go/applebot)

Příklad pro stolní počítač:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15(KHTML, například Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

Příklad pro mobilní zařízení:

Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 například Mac OS X) AppleWebKit/605.1.15 (KHTML, například Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

Applebot příležitostně aktualizuje verzi prohlížeče, kterou udává, přičemž zůstává ve výše uvedeném obecném formátu.

Apple Podcasts

Přenosy iTMS můžou také pocházet z hostitelů applebot.apple.com a budou identifikovány následujícím uživatelským agentem:

User-agent: iTMS

Uživatelský agent iTMS se neřídí souborem robots.txt, protože se nejedná o obecný prohledávač vyhledávání. Prochází pouze adresy URL spojené s registrovaným obsahem ve službě Apple Podcasts.

Přizpůsobení pravidel souboru robots.txt

Applebot respektuje standardní direktivy souboru robots.txt v rámci obecného procházení vyhledávání, které je zacíleno na Applebota. V tomto příkladě se Applebot nebude pokoušet prohledávat dokumenty ve složkách /private/ a /not-allowed/:

User-agent: Applebot Allow: / Disallow: /private/ User-agent: * Disallow: /not-allowed/

Pokud instrukce nezmiňují Applebot, ale zmiňují aspoň Googlebot, bude se Applebot řídit instrukcemi pro Googlebota.

Vykreslování a pravidla pro roboty

Applebot může obsah vašeho webu vykreslit ve svém prohlížeči. Pokud soubor robots.txt blokuje soubory CSS, javascript nebo jiné zdroje, nemusí se obsah stránek vykreslit správně. Sem patří i zdroje XHR, JS a CSS, které stránka může vyžadovat.

Aby mohl Applebot indexovat obsah vašeho webu co nejlépe, ujistěte se, že vše, co uživatel potřebuje k vykreslení stránky, je dostupné i pro Applebot. Případně zajistěte, aby se obsah webu vykresloval relativně správně, i když nejsou k dispozici všechny zdroje. To se někdy označuje jako půvabná nebo též elegantní degradace (graceful degradation).

Přizpůsobení pravidel indexování pro Applebot

Applebot podporuje metatagy robots v dokumentech HTML. Chcete-li do metatagů zadat pravidla pro roboty, umístěte značky do části

... ...

Applebot podporuje i následující příkazy:

• noindex: Applebot nebude tuto stránku indexovat a stránka se nebude objevovat v návrzích Spotlightu ani Siri.

• nosnippet: Applebot nebude pro tuto stránku generovat popis ani webové odpovědi. Veškeré návrhy na navštívení této adresy URL budou uvádět jen název stránky.

• nofollow: Applebot nebude následovat žádné odkazy ze stránky.

• none: Applebot nebude indexovat stránku, generovat její popis ani následovat odkazy, jak je popsáno výše.

• all: Applebot zpřístupní stránku v návrzích a vygeneruje náhled jejího obsahu, aby se spolu s reprezentativním obrázkem stránky mohl zobrazovat i stručný popis. Applebot může následovat odkazy na stránce, aby mohl poskytovat další návrhy.

Pokud chcete do jednoho metatagu umístit víc příkazů, oddělte je čárkami, případně použijte víc meta tagů.

Příklad:

Řízení využití dat

Kromě dodržování všech pravidel a direktiv souboru robots.txt má Apple sekundárního uživatelského agenta, Applebot-Extended, který poskytuje vydavatelům webů další možnosti kontroly nad tím, jak může Apple používat obsah jejich webových stránek.

Pomocí uživatelského agenta Applebot-Extended můžou vydavatelé webů vyloučit obsah svých webových stránek z používání ke trénování základních modelů Apple podporujících generativní funkce umělé inteligence napříč produkty Apple, včetně Apple Intelligence, služeb Apple a Developer Tools.

Do souboru robots.txt můžete přidat pravidlo, kterým uživatelského agenta Applebot-Extended zakážete:

User-agent: Applebot-Extended Disallow: /private/

Applebot-Extended neprochází webové stránky. Webové stránky, které uživatelského agenta Applebot-Extended zakazují, můžou být stále zahrnuty do výsledků vyhledávání. Applebot-Extended se používá pouze k určení, jak používat data procházená uživatelským agentem Applebot.

Povolením uživatelského agenta Applebot-Extended pomůžete průběžně zlepšovat schopnosti a kvalitu generativních modelů umělé inteligence Apple.

Hodnocení ve vyhledávání

Apple Search může při hodnocení webů pro účely řazení výsledků vyhledávání brát v úvahu následující faktory:

• Agregovaná interakce uživatelů s výsledky vyhledávání

• Relevance a shoda vyhledávacích dotazů s tématem a obsahem stránky

• Počet a kvalita odkazů z jiných stránek na webu

• Signály založené na poloze uživatele (přibližná data)

• Vlastnosti návrhu webové stránky

Výsledky vyhledávání mohou používat výše uvedené faktory bez (předem stanoveného) významu hodnocení. Uživatelé vyhledávání podléhají zásadám ochrany osobních údajů popsaným v dokumentu Návrhy Siri, hledání a soukromí.

Kontaktujte nás

Pokud máte nějaké dotazy nebo obavy, napište nám na adresu applebot@apple.com.