Co je to Applebot

Přečtěte si o Applebotu, webcrawleru společnosti Apple.

Data procházená Applebotem se používají k podpoře různých funkcí, například technologie vyhledávání integrované do mnoha uživatelských prostředí v ekosystému Apple, včetně Spotlightu, Siri a Safari. Povolením Applebotu v souboru robots.txt umožníte, aby se obsah webových stránek zobrazoval ve výsledcích vyhledávání uživatelům těchto produktů Apple z celého světa.

Data procházená Applebotem můžou být také použita k trénování základních modelů Apple pro funkce generativní umělé inteligence v produktech Apple, včetně Apple Intelligence, služeb a vývojářských nástrojů. Vydavatelé webových stránek můžou zakázat používání svého obsahu k trénování generativních základních modelů tak, že v souboru robots.txt zakážou Applebot-Extended.

Data procházená pomocí Applebotu můžou být použita k poskytování dodatečného kontextu a aktuálního obsahu, když se pomocí modelů AI generují výstupu určené k zobrazení v produktech a službách Apple. Například odpovídání na otázky vyžadující rozsáhlé znalosti v Siri a vyhledávání, které můžou zahrnovat odkazy na zdroje a webové stránky použité při generování odpovědi. Vydavatelé webových stránek můžou zabránit tomu, aby se jejich obsah v těchto odpovědích vyžadujících rozsáhlé znalosti používal, a to pomocí meta tagu nosnippet u konkrétního obsahu.

I když zakážete Applebot-Extended a označíte obsah webu pomocí meta tagu nosnippet, pokyny vašeho webu můžou stále Applebotu umožňovat procházení vašich webových stránek. Váš obsah zůstane na zařízeních Apple dostupný prostřednictvím Spotlightu, Siri a Safari i dalších systémových funkcí.

Identifikace Applebotu

Přenosy přicházející z Applebotu jsou obecně identifikovány pomocí reverzního DNS záznamu v doméně *applebot.apple.com.

Dalším způsobem je porovnat IP adresu s předponou CIDR obsaženou v následujícím souboru JSON: Applebot IP CIDRs.

Reverzní DNS záznam

Pomocí příkazu host lze zjistit, zda daná IP adresa patří Applebotu. Tyto příklady ukazují příkaz host a jeho výsledek:

$ host 17-58-101-179.applebot.apple.com

17-58-101-179.applebot.apple.com has address 17.58.101.179.

Příkaz host můžete použít i k ověření, jestli DNS ukazuje na stejnou IP adresu:

$ host 17.58.101.179

179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

Uživatelští agenti

Uživatelský agent pomáhá webmasterům identifikovat provoz prohledávače, aby mohli získat přesné protokoly přístupu o činnosti prohledávače a řídit přístup k webu prostřednictvím souboru robots.txt.

Applebot ovládá několik uživatelských agentů, včetně Hledání a Podcastů.

Hledat

K procházení a vykreslování webů pro vyhledávání používá Applebot následující formát:

Řetězec user-agent obsahuje „Applebot“ a další informace. Obecný formát je následující:

Mozilla/5.0 (zařízení; verze_OS) AppleWebKit/WebKit_version (KHTML, například Gecko)Version/verze_Safari [Mobilní zařízení/verze_mobilního_zařízení] Safari/verze_WebKitu (Applebot/verze_Applebotu; +http://www.apple.com/go/applebot)

Mozilla/5.0 (zařízení; verze_OS) AppleWebKit/verze_WebKitu (KHTML, například Gecko)Version/verze_Safari [Mobilní_zařízení/verze_mobilního_zařízení] Safari/verze_WebKitu (Applebot/verze_Applebotu; +http://www.apple.com/go/applebot)

Příklad pro stolní počítač:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15(KHTML, například Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

Příklad pro mobilní zařízení:

Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 například Mac OS X) AppleWebKit/605.1.15 (KHTML, například Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

Applebot příležitostně aktualizuje verzi prohlížeče, kterou udává, přičemž zůstává ve výše uvedeném obecném formátu.

Speciální prohledávací roboty

Online služby Apple

Přenosy iTMS můžou pocházet z hostitelů applebot.apple.com a budou identifikovány následujícím uživatelským agentem:

User-agent: iTMS

Uživatelský agent iTMS se neřídí souborem robots.txt, protože se nejedná o obecný prohledávač vyhledávání. Uživatelský agent iTMS prochází jenom adresy URL přidružené k registrovanému obsahu na Apple Podcasts.

Přizpůsobení pravidel souboru robots.txt

Applebot respektuje standardní direktivy souboru robots.txt v rámci obecného procházení vyhledávání, které je zacíleno na Applebota. V tomto příkladě se Applebot nebude pokoušet prohledávat dokumenty ve složkách /private/ a /not-allowed/:

User-agent: Applebot

Allow: /

Disallow: /private/

User-agent: *

Disallow: /not-allowed/

Pokud instrukce nezmiňují Applebot, ale zmiňují aspoň Googlebot, bude se robot Apple řídit instrukcemi pro Googlebot. Applebot nerespektuje crawl-delay.

Applebot je navržený s ohledem na efektivitu a upravuje se tak, aby co nejvíce omezil dopad na vlastníky webů. Například když web zpomalí nebo vrací chyby, rychlost procházení Applebotu se automaticky upraví, aby nedocházelo k přetěžování serverů webu. Apple taky ukládá procházený obsah do mezipaměti, aby omezil zbytečné procházení. Identifikace obsahu, který není třeba procházet, snižuje náklady na infrastrukturu pro vlastníky webů a zvyšuje celkovou efektivitu internetu.

Vykreslování a pravidla pro roboty

Applebot může obsah vašeho webu vykreslit ve svém prohlížeči. Pokud soubor robots.txt blokuje soubory CSS, javascript nebo jiné zdroje, nemusí se obsah stránek vykreslit správně. Sem patří i zdroje XHR, JS a CSS, které stránka může vyžadovat.

Aby mohl Applebot indexovat obsah vašeho webu co nejlépe, ujistěte se, že vše, co uživatel potřebuje k vykreslení stránky, je dostupné i pro Applebot. Případně zajistěte, aby se obsah webu vykresloval relativně správně, i když nejsou k dispozici všechny zdroje. To se někdy označuje jako půvabná nebo též elegantní degradace (graceful degradation).

Přizpůsobení pravidel indexování pro Applebot

Applebot podporuje metatagy robots v dokumentech HTML. Jestli chcete specifikovat značky meta pro boty, umístěte je v dokumentu do oddílu <head>:

<html>

<head>

<meta name="robots" content="noindex"/>

...

</head>

<body>...</body>

</html>

Applebot podporuje i následující příkazy:

• noindex: Applebot nebude tuto stránku indexovat a stránka se nebude objevovat v návrzích Spotlightu ani Siri.

• nosnippet: Applebot nebude pro tuto stránku generovat popis ani webové odpovědi. Veškeré návrhy na navštívení této adresy URL budou uvádět jen název stránky. Apple nebude používat data označená tagem nosnippet k poskytování dodatečného kontextu a aktuálního obsahu, když se pomocí modelů AI generují výstupy určené k zobrazení v produktech a službách Apple.

• nofollow: Applebot nebude následovat žádné odkazy ze stránky.

• none: Applebot nebude indexovat stránku, generovat její popis ani následovat odkazy, jak je popsáno výše.

• all: Applebot zpřístupní stránku v návrzích a vygeneruje náhled jejího obsahu, aby se spolu s reprezentativním obrázkem stránky mohl zobrazovat i stručný popis. Applebot může následovat odkazy na stránce, aby mohl poskytovat další návrhy.

Pokud chcete do jednoho metatagu umístit víc příkazů, oddělte je čárkami, případně použijte víc meta tagů.

Příklad:

<meta name="robots" content="nosnippet, noindex”>

<meta name="robots" content=“noindex">

<meta name="robots" content=“nosnippet">

<meta name="applebot" content=“nosnippet">

Používání hlavičky HTTP X-Robots-Tag

Applebot taky podporuje direktivy pro indexování předávané prostřednictvím hlavičky HTTP odpovědi X-Robots-Tag. To je užitečné pro jiné zdroje než HTML (například PDF nebo obrázky), kde nejde použít meta tagy, nebo když chcete direktivy použít na úrovni serveru. Pokud chcete na Applebot použít direktivu:

X-Robots-Tag: applebot: nosnippet

Označování obsahu za paywallem

Applebot podporuje vlastnost schema.org isAccessibleForFree k identifikaci stránek, které jsou za paywallem, s měřeným přístupem nebo předplatným. Přidejte vlastnost do strukturovaných dat na úrovni stránky ve formátu JSON-LD:

<script type="application/ld+json">

{

"@context": "https://schema.org",

"isAccessibleForFree": false

}

</script>

Stránky označené isAccessibleForFree: false můžou být zobrazeny ve výsledcích vyhledávání, ale Applebot tento obsah nepoužije jako další kontext, když se používají modely umělé inteligence ke generování výstupu zobrazovaného v produktech a službách Apple. Tento signál se aplikuje na úrovni stránky. Anotování na úrovni sekcí pomocí hasPart není podporováno. Pokud chcete zabránit tomu, aby se váš obsah používal k trénování základních modelů Apple, použijte Applebot-Extended popsaný v následující části.

Applebot-Extended a kontrola využití dat

Kromě dodržování všech pravidel a direktiv souboru robots.txt má Apple sekundárního uživatelského agenta, Applebot-Extended, který poskytuje vydavatelům webů další možnosti kontroly nad tím, jak může Apple používat obsah jejich webových stránek.

Pomocí uživatelského agenta Applebot-Extended můžou vydavatelé webů vyloučit obsah svých webových stránek z používání k trénování obecných základních modelů Apple podporujících generativní funkce umělé inteligence napříč produkty Apple, včetně Apple Intelligence, služeb Apple a Developer Tools.

Do souboru robots.txt můžete přidat pravidlo, kterým uživatelského agenta Applebot-Extended zakážete:

User-agent: Applebot-Extended

Disallow: /private/

Applebot-Extended neprochází webové stránky. Webové stránky, které uživatelského agenta Applebot-Extended zakazují, můžou být stále zahrnuty do výsledků vyhledávání. Applebot-Extended se používá pouze k určení, jak používat data procházená uživatelským agentem Applebot.

Povolením uživatelského agenta Applebot-Extended pomůžete průběžně zlepšovat schopnosti a kvalitu generativních modelů umělé inteligence Apple.

Hodnocení ve vyhledávání

Apple Search může při hodnocení webů pro účely řazení výsledků vyhledávání brát v úvahu následující faktory:

• Agregovaná interakce uživatelů s výsledky vyhledávání

• Relevance a shoda vyhledávacích dotazů s tématem a obsahem stránky

• Počet a kvalita odkazů z jiných stránek na webu

• Signály založené na poloze uživatele (přibližná data)

• Vlastnosti návrhu webové stránky

Výsledky vyhledávání mohou používat výše uvedené faktory bez (předem stanoveného) významu hodnocení. Uživatelé vyhledávání podléhají zásadám ochrany osobních údajů popsaným v dokumentu Návrhy Siri, hledání a soukromí.

Kontaktujte nás

Pokud máte nějaké dotazy nebo obavy, napište nám na adresu applebot@apple.com.