Modul Applebot

Prečítajte si informácie o module Applebot spoločnosti Apple, ktorý slúži na prehľadávanie webového obsahu.

Dáta prehľadávané modulom Applebot používajú rôzne funkcie, napríklad technológia vyhľadávania, ktorá je integrovaná do mnohých používateľských prostredí v ekosystéme spoločnosti Apple vrátane Spotlightu, Siri a Safari. Povolením modulu Applebot v súbore robots.txt umožníte, aby sa obsah webových stránok zobrazoval vo výsledkoch vyhľadávania používateľom produktov Apple na celom svete.

Dáta prehľadávané modulom Applebot sa môžu používať aj na trénovanie základných modelov Apple, ktoré poháňajú funkcie generatívnej umelej inteligencie v produktoch Apple vrátane funkcií Apple Intelligence, služieb a vývojárskych nástrojov. Vydavatelia webových stránok môžu zakázať používanie ich obsahu na trénovanie generatívnych základných modelov tak, že v súbore robots.txt zakážu používateľský agent Applebot-Extended.

Aj keď používateľský agent Applebot-Extended zakážete, pokyny vášho webu môžu modulu Applebot naďalej umožňovať prehľadávať vaše webové stránky. V takom prípade bude váš obsah naďalej možné vyhľadať prostredníctvom Spotlightu, Siri a ďalších systémových funkcií na zariadeniach Apple.

Identifikácia modulu Applebot

Premávka prichádzajúca z modulu Applebot je spravidla identifikovaná reverzným systémom DNS v doméne *.applebot.apple.com.

Ďalším spôsobom je priradenie IP adresy k predpone CIDR, ktorú obsahuje nasledujúci súbor JSON: Predpony CIDR IP adresy modulu Applebot.

Reverzný systém DNS

Určiť, či je IP adresa súčasťou modulu Applebot, možno pomocou príkazu host. Tieto príklady ilustrujú použitie príkazu host a jeho výsledok:

$ host 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com má adresu 17.58.101.179.

Príkaz host je možné použiť aj na overenie, či systém DNS odkazuje na tú istú IP adresu:

$ host 17.58.101.179 179.101.58.17.in-addr.arpa ukazovateľ na doménový názov 17-58-101-179.applebot.apple.com.

Používateľské agenty

Používateľský agent pomáha správcom webových stránok identifikovať premávku pochádzajúcu od nástrojov na prehľadávanie, aby mohli získať presné informácie o aktivitách nástrojov na prehľadávanie a riadiť ich prístup k stránkam prostredníctvom súboru robots.txt.

Applebot zabezpečuje prevádzku niekoľkých používateľských agentov vrátane apiek Vyhľadávanie a Podcasty.

Vyhľadávanie

Pri prehľadávaní a zobrazovaní webových stránok na účely vyhľadávania používa Applebot nasledujúci formát:

Reťazec user-agent obsahuje text „Applebot“ a ďalšie informácie. Takýto je všeobecný formát:

Mozilla/5.0 (zariadenie; verzia_operačného_systému) AppleWebKit/verzia_WebKit (KHTML, like Gecko)Version/verzia_Safari [Mobile/verzia_Mobile] Safari/verzia_WebKit (Applebot/verzia_Applebot; +http://www.apple.com/go/applebot)

Mozilla/5.0 (zariadenie; verzia_operačného_systému) AppleWebKit/verzia_WebKit (KHTML, like Gecko)Version/verzia_Safari [Mobile/verzia_Mobile] Safari/verzia_WebKit (Applebot/verzia_Applebot; +http://www.apple.com/go/applebot)

Príklad pre stolný počítač:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15(KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

Príklad pre mobilné zariadenie:

Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

Applebot príležitostne aktualizuje verziu prehliadača, ktorú oznamuje, pričom zostáva zachovaný všeobecný formát uvedený vyššie.

Apple Podcasts

Premávka iTMS môže pochádzať aj od hostiteľov applebot.apple.com a je identifikovaná nasledujúcim používateľským agentom:

User-Agent: iTMS

Používateľský agent iTMS sa neriadi súborom robots.txt, pretože nejde o všeobecný nástroj na prehľadávanie. Prehľadáva iba adresy URL priradené k registrovanému obsahu v Apple Podcasts.

Prispôsobenie pravidiel v súbore robot.txt

Modul Applebot rešpektuje štandardné direktívy pre všeobecné prehľadávanie v súbore robots.txt cielené na modul Applebot. V tomto príklade sa modul Applebot nepokúša prehľadávať dokumenty v priečinkoch /private/ a /not-allowed/:

User-agent: Applebot Allow: / Disallow: /private/ User-agent: * Disallow: /not-allowed/

Ak v pokynoch pre roboty nie je uvedený modul Applebot, no uvádza sa v nich modul Googlebot, robot spoločnosti Apple bude postupovať podľa pokynov pre modul Googlebot.

Zobrazovanie a pravidlá pre roboty

Modul Applebot môže zobraziť obsah vašich webových stránok v prehliadači. Ak sú kód JavaScript, kód CSS a ďalšie zdroje blokované prostredníctvom súboru robots.txt, nemusí byť možné obsah správne zobraziť. Týka sa to kódu XHR, JS a CSS, ktorý stránka môže vyžadovať.

Aby mohol modul Applebot indexovať najlepší možný obsah pre stránku, uistite sa, že všetko, čo používateľ potrebuje na zobrazenie stránky, je pre modul Applebot k dispozícii. Prípadne sa uistite, že sa webová stránka zobrazuje usporiadane, aj keď nie sú k dispozícii všetky zdroje. Často sa to označuje ako prijateľné zníženie kvality.

Prispôsobenie pravidiel indexovania pre modul Applebot

Modul Applebot podporuje v dokumentoch HTML značky meta pre roboty. Ak chcete v značkách meta určiť pravidlá pre roboty, umiestnite značky do sekcie <head> dokumentu:

<html><head> <meta name="robots" content="noindex"/> ... </head> <body>...</body> </html>

Modul Applebot tiež podporuje nasledujúce direktívy:

• noindex: Modul Applebot túto stránku neindexuje a stránka sa neobjaví v Návrhoch Spotlightu ani v Návrhoch Siri.

• nosnippet: Modul Applebot negeneruje pre stránku popis ani webovú odpoveď. Všetky návrhy návštevy tejto adresy URL budú obsahovať iba názov stránky.

• nofollow: Modul Applebot nebude nasledovať žiadne odkazy na stránke.

• none: Modul Applebot nebude indexovať odkazy na stránke, vytvárať z nich útržky ani ich nasledovať, ako je uvedené vyššie.

• all: Modul Applebot poskytuje dokument ako návrh a vytvára útržky obsahu, aby sa vedľa reprezentatívneho obrázka mohol zobraziť krátky popis stránky. Modul Applebot môže nasledovať odkazy na stránke a poskytnúť ďalšie návrhy.

Ak chcete do jednej značky meta vložiť viac direktív, použite zoznam s čiarkami ako oddeľovačmi alebo niekoľko značiek meta.

Príklad:

<meta name="robots" content="nosnippet, noindex”> <meta name="robots" content=“noindex"> <meta name="robots" content=“nosnippet">

Applebot-Extended a ovládanie používania dát

Okrem dodržiavania všetkých pravidiel a direktív v súbore robots.txt má spoločnosť Apple sekundárny používateľský agent, Applebot-Extended, ktorý poskytuje vydavateľom webových stránok ďalšiu kontrolu nad spôsobom, akým môže spoločnosť Apple používať obsah ich webových stránok.

Pomocou používateľského agenta Applebot-Extended môžu vydavatelia webových stránok zakázať používanie obsahu svojich webových stránok na trénovanie základných modelov spoločnosti Apple, ktoré využívajú funkcie generatívnej umelej inteligencie v produktoch Apple vrátane Apple Intelligence, služieb Apple a vývojárskych nástrojov.

Do súboru robots.txt môžete pridať pravidlo na zakázanie používateľského agenta Applebot-Extended nasledujúcim spôsobom:

User-agent: Applebot-Extended Disallow: /private/

Applebot-Extended neprehľadáva webové stránky. Webové stránky, ktoré nepovoľujú používateľský agent Applebot-Extended, sa napriek tomu môžu zobraziť vo výsledkoch vyhľadávania. Applebot-Extended sa používa iba na určenie spôsobu používania dát získaných používateľským agentom Applebot.

Povolenie používateľského agenta Applebot-Extended pomôže postupne vylepšovať možnosti a kvalitu modelov generatívnej umelej inteligencie spoločnosti Apple.

Ohodnotenie výsledkov vyhľadávania

Funkcia vyhľadávania Apple môže pri ohodnocovaní výsledkov vyhľadávania na webe zohľadniť tieto faktory:

• Agregovaný vzťah používateľov k výsledkom vyhľadávania

• Relevantnosť a zhoda hľadaných výrazov s témami a obsahom webovej stránky

• Počet a kvalita odkazov z iných stránok na webe

• Signály založené na lokalite používateľa (približné údaje)

• Charakteristiky návrhu webových stránok

Vo výsledkoch vyhľadávania sa uvedené faktory môžu použiť bez (vopred stanovenej) významnosti ohodnotenia. Používatelia funkcie vyhľadávania podliehajú zásadám ochrany osobných údajov v Návrhoch Siri, pri vyhľadávaní a v rámci ochrany osobných údajov.

Kontaktujte nás

Ak máte otázky alebo pripomienky, kontaktujte nás na adrese applebot@apple.com.