Detalji o programu Applebot

Saznajte više o programu Applebot, Appleovu programu za indeksiranje i pretraživanje weba.

Podaci koje Applebot indeksira upotrebljavaju se za pokretanje različitih značajki, primjerice za tehnologiju pretraživanja koja je integrirana u mnoga korisnička iskustva u Appleovu ekosustavu, uključujući Spotlight, Siri, i Safari. Aktivacijom programa Applebot u datoteci robots.txt omogućuje se prikaz sadržaja web-mjesta u rezultatima pretraživanja za Appleove korisnike širom svijeta u tim proizvodima.

Podaci koje Applebot indeksira mogu se upotrebljavati i za obuku Appleovih osnovnih modela na kojima se temelje značajke generativne umjetne inteligencije u svim Appleovim proizvodima, uključujući Apple Intelligence, Services i Developer Tools. Web-izdavači mogu odlučiti ne dopustiti da se njihov sadržaj upotrebljava za treniranje generativnih osnovnih modela onemogućujući Applebot-Extended u datoteci robots.txt.

Podaci koje prikupi Applebot mogu se upotrebljavati za pružanje dodatnog konteksta i ažuriranog sadržaja kada se modeli AI-ja upotrebljavaju za generiranje izlaznih informacija za prikaz u Appleovim proizvodima i uslugama. Na primjer, odgovaranje na općenita pitanja iz područja općeg znanja pod Siri i Pretraživanje, koje može uključivati poveznice na izvore i web-mjesta korištena za pomoć pri generiranju odgovora. Izdavači web-sadržaja mogu isključiti opciju da se njihov sadržaj upotrebljava u tim odgovorima na pitanja iz područja općeg znanja tako da postave nosnippet meta oznaku na određeni sadržaj.

Čak i ako ne dopustite Applebot-Extended i postavite na sadržaj web-mjesta nosnippet meta oznaku, upute na vašem web-mjestu i dalje mogu dopustiti Applebotu da indeksira vaše web-stranice. Vaš će sadržaj i dalje biti moguće pronaći pomoću opcija Spotlight, Siri i Safari te drugih značajki na razini sustava na Appleovim uređajima.

Prepoznavanje programa Applebot

Promet koji dolazi iz programa Applebot obično se identificira upotrebom obrnutog DNS-a u *.applebot.apple.com domeni.

Drugi je način uparivanje IP adrese s CIDR prefiksom koji se nalazi u sljedećoj JSON datoteci: Applebot IP CIDR-ovi.

Obrnuti DNS

Matična naredba može se upotrijebiti kako bi se utvrdilo je li IP adresa dio programa Applebot. Ovi primjeri pokazuju matičnu naredbu i njezin rezultat:

$ host 17-58-101-179.applebot.apple.com

17-58-101-179.applebot.apple.com has address 17.58.101.179.

Matična naredba može se koristiti i kako bi se utvrdilo upućuje li DNS na istu IP adresu:

$ host 17.58.101.179

179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

Korisnički agenti

Korisnički agent pomaže webmasterima da identificiraju promet indeksiranja kako bi mogli dobiti precizan pristup izvješćima o aktivnostima indeksiranja i kontrolirati pristup web-mjestu putem datoteke robots.txt.

Applebot pokreće nekoliko korisničkih agenata, uključujući Pretraživanje i Podcasts.

Traži

Za pretraživanje i indeksiranje weba, Applebot upotrebljava sljedeći format:

Niz korisničkog agenta sadrži riječ „Applebot“ i ostale informacije. U nastavku je općeniti format:

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Primjer za radnu površinu:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15(KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

Primjer za mobilni uređaj:

Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

Povremeno će Applebot ažurirati verziju preglednika koju oglašava, a pritom će ostati u gore navedenom općenitom formatu.

Posebni pretraživači

Appleove mrežne platforme

iTMS promet može dolaziti s applebot.apple.com hostova, a identificirat će ga sljedeći korisnički agent:

User-Agent: iTMS

Korisnički agent za iTMS ne slijedi datoteku robots.txt jer nije indeksiranje za opće pretraživanje. Korisnički agent za iTMS pretražuje samo URL-ove povezane s registriranim sadržajem na servisu Apple Podcasts.

Prilagođavanje pravila robot.txt

Applebot poštuje standardne robots.txt direktive u općenitim indeksiranjima pretraživanja koja su usmjerena na Applebot. U ovom primjeru, Applebot ne pokušava indeksirati dokumente koji su označeni kao /private/ or /not-allowed/:

User-agent: Applebot

Allow: /

Disallow: /private/

User-agent: *

Disallow: /not-allowed/

Ako se u uputama za robot ne spominje Applebot, ali se spominje Googlebot, Appleov robot slijedit će upute za Googlebot. Applebot ne prati odgodu indeksiranja.

Applebot je osmišljen za učinkovit rad i prilagođava se kako bi smanjio utjecaj na vlasnike web-mjesta. Na primjer, kako bi se izbjeglo preopterećenje poslužitelja web-mjesta, brzina indeksiranja Applebota automatski se prilagođava kada se web-mjesto uspori ili prikazuje pogreške. Apple također predmemorira indeksirani sadržaj kako bi smanjio nepotrebno indeksiranje. Prepoznavanje sadržaja koji nije potrebno indeksirati smanjuje troškove infrastrukture za vlasnike web-mjesta pa je internet općenito učinkovitiji.

Pravila za renderiranje i robote

Applebot može renderirati sadržaj vaše web stranice u pregledniku. Ako su JavaScript, CSS i drugi resursi blokirani putem pravila robots.txt, sadržaj se možda neće moći ispravno renderirati. To uključuje XHR, JS i CSS koje bi stranica mogla zahtijevati.

Kako bi Applebot mogao indeksirati najbolji sadržaj za stranicu, provjerite sadržava li Applebot sve što je potrebno korisniku za renderiranje stranice. Možete i provjeriti prikazuje li se web mjesto bez problema, čak i ako nisu svi resursi dostupni. To se često naziva laganom degradacijom.

Prilagođavanje pravila indeksiranja za Applebot

Applebot podržava metaoznake robota u HTML dokumentima. Da biste odredili robotska pravila u metaoznakama, postavite oznake u <zaglavlje> dokumenta.

<html>

<head>

<meta name="robots" content="noindex"/>

...

</head>

<body>...</body>

</html>

Applebot također podržava sljedeće direktive:

• noindex: Applebot neće indeksirati ovu stranicu i neće se pojavljivati u prijedlozima za Spotlight ili Siri.

• nosnippet: Applebot neće generirati opis niti web-odgovor za stranicu. Svi prijedlozi za posjetu ovoj URL adresi sadrže samo naziv stranice. Apple neće upotrebljavati označen sadržaj nosnippet za pružanje dodatnog kontakta i ažuriranog sadržaja kad se modeli AI-ja upotrebljavaju za generiranje izlaznih podataka za prikaz u Appleovim proizvodima i uslugama.

• nofollow: Applebot neće pratiti nikakve veze na stranici.

• none: Applebot neće indeksirati, izrađivati isječke sadržaja niti slijediti veze na stranici, kao što je prethodno opisano.

• all: Applebot pruža dokument za prijedloge i isječke sadržaja kako bi se kratki opis stranice mogao pojaviti pored odgovarajuće ogledne slike. Applebot može slijediti veze na stranici radi pružanja dodatnih prijedloga.

Za postavljanje više metadirektiva u jednu metaoznaku koristite popis odvojen zarezima ili više metaoznaka.

Primjer:

<meta name="robots" content="nosnippet, noindex”>

<meta name="robots" content=“noindex">

<meta name="robots" content=“nosnippet">

<meta name="applebot" content=“nosnippet">

Upotreba zaglavlja X-Robots-Tag HTTP

Applebot također podržava direktive za indeksiranje isporučene putem zaglavlja odgovora HTTP-a X-Robots-Tag. To je korisno za resurse koji nisu u HTML-u (kao što su PDF-ovi ili slike) za koje se ne mogu upotrebljavati meta oznake ili kada direktive želite primijeniti na razini poslužitelja. Ako želite primijeniti direktivu na Applebot:

X-Robots-Tag: applebot: nosnippet

Označavanje zaključanog sadržaja

Applebot podržava svojstvo schema.org isAccessibleForFree kako bi prepoznao stranice koje su zaključane, kojima je pristup ograničen ili za koje se plaća pretplata. Dodajte svojstvo u strukturirane podatke na razini stranice u formatu JSON-LD:

<script type="application/ld+json">

{

"@context": "https://schema.org",

"isAccessibleForFree": false

}

</script>

Stranice s oznakom isAccessibleForFree: false mogu se pojaviti u rezultatima pretraživanja, ali Applebot neće upotrijebiti taj sadržaj kao dodatni kontekst kada se za generiranje rezultata za prikaz u Appleovim proizvodima i uslugama upotrebljavaju modeli AI-ja. Taj se signal primjenjuje na razini stranice. Oznaka na razini odjeljka koja upotrebljava hasPart nije podržana. Da biste isključili opciju da se vaš sadržaj upotrebljava za obuku Appleovih osnovnih modela, upotrijebite Applebot-Extended opisan u sljedećem odjeljku.

Applebot-Extended i kontrola upotrebe podataka

Osim što prati sva robots.txt pravila i smjernice, Apple ima i sekundarni korisnički agent, Applebot-Extended, koji web-izdavačima pruža dodatne kontrole nad načinom na koji Apple može upotrebljavati sadržaj njihova web-mjesta.

Uz Applebot-Extended izdavači web-sadržaja mogu isključiti da se sadržaj s njihovih web-mjesta upotrebljava za treniranje Appleovih osnovnih modela za pokretanje generativnih značajki umjetne inteligencije u Appleovim proizvodima, uključujući Apple Intelligence, Services i Developer Tools.

U robots.txt možete dodati pravilo da biste onemogućili Applebot-Extended i to na sljedeći način:

User-agent: Applebot-Extended

Disallow: /private/

Applebot-Extended ne indeksira web-stranice. Web-stranice koje ne dopuštaju Applebot-Extended i dalje se mogu uključiti u rezultate pretraživanja. Applebot-Extended upotrebljava se samo za određivanje načina upotrebe podataka indeksiranih putem korisničkog agenta za Applebot.

Ako dopustite Applebot-Extended s vremenom će vam pomoći i poboljšati mogućnosti i kvalitetu Appleovih generativnih modela umjetne inteligencije.

Detalji o rangiranju rezultata pretraživanja

Prilikom rangiranja rezultata pretraživanja weba, Appleova tražilica može uzeti u obzir sljedeće čimbenike:

• zbirni angažman korisnika na rezultatima pretraživanja

• relevantnost i podudaranje pojmova za pretraživanje s temama i sadržajem web-stranica

• broj i kvalitetu veza s drugih web-stranica

• signale koji se temelje na lokaciji korisnika (približni podaci)

• značajke dizajna web-stranice

U rezultatima pretraživanja mogu se upotrijebiti navedeni čimbenici bez (unaprijed određene) važnosti rangiranja. Korisnici tražilice podliježu pravilima o privatnosti navedenima na odredištu Prijedlozi, pretraživanje i privatnost značajke Siri.

Obratite nam se

Ako imate pitanja ili nedoumica, obratite nam se na adresu applebot@apple.com.