Az Applebot

A cikk az Applebotot, az Apple keresőrobotját mutatja be.

Az Applebot által feltérképezett adatokat különböző funkciók, például az Apple-ökoszisztéma számos felhasználói élményébe (például a Spotlightba, Siribe és a Safariba) beépített keresési technológiák működtetéséhez használjuk fel. Ha a robots.txt fájl segítségével engedélyezi az Applebotot, akkor ezekben a termékekben az Apple felhasználói számára világszerte megjeleníthetjük az adott webhelyről származó tartalmakat.

Az Applebot által feltérképezett adatokat szintén felhasználhatjuk azoknak az alapmodelljeinknek a betanítására, amelyek a különféle Apple-termékekben, például az Apple Intelligence-ben, a szolgáltatásainkban és a fejlesztői eszközeinkben használt generatív AI-funkciókat működtetik. A webes közzétevők megtilthatják, hogy a tartalmaikat generatív alapmodellek betanítására használjuk, ha a robots.txt fájlban letiltják az Applebot-Extended használatát.

Az Applebot által feltérképezett adatok felhasználhatók további kontextus és naprakész tartalom biztosítására, amikor AI-modellek segítségével generálnak kimenetet az Apple-termékekben és -szolgáltatásokban való megjelenítéshez. Például: a Sirinek és a Keresésben feltett, széles körű általános ismeretekre vonatkozó kérdések megválaszolása, amelyek tartalmazhatnak azokra a forrásokra és webhelyekre mutató hivatkozásokat, amelyeket a válasz létrehozásához felhasználtunk. A webes közzétevők úgy tiltakozhatnak a tartalmuknak ezekben a széles körű, általános ismereteken alapuló válaszokban való felhasználása ellen, hogy a konkrét tartalomra alkalmazzák a nosnippet metacímkét.

Még ha le is tiltja az Applebot-Extended használatát, és a webhely tartalmát ellátja a nosnippet metacímkével, előfordulhat, hogy a webhelyre vonatkozó utasításai továbbra is engedélyezik az Applebotnak a weboldalai feltérképezését. Az Ön tartalma továbbra is felfedezhető marad a Spotlight, Siri és a Safari, valamint az Apple-eszközökön elérhető egyéb rendszerfunkciók révén.

Az Applebot azonosítása

Az Applebot felől érkező forgalom általában fordított DNS segítségével azonosítható a *.applebot.apple.com tartományban.

A másik módszer az IP-cím egyeztetése a következő JSON-fájlban található CIDR-előtaggal: Applebot IP CIDR.

Fordított DNS

A host parancs segítségével ellenőrizhető, hogy az IP-cím része-e az Applebotnak. Ezek a példák bemutatják a host parancsot és a használatának eredményét:

$ host 17-58-101-179.applebot.apple.com

17-58-101-179.applebot.apple.com has address 17.58.101.179.

A host paranccsal az is ellenőrizhető, hogy a DNS ugyanarra az IP-címre mutat-e:

$ host 17.58.101.179

179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

Felhasználói ügynökök

A felhasználói ügynök segítségével a webmesterek azonosíthatják a bejáró forgalmát, így pontos hozzáférési naplójelentéseket kaphatnak a bejáró tevékenységéről, és a robots.txt fájllal szabályozhatják a webhelyhez való hozzáférést.

Az Applebot számos felhasználói ügynököt biztosít, ilyen például a Keresés és a Podcastok.

Keresés

Az Applebot a következő formátumot használja a keresési célú webes feltérképezéshez és rendereléshez:

A felhasználói ügynök karakterlánca egyéb információk mellett tartalmazza az Applebot kifejezést. A következő az általános formátum:

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, például Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, például Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Példa asztali gép esetén:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15(KHTML, például Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

Példa mobileszköz esetén:

Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, például Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

Az Applebot időnként frissíti az általa közzétett böngészőverziót, de a fenti általános formátum megmarad.

Speciális feltérképezők

Az Apple online szolgáltatásai

Az iTMS-forgalom az applebot.apple.com gazdagép felől is érkezhet, ez a következő felhasználói ügynök alapján azonosítható be:

User-Agent: iTMS

Az iTMS felhasználói ügynöke nem követi a robots.txt fájlt, mivel ez nem egy általános bejáró. Az iTMS felhasználói ügynöke csak az Apple Podcasts regisztrált tartalmaihoz társított URL-eket térképez fel.

A robot.txt fájlban lévő szabályok testreszabása

Az Applebot tiszteletben tartja a robots.txt fájlban található, az Applebotra vonatkozó utasításokat az általános keresési bejárások során. Ebben a példában az Applebot nem kísérli meg bejárni a /private/ és a /not-allowed/ könyvtárban található dokumentumokat:

User-agent: Applebot

Allow: /

Disallow: /private/

User-agent: *

Disallow: /not-allowed/

Ha a robotokra vonatkozó utasítások között nem az Applebot, hanem a Googlebot szerepel, az Apple-robot a Googlebotra vonatkozó utasításokat is betartja. Az Applebot nem veszi figyelembe a crawl-delay értéket.

Az Applebotot a hatékonyság jegyében tervezték, és a működése során megpróbál minél kisebb hatást kifejteni a webhelytulajdonosokra. Például annak érdekében, hogy elkerülje a webhelyszolgáltatók túlterhelését, az Applebot feltérképezési sebessége automatikusan igazodik ahhoz, ha egy webhely lelassul vagy hibákat ad vissza. Az Apple a beolvasott tartalmat gyorsítótárazza is, hogy csökkentse a felesleges feltérképezést. A feltérképezni nem szükséges tartalom beazonosításával csökkenthetők a webhelytulajdonosok infrastruktúraköltségei, és az egész internet hatékonyabban működhet.

Renderelés és a botra vonatkozó szabályok

Az Applebot megjelenítheti az Ön webhelyének tartalmát egy böngészőn belül. Ha a javascriptet, a CSS-t és az egyéb erőforrásokat blokkolják a robots.txt fájl szabályai, akkor előfordulhat, hogy a tartalom renderelése nem lesz megfelelő. Ide tartozik az XHR, a JS és a CSS, amelyekre szükség lehet az oldalon.

Annak érdekében, hogy az Applebot indexelje az oldal legjobb tartalmát, győződjön meg arról, hogy minden, ami a felhasználó számára az oldal megjelenítéséhez szükséges, elérhető az Applebot számára. Másik lehetőségként győződjön meg arról, hogy a webhely tiszta módon jelenik meg, még akkor is, ha nem áll rendelkezésre az összes erőforrás. Ezt gyakran fokozatos teljesítményromlásnak nevezik.

Az Applebot indexelési szabályainak testreszabása

Az Applebot támogatja a robots metacímkéket a HTML-dokumentumokban. A robots-szabályok metacímkékben való megadásához helyezze el a címkéket a dokumentum <head> szakaszába a következő módon:

<html>

<head>

<meta name="robots" content="noindex"/>

...

</head>

<body>...</body>

</html>

Az Applebot a következő utasításokat is támogatja:

• noindex: Az Applebot nem indexeli ezt az oldalt, így az oldal nem jelenik meg a Spotlightban és a Siri-javaslatokban.

• nosnippet: Az Applebot nem hoz létre leírást vagy webes választ az oldalhoz. Az URL-cím felkeresésére vonatkozó javaslatokban kizárólag az oldal címe található meg. Az Apple nem használja fel a nosnippet címkével ellátott adatokat további kontextusként és naprakész tartalomként, amikor AI-modellek segítségével generálnak kimenetet az Apple-termékekben és -szolgáltatásokban való megjelenítéshez.

• nofollow: Az Applebot nem követ egyetlen hivatkozást sem az oldalon.

• none: Az Applebot nem indexel, nem generál leírást, illetve nem követ hivatkozásokat az oldalon a fentiek szerint.

• all: Az Applebot biztosítja a dokumentumot javaslatokhoz, és tömöríti a tartalmat, így megjelenhet az oldal rövid leírása egy oldalt ábrázoló kép mellett. Az Applebot a további javaslatok biztosítása céljából követheti az oldal hivatkozásait.

Ha több utasítást szeretne elhelyezni egyetlen metacímkében, használjon vesszővel elválasztott listát vagy több metacímkét.

Példa:

<meta name="robots" content="nosnippet, noindex”>

<meta name="robots" content=“noindex">

<meta name="robots" content=“nosnippet">

<meta name="applebot" content=“nosnippet">

Az X-Robots-Tag HTTP-fejléc használata

Az Applebot az X-Robots-Tag HTTP-válaszfejlécen keresztül továbbított indexelési utasítások használatát is támogatja. Ez hasznos a nem HTML-alapú erőforrásoknál (például PDF-ek vagy képek esetén), ahol nem használhatók metacímkék, illetve amikor szolgáltatóoldali szinten szeretnének utasításokat alkalmazni. Az utasítás az Applebotra való alkalmazása:

X-Robots-Tag: applebot: nosnippet

Fizetőfal mögötti tartalmak megjelölése

Az Applebot támogatja a schema.org isAccessibleForFree tulajdonságot a fizetőfal mögött lévő, mért hozzáférésű vagy előfizetéses oldalak azonosítására. Adja hozzá a tulajdonságot az oldalszintű strukturált adatokhoz JSON-LD-ben:

<script type="application/ld+json">

{

"@context": "https://schema.org",

"isAccessibleForFree": false

}

</script>

Az isAccessibleForFree: false jelölésű oldalak megjelenhetnek a keresési találatok között, de az Applebot nem használja fel ezt a tartalmat további kontextusként, amikor AI-modellek hoznak létre kimenetet az Apple-termékekben és -szolgáltatásokban való megjelenítéshez. Ez a jelzés az oldal szintjén érvényes. A hasPart szakaszszintű jelölés nem támogatott. Ha azt szeretné, hogy a tartalmát ne használják fel az Apple alapmodelljeinek betanításához, használja a következő szakaszban ismertetett Applebot-Extendedet.

Az Applebot-Extended és az adatfelhasználás szabályozása

A robots.txt fájlban szereplő szabályok és utasítások betartása mellett az Apple egy másodlagos felhasználói ügynököt is használ. Ez az Applebot-Extended, amelynek segítségével a webes közzétevők részletesebben szabályozhatják, hogy az Apple hogyan használhatja fel a weboldaluk tartalmait.

Az Applebot-Extended segítségével a webes közzétevők megtilthatják az Apple számára, hogy felhasználjuk a webhelyükön található tartalmakat az alapmodelljeink betanítására, amelyek az Apple-termékekben, például az Apple Intelligence-ben, a szolgáltatásainkban és a fejlesztői eszközeinkben használt generatív AI-funkciókat működtetik.

Az alábbi módon adhat hozzá egy szabályt a robots.txt fájlban:

User-agent: Applebot-Extended

Disallow: /private/

Az Applebot-Extended nem térképez fel weboldalakat. Azok a weboldalak is szerepelhetnek a keresési találatokban, amelyeken megtiltja az Applebot-Extended alkalmazását. Az Applebot-Extended csak arra szolgál, hogy Ön szabályozhassa vele az Applebot felhasználói ügynöke által feltérképezett adatok használatát.

Az Applebot-Extended engedélyezése hozzájárul az Apple generatív AI-modelljeinek képességeinek és minőségének javulásához.

A keresési rangsor bemutatása

Az Apple Search a következő tényezőket veheti figyelembe az internetes keresési találatok rangsorolásakor:

• Összesített felhasználói elkötelezettség a keresési találatokkal

• A keresőkifejezések relevanciája és egyezése a weboldal témakörével és tartalmával

• Más weboldalakról származó hivatkozások száma és minősége

• Jelek a felhasználó tartózkodási helye alapján (hozzávetőleges adatok)

• A weboldal kialakításának jellemzői

A keresési találatok felhasználhatják a fenti tényezőket anélkül, hogy a rangsor (előre meghatározott) fontossággal bírna. A Search-felhasználókra a következő adatvédelmi irányelvek vonatkoznak: A Siri-javaslatok, keresés és az adatvédelem.

Vegye fel velünk a kapcsolatot

Ha kérdése vagy aggálya merül fel, írjon nekünk: applebot@apple.com.