Tietoja Applebotista

Tässä artikkelissa kerrotaan Applen hakurobotti Applebotista.

Applebotin indeksoimia tietoja käytetään erilaisten ominaisuuksien hyödyntämiseen. Yksi tällainen ominaisuus on moniin Applen ekosysteemin käyttäjäkokemuksiin, esimerkiksi Spotlightiin, Siriin, ja Safariin, integroitu hakutekniikka. Kun Applebot otetaan käyttöön robots.txt:ssä, verkkosivustojen sisältö näkyy Apple-käyttäjille näissä tuotteissa eri puolilla maailmaa.

Applebotin indeksoimia tietoja voidaan käyttää myös Applen perusmallien kouluttamiseen. Nämä perusmallit mahdollistavat generatiivisen tekoälyn toiminnot Applen tuotteissa, kuten Apple Intelligencessä, Applen palveluissa ja Applen kehittäjätyökaluissa. Verkkojulkaisijat voivat kieltäytyä sisältönsä käyttämisestä generatiivisten perusmallien kouluttamiseen kieltämällä Applebot-Extendedin käytön robots.txt-tiedostossa.

Vaikka kieltäisit Applebot-Extendedin käytön, verkkosivustosi ohjeet voivat silti sallia verkkosivujesi indeksoinnin Applebotille. Tällöin sisältösi pysyy löydettävissä Spotlightin, Sirin ja muiden järjestelmänlaajuisten ominaisuuksien avulla Apple-laitteissa.

Applebotin tunnistaminen

Applebotista tuleva liikenne tunnistetaan yleensä käänteisen DNS:n avulla, joka näyttää sen *.applebot.apple.com domainilla.

Toinen tapa on käyttää IP-osoitetta ja vastaavaa seuraavassa JSON-tiedostossa olevaa CIDR-etuliitettä: Applebot IP CIDR:t.

Käänteinen DNS

Host-komennon avulla voidaan määrittää, kuuluuko annettu IP-osoite Applebotin osoitealueeseen. Käytettävät host-komennot ja niiden tulokset näkyvät seuraavissa esimerkeissä:

$ host 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com has address 17.58.101.179.

Host-komennolla voidaan varmistaa myös se, että DNS-nimi viittaa samaan IP-osoitteeseen:

$ host 17.58.101.179 179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

Käyttäjäagentit

Käyttäjäagentin avulla verkkovastaavat pystyvät tunnistamaan indeksointirobottien liikenteen, jotta he voivat saada indeksointirobottien tarkkoja käyttölokiraportteja ja hallita sivuston käyttöä robots.txt-tiedoston kautta.

Applebot käyttää useita käyttäjäagentteja, kuten Haku ja Podcasts.

Haku

Applebot käyttää verkkohaun indeksointiin ja mallintamiseen seuraavaa muotoa:

Käyttäjäagentti-merkkijonossa on sana ”Applebot” ja muita tietoja. Yleinen muoto on seuraava:

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Esimerkki työpöytää varten:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15(KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

Esimerkki mobiililaitteita varten:

Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

Applebot päivittää joskus mainostamansa selainversion ja pysyy yllä olevassa yleisessä muodossa.

Apple Podcasts

iTMS-liikenne voi myös olla peräisin applebot.apple.com-isännistä, ja seuraava käyttäjäagentti tunnistaa sen:

User-Agent: iTMS

ITMS-käyttäjäagentti ei seuraa robots.txt-tiedostoa, koska se ei ole yleinen hakurobotti. Se indeksoi vain Apple Podcastsissa rekisteröityyn sisältöön liittyvät URL-osoitteet.

Robots.txt-sääntöjen muokkaaminen

Applebot noudattaa tavallisia robots.txt-käskyjä yleisissä hakuindeksoinneissa, jotka on tarkoitettu Applebotille. Tässä esimerkissä Applebot ei yritä indeksoida dokumentteja, jotka ovat kategoriassa /private/ tai /not-allowed/:

User-agent: Applebot Allow: / Disallow: /private/ User-agent: * Disallow: /not-allowed/

Jos roboteille annetuissa ohjeissa ei mainita Applebotia, mutta Googlebot mainitaan, Applen robotti noudattaa Googlebotin ohjeita.

Mallinnus ja robottisäännöt

Applebot saattaa mallintaa sivuston sisällön selaimessa. Jos Javascript, CSS ja muut resurssit estetään robots.txt:ssä, Applebot ei ehkä pysty mallintamaan sisältöä oikein. Tarvittavia resursseja voivat olla XHR-, JS- ja CSS-sisällöt, joita sivun oikea toiminta saattaa edellyttää.

Varmista, että kaikki sivun mallinnukseen tarvittavat resurssit ovat Applebotin käytettävissä, jotta Applebot pystyy indeksoimaan sivun oikein. Vaihtoehtoisesti voit myös varmistaa, että sivusto voidaan mallintaa, vaikka kaikki resurssit eivät olisi käytettävissä. Tätä kutsutaan usein graceful degradation -tekniikaksi.

Indeksointisääntöjen muokkaaminen Applebotia varten

Applebot tukee robottimetatunnisteita HTML-dokumenteissa. Jos haluat määrittää robottisääntöjä metatunnisteisiin, laita tunnisteet dokumentin <head>-osioon:

<html><head> <meta name="robots" content="noindex"/> ... </head> <body>...</body> </html>

Applebot tukee myös seuraavia käskyjä:

• noindex: Applebot ei indeksoi tätä sivua eikä sivu näy Spotlight- tai Siri-ehdotuksissa.

• nosnippet: Applebot ei luo sivulle kuvausta tai verkkovastausta. Ehdotukset vierailla URL-osoitteessa sisältävät vain sivun nimen.

• nofollow: Applebot ei seuraa sivulla olevia linkkejä.

• none: Applebot ei indeksoi sivua, ota siitä otteita tai seuraa sivulla olevia linkkejä kuten edellä on kuvattu.

• all: Applebot tarjoaa tiedostoa ehdotuksia varten ja ottaa sen sisällöstä otteita, jotta sivua edustavan kuvan vieressä voidaan näyttää sivun lyhyt kuvaus. Applebot voi tarjota lisää ehdotuksia seuraamalla sivulla olevia linkkejä.

Jos haluat laittaa useita käskyjä yhteen metatunnisteeseen, käytä luetteloa, jossa metatunnisteet on erotettu pilkuin.

Esimerkki:

<meta name="robots" content="nosnippet, noindex”> <meta name="robots" content=“noindex"> <meta name="robots" content=“nosnippet">

Applebot-Extended ja tietojen käytön hallinta

Kaikkien robots.txt-sääntöjen ja -käskyjen noudattamisen lisäksi Applella on toissijainen käyttäjäagentti eli Applebot-Extended, jonka avulla verkkojulkaisijat voivat hallita sitä, miten Apple voi käyttää heidän verkkosivustojensa sisältöä.

Applebot-Extendedin avulla verkkojulkaisijat voivat halutessaan kieltää verkkosivustojen sisällön käytön Applen perusmallien kouluttamisessa. Nämä perusmallit hyödyntävät generatiivisia tekoälytoimintoja Applen tuotteissa, kuten Apple Intelligencessä, Applen palveluissa ja Applen kehittäjätyökaluissa.

Voit kieltää Applebot-Extendedin lisäämällä säännön robots.txt-tiedostoon seuraavasti:

User-agent: Applebot-Extended Disallow: /private/

Applebot-Extended ei indeksoi verkkosivuja. Verkkosivut, jotka kieltävät Applebot-Extendedin, voidaan edelleen sisällyttää hakutuloksiin. Applebot-Extendedin avulla määritetään vain, miten Applebot-käyttäjäagentin indeksoimia tietoja käytetään.

Applebot-Extended-toiminnon salliminen parantaa Applen genetiivisten tekoälymallien ominaisuuksia ja laatua ajan myötä.

Tietoja hakusijoituksista

Apple-haku saattaa huomioida verkkohaun tuloksia arvioitaessa seuraavat asiat:

• käyttäjien koostettu hakutulosten käyttö

• hakutermien tarkkuus ja osuvuus verkkosivun aiheiden ja sisältöjen kannalta

• muiden verkkosivujen linkkien määrä ja laatu

• käyttäjän sijaintipohjaiset signaalit (likimääräiset tiedot)

• verkkosivun rakenteeseen ja toimintoihin liittyvät ominaisuudet. 

Hakutulokset voivat käyttää yllä mainittuja tekijöitä ilman (ennalta määritettyä) sijoituksen tärkeyttä. Hakutoiminnon käyttäjiin sovelletaan artikkelissa Siri-ehdotukset, haku ja tietosuoja.

Ota yhteyttä

Jos sinulla on kysyttävää tai haluat ilmoittaa ongelmasta, lähetä meille viesti osoitteeseen applebot@apple.com.