Tietoja Applebotista

Tässä artikkelissa kerrotaan Applen hakurobotti Applebotista.

Applebotin indeksoimia tietoja käytetään erilaisten ominaisuuksien hyödyntämiseen. Yksi tällainen ominaisuus on moniin Applen ekosysteemin käyttäjäkokemuksiin integroitu hakutekniikka, joka on käytössä esimerkiksi Spotlightissa, Sirissä, ja Safarissa. Kun Applebot otetaan käyttöön robots.txt:ssä, verkkosivustojen sisältö näkyy Apple-käyttäjille näissä tuotteissa eri puolilla maailmaa.

Applebotin indeksoimia tietoja voidaan käyttää myös Applen perusmallien kouluttamiseen. Nämä perusmallit mahdollistavat generatiivisen tekoälyn toiminnot Applen tuotteissa, kuten Apple Intelligencessä, Applen palveluissa ja Applen kehittäjätyökaluissa. Verkkojulkaisijat voivat kieltäytyä sisältönsä käyttämisestä generatiivisten perusmallien kouluttamiseen kieltämällä Applebot-Extendedin käytön robots.txt-tiedostossa.

Applebotin indeksoimia tietoja voidaan käyttää tarjoamaan lisäkontekstia ja ajantasaista sisältöä, kun tekoälymalleilla luodaan tuloksia näytettäväksi Apple-tuotteissa ja -palveluissa. Esimerkiksi yleismaailmallisiin kysymyksiin vastaaminen Sirissä ja haussa voi sisältää linkkejä lähteisiin ja verkkosivustoihin, joita on käytetty vastauksen luomiseen. Verkkosisällön julkaisijat voivat kieltäytyä sisältönsä käyttämisestä näissä laajoissa yleismaailmallisissa vastauksissa lisäämällä sisältöön nosnippet-metatagin.

Vaikka poistaisit Applebot-Extendedin käytöstä ja lisäisit verkkosivustosi sisältöön nosnippet-metatagin, verkkosivustosi ohjeet saattavat silti sallia sen, että Applebot indeksoi verkkosivusi. Sisältö on edelleen löydettävissä Spotlightin, Sirin ja Safarin sekä muiden Apple-laitteiden järjestelmänlaajuisten ominaisuuksien kautta.

Applebotin tunnistaminen

Applebotista tuleva liikenne tunnistetaan yleensä käänteisen DNS:n avulla, joka näyttää sen *.applebot.apple.com domainilla.

Toinen tapa on käyttää IP-osoitetta ja vastaavaa seuraavassa JSON-tiedostossa olevaa CIDR-etuliitettä: Applebot IP CIDR:t.

Käänteinen DNS

Host-komennon avulla voidaan määrittää, kuuluuko annettu IP-osoite Applebotin osoitealueeseen. Käytettävät host-komennot ja niiden tulokset näkyvät seuraavissa esimerkeissä:

$ host 17-58-101-179.applebot.apple.com

17-58-101-179.applebot.apple.com has address 17.58.101.179.

Host-komennolla voidaan varmistaa myös se, että DNS-nimi viittaa samaan IP-osoitteeseen:

$ host 17.58.101.179

179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

Käyttäjäagentit

Käyttäjäagentin avulla verkkovastaavat pystyvät tunnistamaan indeksointirobottien liikenteen, jotta he voivat saada indeksointirobottien tarkkoja käyttölokiraportteja ja hallita sivuston käyttöä robots.txt-tiedoston kautta.

Applebot käyttää useita käyttäjäagentteja, kuten Haku ja Podcasts.

Haku

Applebot käyttää verkkohaun indeksointiin ja mallintamiseen seuraavaa muotoa:

Käyttäjäagentti-merkkijonossa on sana ”Applebot” ja muita tietoja. Yleinen muoto on seuraava:

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Esimerkki työpöytää varten:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15(KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

Esimerkki mobiililaitteita varten:

Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

Applebot päivittää joskus mainostamansa selainversion ja pysyy yllä olevassa yleisessä muodossa.

Erityiset indeksointirobotit

Applen verkkopalvelut

iTMS-liikenne voi olla peräisin applebot.apple.com-isännistä, ja seuraava käyttäjäagentti tunnistaa sen:

User-Agent: iTMS

ITMS-käyttäjäagentti ei seuraa robots.txt-tiedostoa, koska se ei ole yleinen hakurobotti. iTMS-käyttäjäagentti indeksoi vain sellaisia URL-osoitteita, jotka liittyvät Apple Podcastsissa rekisteröityyn sisältöön.

Robots.txt-sääntöjen muokkaaminen

Applebot noudattaa tavallisia robots.txt-käskyjä yleisissä hakuindeksoinneissa, jotka on tarkoitettu Applebotille. Tässä esimerkissä Applebot ei yritä indeksoida dokumentteja, jotka ovat kategoriassa /private/ tai /not-allowed/:

User-agent: Applebot

Allow: /

Disallow: /private/

User-agent: *

Disallow: /not-allowed/

Jos roboteille annetuissa ohjeissa ei mainita Applebotia, mutta niissä mainitaan Googlebot, Applen robotti noudattaa Googlebotille annettuja ohjeita. Applebot ei noudata indeksointiviiveitä.

Applebot on suunniteltu tehokkaaksi, ja se mukautuu niin, että se voi minimoida vaikutukset sivuston omistajiin. Applebotin indeksointinopeus mukautuu esimerkiksi automaattisesti sivuston palvelimien ylikuormituksen välttämiseksi, kun sivusto hidastuu tai palauttaa virheitä. Apple tallentaa myös indeksoidun sisällön välimuistiin tarpeettoman indeksoinnin vähentämistä varten. Sellaisen sisällön tunnistaminen, jota ei tarvitse indeksoida, pienentää sivuston omistajien infrastruktuurikustannuksia ja tekee internetistä kokonaisuutena tehokkaamman.

Mallinnus ja robottisäännöt

Applebot saattaa mallintaa sivuston sisällön selaimessa. Jos Javascript, CSS ja muut resurssit estetään robots.txt:ssä, Applebot ei ehkä pysty mallintamaan sisältöä oikein. Tarvittavia resursseja voivat olla XHR-, JS- ja CSS-sisällöt, joita sivun oikea toiminta saattaa edellyttää.

Varmista, että kaikki sivun mallinnukseen tarvittavat resurssit ovat Applebotin käytettävissä, jotta Applebot pystyy indeksoimaan sivun oikein. Vaihtoehtoisesti voit myös varmistaa, että sivusto voidaan mallintaa, vaikka kaikki resurssit eivät olisi käytettävissä. Tätä kutsutaan usein graceful degradation -tekniikaksi.

Indeksointisääntöjen muokkaaminen Applebotia varten

Applebot tukee robottimetatunnisteita HTML-dokumenteissa. Jos haluat määrittää robottisääntöjä metatunnisteisiin, laita tunnisteet dokumentin <head>-osioon:

<html>

<head>

<meta name="robots" content="noindex"/>

...

</head>

<body>...</body>

</html>

Applebot tukee myös seuraavia käskyjä:

• noindex: Applebot ei indeksoi tätä sivua eikä sivu näy Spotlight- tai Siri-ehdotuksissa.

• nosnippet: Applebot ei luo sivulle kuvausta tai verkkovastausta. Ehdotukset URL-osoitteessa vierailuun sisältävät vain sivun nimen. Applebot ei käytä nosnippet-merkittyjä tietoja tarjoamaan lisäkontekstia tai ajantasaista sisältöä, kun tekoälymalleilla luodaan tuloksia Apple-tuotteissa ja -palveluissa näytettäväksi.

• nofollow: Applebot ei seuraa sivulla olevia linkkejä.

• none: Applebot ei indeksoi sivua, ota siitä otteita tai seuraa sivulla olevia linkkejä kuten edellä on kuvattu.

• all: Applebot tarjoaa tiedostoa ehdotuksia varten ja ottaa sen sisällöstä otteita, jotta sivua edustavan kuvan vieressä voidaan näyttää sivun lyhyt kuvaus. Applebot voi tarjota lisää ehdotuksia seuraamalla sivulla olevia linkkejä.

Jos haluat laittaa useita käskyjä yhteen metatunnisteeseen, käytä luetteloa, jossa metatunnisteet on erotettu pilkuin.

Esimerkki:

<meta name="robots" content="nosnippet, noindex”>

<meta name="robots" content=“noindex">

<meta name="robots" content=“nosnippet">

<meta name="applebot" content=“nosnippet">

X-Robots-Tag-HTTP-otsikon käyttäminen

Applebot tukee myös indeksointiohjeita, jotka toimitetaan X-Robots-Tag-HTTP-vastausotsikon kautta. Tästä on hyötyä muissa kuin HTML-resursseissa (kuten PDF-tiedostoissa tai kuvissa), joissa metatageja ei voi käyttää, tai kun haluat määrittää ohjeita palvelintasolla. Jos haluat määrittää ohjeen Applebotille:

X-Robots-Tag: applebot: nosnippet

Maksullisen sisällön merkitseminen

Applebot tukee schema.org isAccessibleForFree -ominaisuutta, jonka avulla se tunnistaa sivut, joiden sisältö on maksumuurin, mittarikäytön tai tilauksen takana. Lisää ominaisuus sivutasoisiin, JSON-LD-muotoisiin jäsenneltyihin tietoihin:

<script type="application/ld+json">

{

"@context": "https://schema.org",

"isAccessibleForFree": false

}

</script>

Sivut, joissa on merkintä isAccessibleForFree: false, voivat näkyä hakutuloksissa, mutta Applebot ei käytä kyseistä sisältöä lisäkontekstina, kun tekoälymalleja käytetään tulosten luomiseen Apple-tuotteissa ja -palveluissa näytettäväksi. Tämä signaali toimii sivutasolla. Osiotason merkintöjä, jossa käytetään hasPart-merkintää, ei tueta. Jos et halua, että sisältöäsi käytetään Applen perusmallien kouluttamiseen, käytä seuraavassa osiossa kuvattua Applebot-Extendediä.

Applebot-Extended ja tietojen käytön hallinta

Kaikkien robots.txt-sääntöjen ja -käskyjen noudattamisen lisäksi Applella on toissijainen käyttäjäagentti eli Applebot-Extended, jonka avulla verkkojulkaisijat voivat hallita sitä, miten Apple voi käyttää heidän verkkosivustojensa sisältöä.

Applebot-Extendedin avulla verkkojulkaisijat voivat halutessaan kieltää verkkosivustojen sisällön käytön Applen yleisten perusmallien kouluttamiseen. Nämä perusmallit hyödyntävät generatiivisia tekoälytoimintoja Applen tuotteissa, kuten Apple Intelligencessä, Applen palveluissa ja Applen kehittäjätyökaluissa.

Voit kieltää Applebot-Extendedin lisäämällä säännön robots.txt-tiedostoon seuraavasti:

User-agent: Applebot-Extended

Disallow: /private/

Applebot-Extended ei indeksoi verkkosivuja. Verkkosivut, jotka kieltävät Applebot-Extendedin, voidaan edelleen sisällyttää hakutuloksiin. Applebot-Extendedin avulla määritetään vain, miten Applebot-käyttäjäagentin indeksoimia tietoja käytetään.

Applebot-Extended-toiminnon salliminen parantaa Applen genetiivisten tekoälymallien ominaisuuksia ja laatua ajan myötä.

Tietoja hakusijoituksista

Apple-haku saattaa huomioida verkkohaun tuloksia arvioitaessa seuraavat asiat:

• käyttäjien koostettu hakutulosten käyttö

• hakutermien tarkkuus ja osuvuus verkkosivun aiheiden ja sisältöjen kannalta

• muiden verkkosivujen linkkien määrä ja laatu

• käyttäjän sijaintipohjaiset signaalit (likimääräiset tiedot)

• verkkosivun rakenteeseen ja toimintoihin liittyvät ominaisuudet. 

Hakutulokset voivat käyttää yllä mainittuja tekijöitä ilman (ennalta määritettyä) sijoituksen tärkeyttä. Hakutoiminnon käyttäjiin sovelletaan artikkelissa Siri-ehdotukset, haku ja tietosuoja.

Ota yhteyttä

Jos sinulla on kysyttävää tai haluat ilmoittaa ongelmasta, lähetä meille viesti osoitteeseen applebot@apple.com.