Mengenai Applebot

Pelajari mengenai Applebot, web crawler untuk Apple.

Data yang di-crawling oleh Applebot digunakan untuk mendukung berbagai fitur, seperti teknologi pencarian yang terintegrasi dalam berbagai pengalaman pengguna di ekosistem Apple, termasuk Spotlight, Siri, dan Safari. Mengaktifkan Applebot di robots.txt memungkinkan konten situs web muncul di hasil pencarian untuk pengguna Apple di seluruh dunia dalam produk ini.

Data yang di-crawling oleh Applebot juga dapat digunakan untuk membantu melatih model dasar Apple yang mendukung fitur-fitur AI generatif di seluruh produk Apple, termasuk Apple Intelligence, Layanan, dan Alat Pengembang. Penerbit web dapat memilih agar konten mereka tidak digunakan untuk melatih model dasar generatif dengan tidak mengizinkan Applebot-Extended di file robots.txt.

Data yang di-crawling Applebot dapat digunakan untuk memberikan konteks tambahan dan konten terkini saat model AI digunakan untuk menghasilkan output yang akan ditampilkan dalam produk dan layanan Apple. Misalnya, menjawab beragam pertanyaan pengetahuan dunia di Siri dan Pencarian yang mungkin menyertakan tautan ke sumber dan situs web yang digunakan untuk membantu menghasilkan jawaban. Penerbit web dapat melarang penggunaan konten mereka dalam beragam jawaban pengetahuan dunia ini dengan menerapkan nosnippet meta tag ke konten tertentu.

Meskipun Anda tidak mengizinkan Applebot-Extended dan menandai konten situs web dengan nosnippet meta tag, instruksi situs web mungkin tetap mengizinkan Applebot melakukan crawling di halaman web Anda. Konten Anda tetap dapat ditemukan melalui Spotlight, Siri, dan Safari, serta fitur tingkat sistem lainnya di perangkat Apple.

Mengidentifikasi Applebot

Lalu lintas yang berasal dari Applebot umumnya diidentifikasi dengan menggunakan DNS terbalik di domain *.applebot.apple.com.

Cara lain adalah mencocokkan alamat IP dengan awalan CIDR yang terdapat pada file JSON berikut ini: CIDR IP Applebot.

DNS Terbalik

Perintah host dapat digunakan untuk menentukan apakah alamat IP adalah bagian dari Applebot. Contoh berikut menunjukkan perintah host dan hasilnya:

$ host 17-58-101-179.applebot.apple.com

17-58-101-179.applebot.apple.com memiliki alamat 17.58.101.179.

Perintah host juga dapat digunakan untuk memverifikasi bahwa DNS mengarah ke alamat IP yang sama:

$ host 17.58.101.179

179.101.58.17.in-addr.arpa penunjuk nama domain 17-58-101-179.applebot.apple.com.

Agen pengguna

Agen pengguna membantu master web mengidentifikasi lalu lintas crawler, sehingga mereka dapat memperoleh laporan log akses yang akurat tentang aktivitas crawler dan mengontrol akses ke situs melalui robots.txt.

Applebot mendukung beberapa agen pengguna, termasuk Pencarian dan Podcasts.

Cari

Untuk crawling dan perenderan web pencarian, Applebot menggunakan format berikut:

String agen-pengguna berisi "Applebot" dan informasi lainnya. Berikut adalah format umumnya:

Mozilla/5.0 (Perangkat; OS_version) AppleWebKit/WebKit_version (KHTML, seperti Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Mozilla/5.0 (Perangkat; OS_version) AppleWebKit/WebKit_version (KHTML, seperti Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Contoh untuk desktop:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, seperti Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

Contoh untuk seluler:

Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 seperti Mac OS X) AppleWebKit/605.1.15 (KHTML, seperti Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

Terkadang, Applebot akan memperbarui versi browser yang diiklankan dengan tetap menggunakan format umum di atas.

Crawler khusus

Properti online Apple

Lalu lintas iTMS dapat berasal dari host applebot.apple.com, dan akan diidentifikasi oleh agen pengguna berikut:

Agen-Pengguna: iTMS

Agen pengguna iTMS tidak mengikuti robots.txt, karena ini bukan crawler pencarian umum. Agen pengguna iTMS hanya melakukan crawling pada URL yang terkait dengan konten yang terdaftar di Apple Podcasts.

Menyesuaikan aturan robot.txt

Applebot mematuhi arahan robots.txt standar dalam crawling pencarian umum yang ditargetkan pada Applebot. Pada contoh ini, Applebot tidak mencoba melakukan crawling dokumen yang berada di bagian /private/ atau /not-allowed/:

User-agent: Applebot

Allow: /

Disallow: /private/

User-agent: *

Disallow: /not-allowed/

Jika instruksi robots tidak menyebut Applebot namun menyebut Googlebot, robot Apple akan mengikuti instruksi Googlebot. Applebot tidak mengikuti crawl-delay.

Applebot dirancang untuk mengoptimalkan efisiensi dan akan melakukan penyesuaian guna meminimalkan dampak bagi pemilik situs. Misalnya, untuk mencegah server situs kelebihan beban, laju crawling Applebot akan disesuaikan secara otomatis ketika situs melambat atau menampilkan kesalahan. Apple juga menyimpan cache konten crawling untuk mengurangi crawling yang tidak diperlukan. Mengidentifikasi konten yang tidak memerlukan crawling akan mengurangi biaya infrastruktur bagi pemilik situs dan meningkatkan efisiensi internet secara keseluruhan.

Aturan perenderan dan robot

Applebot dapat merender konten situs web Anda di dalam browser. Jika javascript, CSS, dan sumber daya lainnya diblokir melalui robots.txt, Applebot mungkin tidak dapat merender konten dengan benar. Ini termasuk XHR, JS, dan CSS yang mungkin dibutuhkan halaman.

Agar Applebot dapat mengindeks konten terbaik untuk halaman tersebut, pastikan semua yang dibutuhkan pengguna dalam merender halaman tersedia untuk Applebot. Atau, pastikan situs web dirender dengan bersih meskipun semua sumber daya tidak tersedia. Hal ini sering disebut sebagai degradasi yang anggun.

Menyesuaikan aturan pengindeksan untuk Applebot

Applebot mendukung meta tag robots pada dokumen HTML. Untuk menetapkan aturan robots di meta tag, masukkan tag di bagian <kepala> dokumen:

<html>

<head>

<meta name="robots" content="noindex"/>

...

</head>

<body>...</body>

</html>

Applebot juga mendukung arahan berikut:

• noindex: Applebot tidak akan mengindeks halaman ini dan Applebot tidak akan muncul di Saran Spotlight atau Siri.

• nosnippet: Applebot tidak akan membuat deskripsi atau jawaban web untuk halaman. Saran apa pun untuk mengunjungi URL ini hanya akan mencantumkan judul halaman. Apple tidak akan menggunakan data yang ditandai nosnippet sebagai konteks tambahan dan konten terkini saat model AI digunakan untuk menghasilkan output yang akan ditampilkan dalam produk dan layanan Apple.

• nofollow: Applebot tidak akan mengikuti tautan apa pun di halaman.

• none: Applebot tidak akan mengindeks, membuat cuplikan, atau mengikuti tautan di halaman, sebagaimana diterangkan di atas.

• all: Applebot menyediakan dokumen saran dan membuat cuplikan konten sehingga deskripsi singkat mengenai halaman dapat muncul di sebelah contoh gambar. Applebot dapat mengikuti tautan pada halaman tersebut untuk memberikan lebih banyak saran.

Untuk memasukkan beberapa arahan di meta tag tunggal, gunakan daftar yang dipisahkan koma atau beberapa meta tag.

Contoh:

<meta name="robots" content="nosnippet, noindex”>

<meta name="robots" content=“noindex">

<meta name="robots" content=“nosnippet">

<meta name="applebot" content=“nosnippet">

Menggunakan header HTTP X-Robots-Tag

Applebot juga mendukung arahan pengindeksan yang dikirimkan melalui header respons HTTP X-Robots-Tag. Langkah ini berguna untuk sumber daya non-HTML (seperti PDF atau gambar) yang tidak dapat menggunakan meta tag, atau ketika Anda ingin menerapkan arahan di tingkat server. Untuk menerapkan arahan ke Applebot:

X-Robots-Tag: applebot: nosnippet

Menandai konten berbayar

Applebot mendukung properti schema.org isAccessibleForFree untuk mengidentifikasi halaman khusus berbayar, akses terukur, atau langganan. Tambahkan properti ke data terstruktur tingkat halaman Anda dalam JSON-LD:

<script type="application/ld+json">

{

"@context": "https://schema.org",

"isAccessibleForFree": false

}

</script>

Halaman yang bertanda isAccessibleForFree: false memenuhi syarat untuk muncul di hasil pencarian, tetapi Applebot tidak akan menggunakan konten tersebut sebagai konteks tambahan saat model AI digunakan untuk menghasilkan output yang akan ditampilkan dalam produk dan layanan Apple. Sinyal ini berlaku di tingkat halaman. Markah tingkat bagian yang menggunakan hasPart tidak didukung. Untuk melarang penggunaan konten Anda untuk melatih model dasar Apple, gunakan Applebot-Extended yang dijelaskan di bagian berikutnya.

Applebot-Extended dan mengontrol penggunaan data

Selain mengikuti semua aturan dan arahan robots.txt, Apple memiliki agen pengguna sekunder, Applebot-Extended, yang memberi kontrol tambahan kepada penerbit web tentang bagaimana konten situs web mereka dapat digunakan oleh Apple.

Dengan Applebot-Extended, penerbit web dapat memilih untuk tidak mengizinkan konten situs web mereka digunakan untuk melatih model dasar umum Apple yang mendukung fitur AI generatif di seluruh produk Apple, termasuk Apple Intelligence, Layanan, dan Alat Pengembang.

Anda dapat menambahkan aturan di robots.txt untuk tidak mengizinkan Applebot-Extended, sebagai berikut:

User-agent: Applebot-Extended

Disallow: /private/

Applebot-Extended tidak melakukan crawling halaman web. Halaman web yang tidak mengizinkan Applebot-Extended masih dapat disertakan dalam hasil pencarian. Applebot-Extended hanya digunakan untuk menentukan cara menggunakan data yang di-crawling oleh agen pengguna Applebot.

Mengizinkan Applebot-Extended akan membantu meningkatkan kemampuan dan kualitas model AI generatif Apple dari waktu ke waktu.

Mengenai peringkat pencarian

Pencarian Apple dapat mempertimbangkan hal berikut ketika memberi peringkat hasil pencarian web:

• Agregasi keterlibatan pengguna dengan hasil pencarian

• Relevansi dan kecocokan istilah pencarian dengan topik dan konten halaman web

• Jumlah dan kualitas tautan dari halaman lain di web

• Sinyal berbasis lokasi pengguna (perkiraan data)

• Karakteristik desain halaman web

Hasil pencarian dapat menggunakan faktor-faktor di atas tanpa tingkat kepentingan peringkat (ditentukan sebelumnya). Pengguna Pencarian tunduk pada kebijakan privasi di Saran Siri, Pencarian & Privasi.

Hubungi kami

Jika Anda memiliki pertanyaan atau kekhawatiran, silakan hubungi kami di applebot@apple.com.