Mengenai Applebot

Pelajari mengenai Applebot, web crawler untuk Apple.

Data yang di-crawling oleh Applebot digunakan untuk mendukung berbagai fitur, seperti teknologi pencarian yang terintegrasi ke dalam berbagai pengalaman pengguna di ekosistem Apple, termasuk Spotlight, Siri, dan Safari. Mengaktifkan Applebot di robots.txt memungkinkan konten situs web muncul di hasil pencarian untuk pengguna Apple di seluruh dunia dalam produk ini.

Applebot mengakses berbagai jenis sumber daya dari server web, termasuk, tetapi tidak terbatas pada robots.txt, peta situs, feed RSS, HTML, sumber daya sub yang diperlukan untuk merender halaman seperti javascript, permintaan Ajax, gambar, dan lainnya.

Mengidentifikasi Applebot

Lalu lintas yang berasal dari Applebot umumnya diidentifikasi dengan menggunakan DNS terbalik di domain *.applebot.apple.com.

Cara lain adalah mencocokkan alamat IP dengan awalan CIDR yang terdapat pada file JSON berikut ini: CIDR IP Applebot.

DNS Terbalik

Perintah host dapat digunakan untuk menentukan apakah alamat IP adalah bagian dari Applebot. Contoh berikut menunjukkan perintah host dan hasilnya:

$ host 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com memiliki alamat 17.58.101.179.

Perintah host juga dapat digunakan untuk memverifikasi bahwa DNS mengarah ke alamat IP yang sama:

$ host 17.58.101.179 179.101.58.17.in-addr.arpa penunjuk nama domain 17-58-101-179.applebot.apple.com.

Agen pengguna

Agen pengguna membantu master web mengidentifikasi lalu lintas crawler, sehingga mereka dapat memperoleh laporan log akses yang akurat tentang aktivitas crawler dan mengontrol akses ke situs melalui robots.txt.

Applebot mendukung beberapa agen pengguna, termasuk Pencarian dan Podcasts.

Cari

Untuk crawling dan perenderan web pencarian, Applebot menggunakan format berikut:

String agen-pengguna berisi "Applebot" dan informasi lainnya. Berikut adalah format umumnya:

Mozilla/5.0 (Perangkat; OS_version) AppleWebKit/WebKit_version (KHTML, seperti Gecko) Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Contoh untuk desktop:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, seperti Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

Contoh untuk seluler:

Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 seperti Mac OS X) AppleWebKit/605.1.15 (KHTML, seperti Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

Terkadang, Applebot akan memperbarui versi browser yang diiklankan dengan tetap menggunakan format umum di atas.

Apple Podcasts

Lalu lintas iTMS juga dapat berasal dari host applebot.apple.com, dan akan diidentifikasi oleh agen pengguna berikut:

Agen-Pengguna: iTMS

Agen pengguna iTMS tidak mengikuti robots.txt, karena ini bukan crawler pencarian umum. iTMS hanya melakukan crawling URL yang terkait dengan konten terdaftar di Apple Podcasts.

Menyesuaikan aturan robot.txt

Applebot mematuhi arahan robots.txt standar dalam crawling pencarian umum yang ditargetkan pada Applebot. Pada contoh ini, Applebot tidak mencoba melakukan crawling dokumen yang berada di bagian /private/ atau /not-allowed/:

Agen-pengguna: Applebot Izinkan: / Jangan izinkan: /private/ Agen-pengguna: * Jangan izinkan: /not-allowed/

Jika instruksi robots tidak menyebut Applebot namun menyebut Googlebot, robot Apple akan mengikuti instruksi Googlebot.

Aturan perenderan dan robot

Applebot dapat merender konten situs web Anda di dalam browser. Jika javascript, CSS, dan sumber daya lainnya diblokir melalui robots.txt, Applebot mungkin tidak dapat merender konten dengan benar. Ini termasuk XHR, JS, dan CSS yang mungkin dibutuhkan halaman.

Agar Applebot dapat mengindeks konten terbaik untuk halaman tersebut, pastikan semua yang dibutuhkan pengguna dalam merender halaman tersedia untuk Applebot. Atau, pastikan situs web dirender dengan bersih meskipun semua sumber daya tidak tersedia. Hal ini sering disebut sebagai degradasi yang anggun.

Menyesuaikan aturan pengindeksan untuk Applebot

Applebot mendukung meta tag robots pada dokumen HTML. Untuk menentukan aturan robot dalam tag meta, letakkan tag di

... ...

Applebot juga mendukung arahan berikut:

• noindex: Applebot tidak akan mengindeks halaman ini dan Applebot tidak akan muncul di Saran Spotlight atau Siri.

• nosnippet: Applebot tidak akan membuat deskripsi atau jawaban web untuk halaman.

• nofollow: Applebot tidak akan mengikuti tautan apa pun di halaman.

• none: Applebot tidak akan mengindeks, membuat cuplikan, atau mengikuti tautan di halaman, sebagaimana diterangkan di atas.

• all: Applebot menyediakan dokumen saran dan membuat cuplikan konten sehingga deskripsi singkat mengenai halaman dapat muncul di sebelah contoh gambar.

Untuk memasukkan beberapa arahan di meta tag tunggal, gunakan daftar yang dipisahkan koma atau beberapa meta tag.

Contoh:

Mengontrol penggunaan data

Selain mengikuti semua aturan dan arahan robots.txt, Apple memiliki agen pengguna sekunder, Applebot-Extended, yang memberi kontrol tambahan kepada penerbit web tentang bagaimana konten situs web mereka dapat digunakan oleh Apple.

Dengan Applebot-Extended, penerbit web dapat memilih untuk tidak mengizinkan konten situs web mereka digunakan untuk melatih model dasar Apple yang mendukung fitur AI generatif di seluruh produk Apple, termasuk Kecerdasan, Layanan, dan Alat Pengembang Apple.

Anda dapat menambahkan aturan di robots.txt untuk tidak mengizinkan Applebot-Extended, sebagai berikut:

Agen-pengguna: Applebot-Extended Tidak diizinkan: /private/

Applebot-Extended tidak melakukan crawling halaman web. Halaman web yang tidak mengizinkan Applebot-Extended masih dapat disertakan dalam hasil pencarian. Applebot-Extended hanya digunakan untuk menentukan cara menggunakan data yang di-crawling oleh agen pengguna Applebot.

Mengizinkan Applebot-Extended akan membantu meningkatkan kemampuan dan kualitas model AI generatif Apple dari waktu ke waktu.

Mengenai peringkat pencarian

Pencarian Apple dapat mempertimbangkan hal berikut ketika memberi peringkat hasil pencarian web:

• Agregasi keterlibatan pengguna dengan hasil pencarian

• Relevansi dan kecocokan istilah pencarian dengan topik dan konten halaman web

• Jumlah dan kualitas tautan dari halaman lain di web

• Sinyal berbasis lokasi pengguna (perkiraan data)

• Karakteristik desain halaman web

Hasil pencarian dapat menggunakan faktor-faktor di atas tanpa tingkat kepentingan peringkat (ditentukan sebelumnya). Pengguna Pencarian tunduk pada kebijakan privasi di Saran Siri, Pencarian & Privasi.

Hubungi kami

Jika Anda memiliki pertanyaan atau kekhawatiran, silakan hubungi kami di applebot@apple.com.