Applebot merupakan web crawler untuk Apple. Produk seperti Saran Siri dan Spotlight menggunakan Applebot.
Mengidentifikasi Applebot
Lalu lintas yang berasal dari Applebot diidentifikasi oleh agen penggunanya dan reverse DNS menunjukkannya di domain *.applebot.apple.com, yang berasal dari blok net 17.0.0.0.
Memverifikasi bahwa lalu lintas berasal dari Applebot
Di macOS, perintah host dapat digunakan untuk menentukan apakah alamat IP adalah bagian dari Applebot. Contoh berikut menunjukkan perintah host dan hasilnya:
$ host 17.58.101.179 179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.
Perintah host juga dapat digunakan untuk memverifikasi bahwa DNS mengarah ke alamat IP yang sama:
$ host 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com has address 17.58.101.179.
Memverifikasi agen pengguna Applebot
String agen-pengguna berisi "Applebot" dan informasi lainnya. Ini formatnya:
Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko) Version/Safari_version Safari/WebKit_version (Applebot/Applebot_version)
Contoh untuk desktop:
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1)
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/12.1.1 Safari/605.1.15 (Applebot/0.1)
Contoh untuk perangkat seluler:
Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B410 Safari/600.1.4 (Applebot/0.1; +http://www.apple.com/go/applebot)
Mozilla/5.0 (iPhone; CPU iPhone OS 13_4_1 like Mac OS X) AppleWebKit/605.1.15Z (KHTML, like Gecko) Version/13.1 Mobile/15E148 Safari/604.1 (Applebot/0.1)
Menyesuaikan aturan robot.txt
Applebot mematuhi arahan robots.txt standar yang ditargetkan di Applebot. Pada contoh ini, Applebot tidak mencoba melakukan crawling dokumen yang berada di bagian /private/ atau /not-allowed/:
User-agent: Applebot # apple Allow: / # Allow everything (also true if omitted) Disallow: /private/ # disallow this directory
User-agent: * # any robot Disallow: /not-allowed/ # disallow this directory
Jika instruksi robots tidak menyebut Applebot namun menyebut Googlebot, robot Apple akan mengikuti instruksi Googlebot.
Aturan perenderan dan robot
Applebot dapat merender konten situs web Anda di dalam browser. Jika javascript, CSS, dan sumber daya lainnya diblokir melalui robots.txt, Applebot mungkin tidak dapat merender konten dengan benar. Ini termasuk XHR, JS, dan CSS yang mungkin dibutuhkan halaman.
Agar Applebot dapat mengindeks konten terbaik untuk halaman tersebut, pastikan semua yang dibutuhkan pengguna dalam merender halaman tersedia untuk Applebot. Atau, pastikan situs web dirender dengan bersih meskipun semua sumber daya tidak tersedia. Hal ini sering disebut sebagai degradasi yang anggun.
Menyesuaikan aturan pengindeksan untuk Applebot
Applebot mendukung meta tag robots pada dokumen HTML. Untuk menetapkan aturan robots di meta tag, masukkan label di bagian <kepala> dokumen, seperti ini:
<html><head> <meta name="robots" content="noindex"/> ... </head> <body>...</body> </html>
Applebot juga mendukung arahan berikut:
- noindex: Applebot tidak akan mengindeks halaman ini dan Applebot tidak akan muncul di Saran Spotlight atau Siri.
- nosnippet: Applebot tidak akan membuat deskripsi atau jawaban web untuk halaman. Saran apa pun untuk mengunjungi URL ini hanya akan mencantumkan judul halaman.
- nofollow: Applebot tidak akan mengikuti tautan apa pun di halaman.
- none: Applebot tidak akan mengindeks, membuat cuplikan, atau mengikuti tautan di halaman, sebagaimana diterangkan di atas.
- all: Applebot menyediakan dokumen saran dan membuat cuplikan konten sehingga deskripsi singkat mengenai halaman dapat muncul di sebelah contoh gambar. Applebot dapat mengikuti tautan pada halaman tersebut untuk memberikan lebih banyak saran.
Untuk memasukkan beberapa arahan di meta tag tunggal, gunakan daftar yang dipisahkan koma atau beberapa meta tag. Contoh:
<meta name="robots" content="nosnippet, noindex”>
<meta name="robots" content=“noindex">
<meta name="robots" content=“nosnippet">
Mengenai peringkat pencarian
Pencarian Apple dapat mempertimbangkan hal berikut ketika memberi peringkat hasil pencarian web:
- Agregasi keterlibatan pengguna dengan hasil pencarian
- Relevansi dan kecocokan istilah pencarian dengan topik dan konten halaman web
- Jumlah dan kualitas tautan dari halaman lain di web
- Sinyal berbasis lokasi pengguna (perkiraan data)
- Karakteristik desain halaman web
Hasil pencarian dapat menggunakan faktor-faktor di atas tanpa tingkat kepentingan peringkat (ditentukan sebelumnya). Pengguna Pencarian tunduk pada kebijakan privasi di Saran Siri, Pencarian & Privasi.
Hubungi kami
Jika Anda memiliki pertanyaan atau kekhawatiran, silakan hubungi kami di applebot@apple.com.