Applebot 是 Apple 的網絡爬蟲,Siri 和 Spotlight 等產品均使用 Applebot。
識別 Applebot
使用者代理程式會識別來自 Applebot 的流量,而反向 DNS 會將其顯示在源自 17.0.0.0 網絡區塊的 *.applebot.apple.com 網域中。
驗證流量是來自 Applebot
在 macOS 中,可以使用主機指令來判斷 IP 位址是否屬 Applebot 的一部分。以下例子顯示主機指令及其結果:
$ host 17.58.101.179 179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.
主機指令也可以用來驗證 DNS 指向相同的 IP 位址:
$ host 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com has address 17.58.101.179.
驗證 Applebot 使用者代理程式
使用者代理程式字串包含「Applebot」和其他資料。格式如下:
Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko) Version/Safari_version Safari/WebKit_version (Applebot/Applebot_version)
桌面電腦適用的例子:
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1)
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/12.1.1 Safari/605.1.15 (Applebot/0.1)
流動裝置適用的例子:
Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B410 Safari/600.1.4 (Applebot/0.1; +http://www.apple.com/go/applebot)
Mozilla/5.0 (iPhone; CPU iPhone OS 13_4_1 like Mac OS X) AppleWebKit/605.1.15Z (KHTML, like Gecko) Version/13.1 Mobile/15E148 Safari/604.1 (Applebot/0.1)
自訂 robot.txt 規則
Applebot 遵守針對 Applebot 的標準 robots.txt 指令。在此例子中,Applebot 不會嘗試對 /private/ 或 /not-allowed/ 底下的文件進行索引:
User-agent: Applebot # apple Allow: / # Allow everything (also true if omitted) Disallow: /private/ # disallow this directory
User-agent: * # any robot Disallow: /not-allowed/ # disallow this directory
如果機械人指示沒有提及 Applebot 但提及 Googlebot,則 Apple 機械人將遵守 Googlebot 的指示。
轉譯和機械人規則
Applebot 可能會在瀏覽器中轉譯你的網站內容。如果透過 robots.txt 封鎖 javascript、CSS 和其他資源,可能會無法正確轉譯內容。其中包括頁面可能需要的 XHR、JS 和 CSS。
為了讓 Applebot 建立頁面的最佳內容索引,請確定 Applebot 能夠使用供使用者轉譯頁面所需的任何資料。或者,即使所有資源皆無法使用,也要確定網站可以完全轉譯。這通常稱為「從容退化」。
自訂 Applebot 的索引規則
Applebot 支援 HTML 文件的機械人中繼標記。如要指定中繼標記的機械人規則,請將標記放在文件的 <HEAD> 部分,就像這樣:
<html><head> <meta name="robots" content="noindex"/> ... </head> <body>...</body> </html>
Applebot 也支援以下指令:
- noindex:Applebot 不會建立頁面索引,也不會在「Spotlight 建議」或「Siri 建議」中顯示。
- nosnippet:Applebot 不會就頁面產生描述或網頁答案。任何進入此網址的建議只會包括頁面標題。
- nofollow:Applebot 不會追蹤頁面上的任何連結。
- none:如上文所述,Applebot 不會建立頁面索引、截取頁面片段或開啟頁面上的連結。
- all:Applebot 會提供建議文件並截取網頁摘要,以便在能代表該頁面的圖片旁邊顯示簡短的頁面描述。Applebot 可能會追蹤頁面連結,以提供進一步建議。
如要在單一中繼標記放入多項指令,請使用逗號分隔的清單或多個中繼標記。例子:
<meta name="robots" content="nosnippet, noindex”>
<meta name="robots" content=“noindex">
<meta name="robots" content=“nosnippet">
關於搜尋排名
「Apple 搜尋」在將網頁搜尋結果排名時,可能會考慮以下事項:
- 彙整使用者與搜尋結果的互動率
- 搜尋詞彙與網頁主題和內容的相關性和相符性
- 來自網絡上其他頁面的連結數量和品質
- 以使用者所在地點為基礎的訊號 (近似資料)
- 網頁設計特性
搜尋結果可能會使用上述沒有 (預先決定的) 排名重要性的因素。「搜尋」的使用者必須遵守「Siri 建議、搜尋與私隱政策」中的私隱政策。
聯絡我們
如有任何問題或疑慮,請傳送電郵到 applebot@apple.com 與我們聯絡。