關於 Applebot

了解 Applebot (Apple 的網絡爬蟲)。

Applebot 是 Apple 的網絡爬蟲,Siri 和 Spotlight 等產品均使用 Applebot。

識別 Applebot

使用者代理程式會識別來自 Applebot 的流量,而反向 DNS 會將其顯示在源自 17.0.0.0 網絡區塊的 *.applebot.apple.com 網域中。

驗證流量是來自 Applebot

在 macOS 中,可以使用主機指令來判斷 IP 位址是否屬 Applebot 的一部分。以下例子顯示主機指令及其結果:

$ host 17.58.101.179
179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

主機指令也可以用來驗證 DNS 指向相同的 IP 位址:

$ host 17-58-101-179.applebot.apple.com
17-58-101-179.applebot.apple.com has address 17.58.101.179.

驗證 Applebot 使用者代理程式

使用者代理程式字串包含「Applebot」和其他資料。格式如下:

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)
Version/Safari_version Safari/WebKit_version (Applebot/Applebot_version)

桌面電腦適用的例子:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5
(KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1)
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/605.1.15
(KHTML, like Gecko) Version/12.1.1 Safari/605.1.15 (Applebot/0.1)

流動裝置適用的例子:

Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4
(KHTML, like Gecko) Version/8.0 Mobile/12B410 Safari/600.1.4 (Applebot/0.1;
+http://www.apple.com/go/applebot)
Mozilla/5.0 (iPhone; CPU iPhone OS 13_4_1 like Mac OS X) AppleWebKit/605.1.15Z
(KHTML, like Gecko) Version/13.1 Mobile/15E148 Safari/604.1 (Applebot/0.1)

自訂 robot.txt 規則

Applebot 遵守針對 Applebot 的標準 robots.txt 指令。在此例子中,Applebot 不會嘗試對 /private/ 或 /not-allowed/ 底下的文件進行索引:

User-agent: Applebot         # apple
Allow: /                     # Allow everything (also true if omitted)
Disallow: /private/          # disallow this directory
User-agent: *                # any robot
Disallow: /not-allowed/      # disallow this directory

如果機械人指示沒有提及 Applebot 但提及 Googlebot,則 Apple 機械人將遵守 Googlebot 的指示。

 

轉譯和機械人規則

Applebot 可能會在瀏覽器中轉譯你的網站內容。如果透過 robots.txt 封鎖 javascript、CSS 和其他資源,可能會無法正確轉譯內容。其中包括頁面可能需要的 XHR、JS 和 CSS。

為了讓 Applebot 建立頁面的最佳內容索引,請確定 Applebot 能夠使用供使用者轉譯頁面所需的任何資料。或者,即使所有資源皆無法使用,也要確定網站可以完全轉譯。這通常稱為「從容退化」。

自訂 Applebot 的索引規則

Applebot 支援 HTML 文件的機械人中繼標記。如要指定中繼標記的機械人規則,請將標記放在文件的 <HEAD> 部分,就像這樣:

<html><head>
 <meta name="robots" content="noindex"/>
 ...
 </head>
 <body>...</body>
 </html>

Applebot 也支援以下指令:

  • noindex:Applebot 不會建立頁面索引,也不會在「Spotlight 建議」或「Siri 建議」中顯示。
  • nosnippet:Applebot 不會就頁面產生描述或網頁答案。任何進入此網址的建議只會包括頁面標題。
  • nofollow:Applebot 不會追蹤頁面上的任何連結。
  • none:如上文所述,Applebot 不會建立頁面索引、截取頁面片段或開啟頁面上的連結。
  • all:Applebot 會提供建議文件並截取網頁摘要,以便在能代表該頁面的圖片旁邊顯示簡短的頁面描述。Applebot 可能會追蹤頁面連結,以提供進一步建議。

如要在單一中繼標記放入多項指令,請使用逗號分隔的清單或多個中繼標記。例子:

<meta name="robots" content="nosnippet, noindex”>
<meta name="robots" content=“noindex">
<meta name="robots" content=“nosnippet">

關於搜尋排名

「Apple 搜尋」在將網頁搜尋結果排名時,可能會考慮以下事項:

  • 彙整使用者與搜尋結果的互動率
  • 搜尋詞彙與網頁主題和內容的相關性和相符性
  • 來自網絡上其他頁面的連結數量和品質
  • 以使用者所在地點為基礎的訊號 (近似資料)
  • 網頁設計特性

搜尋結果可能會使用上述沒有 (預先決定的) 排名重要性的因素。「搜尋」的使用者必須遵守「Siri 建議、搜尋與私隱政策」中的私隱政策。

聯絡我們

如有任何問題或疑慮,請傳送電郵到 applebot@apple.com 與我們聯絡。

對於非 Apple 製造產品,或者並非由 Apple 控制或測試的獨立網站,其相關資訊的提供不應詮釋為受到 Apple 所推薦或認可。Apple 對於第三方網站或產品的選擇、表現或使用,概不承擔任何責任。Apple 對於第三方網站的準確性或可靠性不作任何聲明。如需進一步資料,請聯絡相關供應商

發佈日期: