關於 Applebot

Applebot 是 Apple 的網絡爬蟲，Siri 和 Spotlight 等產品均使用 Applebot。

識別 Applebot

使用者代理程式會識別來自 Applebot 的流量，而反向 DNS 會將其顯示在源自 17.0.0.0 網絡區塊的 *.applebot.apple.com 網域中。

驗證流量是來自 Applebot

在 macOS 中，可以使用主機指令來判斷 IP 位址是否屬 Applebot 的一部分。以下例子顯示主機指令及其結果：

$ host 17.58.101.179 179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

主機指令也可以用來驗證 DNS 指向相同的 IP 位址：

$ host 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com has address 17.58.101.179.

驗證 Applebot 使用者代理程式

使用者代理程式字串包含「Applebot」和其他資料。格式如下：

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko) Version/Safari_version Safari/WebKit_version (Applebot/Applebot_version)

桌面電腦適用的例子：

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1) Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/12.1.1 Safari/605.1.15 (Applebot/0.1)

流動裝置適用的例子：

Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B410 Safari/600.1.4 (Applebot/0.1; +http://www.apple.com/go/applebot) Mozilla/5.0 (iPhone; CPU iPhone OS 13_4_1 like Mac OS X) AppleWebKit/605.1.15Z (KHTML, like Gecko) Version/13.1 Mobile/15E148 Safari/604.1 (Applebot/0.1)

自訂 robot.txt 規則

Applebot 遵守以 Applebot 為目標的標準 robots.txt 指令。在此例子中，Applebot 不會嘗試對 /private/ 或 /not-allowed/ 底下的文件進行編目：

User-agent: Applebot # apple Allow: / # Allow everything (also true if omitted) Disallow: /private/ # disallow this directory User-agent: * # any robot Disallow: /not-allowed/ # disallow this directory

如果機械人指示沒有提及 Applebot 但提及 Googlebot，則 Apple 機械人將遵守 Googlebot 的指示。

轉譯和機械人規則

Applebot 可能會在瀏覽器中轉譯你的網站內容。如果透過 robots.txt 封鎖 javascript、CSS 和其他資源，可能會無法正確轉譯內容。其中包括頁面可能需要的 XHR、JS 和 CSS。

為了讓 Applebot 建立頁面的最佳內容索引，請確定 Applebot 能夠使用供使用者轉譯頁面所需的任何資料。或者，即使所有資源皆無法使用，也要確定網站可以完全轉譯。這通常稱為「從容退化」。

自訂 Applebot 的索引規則

Applebot 支援 HTML 文件的機械人中繼標籤。如要指定中繼標籤的機械人規則，

... ...

Applebot 也支援以下指令：

• noindex：Applebot 不會建立頁面索引，也不會在「Spotlight 建議」或「Siri 建議」中顯示。

• nosnippet：Applebot 不會就頁面產生描述或網頁答案。任何進入此網址的建議只會包括頁面標題。

• nofollow：Applebot 不會追蹤頁面上的任何連結。

• none：如上文所述，Applebot 不會建立頁面索引、截取頁面片段或開啟頁面上的連結。

• all：Applebot 會提供建議文件並截取網頁摘要，以便在能代表該頁面的圖片旁邊顯示簡短的頁面描述。

如要在單一中繼標籤放入多項指令，請使用逗號分隔的清單或多個中繼標籤。

例如：

關於搜尋排名

「Apple 搜尋」在將網頁搜尋結果排名時，可能會考慮以下事項：

• 彙整使用者與搜尋結果的互動率

• 搜尋詞彙與網頁主題和內容的相關性和相符性

• 來自網絡上其他頁面的連結數量和品質

• 以使用者所在地點為基礎的訊號 (近似資料)

• 網頁設計特性

搜尋結果可能會使用上述沒有 (預先決定的) 排名重要性的因素。「搜尋」的使用者必須遵守「Siri 建議、搜尋與私隱政策」中的私隱政策。

聯絡我們

如有任何問題或疑慮，請傳送電郵到 applebot@apple.com 與我們聯絡。