关于 Applebot

了解有关 Apple 网络爬虫工具 Applebot 的信息。

Applebot 是 Apple 推出的网络爬虫工具。“Siri 建议”和“聚焦建议”等产品均使用 Applebot。这个工具遵循惯用的 robots.txt 规则和 robots 元标签,并且源自 17.0.0.0 网络块。

识别 Applebot

用户代理字符串包含“Applebot”和其他代理信息。示例如下:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1)

自定 Applebot 的规则

Applebot 遵循以 Applebot 为目标的标准 robots.txt 指令。在以下示例中,Applebot 不会尝试抓取 /private/ 或 /not-allowed/ 下的文稿:

User-agent: Applebot         # apple
Disallow: /private/          # disallow this directory
User-agent: *                # any robot
Disallow: /not-allowed/      # disallow this directory

Applebot 支持 HTML 文稿中的 robots 元标签。要在元标签中指定 robots 规则,请将标签置于文稿的 <head> 部分中(如下所示):

<html><head>
<meta name="robots" content="noindex"/>
...
</head>
<body>...</body>
</html>


Applebot 还支持以下指令:

  • noindex:Applebot 不会针对相关页面创建索引,并且相关页面不会出现在“聚焦建议”或“Siri 建议”中。
  • nosnippet:Applebot 不会生成页面描述或网页答案。所有示意访问相关 URL 的建议都仅包含页面的标题。
  • nofollow:Applebot 不会追踪页面上所示的任何链接。
  • none:如上所述,Applebot 不会针对页面创建索引、生成片段或追踪页面上所示的链接。
  • all:Applebot 会针对建议提供文稿并生成内容片段,以便在具有代表性的图片旁边显示有关页面的简短描述。Applebot 可能会追踪页面上所示的链接,以提供更多建议。

要将多个指令置于单个元标签中,请使用以逗号分隔的列表或使用多个元标签。下面是一些示例:

<meta name="robots" content="nosnippet, noindex”>

以及:

<meta name="robots" content=“noindex">
<meta name="robots" content=“nosnippet">

联系我们

如果您有任何问题或疑虑,请通过 applebot@apple.com 与我们联系。

有关非 Apple 制造的产品或非 Apple 控制或测试的独立网站的信息仅供参考,不代表 Apple 的任何建议或保证。Apple 对于第三方网站或产品的选择、性能或使用不承担任何责任。Apple 对于第三方网站的准确性和可靠性不作任何担保。互联网的使用具有一定风险。请联系供应商以了解其他信息。其他公司和产品名称可能是其各自所有公司的商标。

发布日期: