关于 Applebot

了解有关 Apple 网络爬虫工具 Applebot 的信息。

Applebot 是 Apple 的网络爬虫工具。Siri 和“聚焦建议”等产品都会使用 Applebot。这个工具遵循惯用的 robots.txt 规则和机器人元标签,源自 17.0.0.0 网络块。

识别 Applebot

用户代理字符串包含“Applebot”和其他代理信息。示例如下:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1)

自定 Applebot 的规则

Applebot 遵循以 Applebot 为目标的标准 robots.txt 指令。在以下示例中,Applebot 不会尝试抓取 /private/ 或 /not-allowed/ 下方的文稿:

User-agent: Applebot         # apple
Disallow: /private/          # disallow this directory
User-agent: *                # any robot
Disallow: /not-allowed/      # disallow this directory

Applebot 支持 HTML 文稿中的机器人元标签。要指定元标签中的机器人规则,请将标签置于文稿的 <head> 部分(如下所示):

<html><head>
<meta name="robots" content="noindex"/>
...
</head>
<body>...</body>
</html>


Applebot 还支持以下指令:

  • noindex:Applebot 不会针对这个页面创建索引,也不会出现在“聚焦建议”或“Siri 建议”中。
  • nosnippet:Appletbot 不会生成页面描述。所有示意访问这个 URL 的建议都仅包含页面的标题。
  • nofollow:Applebot 不会打开页面上所示的任何链接。
  • none:如上所述,Applebot 不会针对页面创建索引、生成片段或打开页面上所示的链接。
  • all:Applebot 会提供建议文稿并生成内容片段,以在代表性图像旁边显示有关页面的简短描述。Applebot 可能会打开页面上所示的链接,以提供更多建议。

要将多个指令置于单个元标签中,请使用以逗号分隔的列表或使用多个元标签。下面是一些示例:

<meta name="robots" content="nosnippet, noindex”>

以及:

<meta name="robots" content=“noindex">
<meta name="robots" content=“nosnippet">

联系我们

如果存有问题或疑虑,请通过 applebot@apple.com 与我们联系。

有关非 Apple 制造的产品或非 Apple 控制或测试的独立网站的信息仅供参考,不代表 Apple 的任何建议或保证。Apple 对于第三方网站或产品的选择、性能或使用不承担任何责任。Apple 对于第三方网站的准确性和可靠性不作任何担保。互联网的使用具有一定风险。请联系供应商以了解其他信息。其他公司和产品名称可能是其各自所有公司的商标。

发布日期: