Applebotについて

AppleのWebクローラー、Applebotについて説明します。

Applebotによってクロールされたデータは、Spotlight、Siri、SafariといったAppleのエコシステムの多くのユーザ体験に組み込まれた検索テクノロジーをはじめとするさまざまな機能を強化するために使用されます。robots.txtでApplebotを有効にすると、世界中のこれらの製品のAppleユーザの検索結果にWebサイトのコンテンツを表示できます。

Applebotは、Webサーバーからさまざまな種類のリソース（robots.txt、サイトマップ、RSSフィード、HTML、javascript、Ajaxリクエスト、画像などのページをレンダリングするために必要なサブリソースを含むが、これらに限定されません）にアクセスします。

Applebotを確認する

Applebotからの着信トラフィックは、通常、*.applebot.apple.com ドメインの逆引きDNSを使用して識別されます。

または、JSONファイル（Applebot IP CIDRs）に含まれるCIDRプレフィックスとIPアドレスをマッチングします。

逆引きDNS

IPアドレスがApplebotのものかどうかを判断するには、hostコマンドを使用します。以下の例は、hostコマンドとその結果です。

$ host 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com has address 17.58.101.179.

hostコマンドを使って、DNSが同じIPアドレスを参照しているか確かめることもできます。

$ host 17.58.101.179 179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

ユーザエージェント

Webマスターは、ユーザエージェントを使ってクローラーのトラフィックを特定することで、クローラーのアクティビティの正確なアクセスログレポートを取得し、robots.txtでサイトへのアクセスを制御できます。

Applebotは、検索やポッドキャストなどのユーザエージェントによって利用されます。

検索

Applebotは、検索Webクローリングとレンダリングで、次の形式を使用します。

user-agent文字列には「Applebot」とその他の情報が含まれています。以下は一般的な形式です。

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

デスクトップの例

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15(KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

モバイルの例

Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

Applebotは、上記の一般的な形式のままで、アドバタイズするブラウザのバージョンを更新することもあります。

Apple Podcast

iTMSトラフィックは、applebot.apple.com ホストからも着信する可能性があり、次のユーザエージェントによって識別されます。

User-Agent: iTMS

iTMSユーザエージェントは、一般的な検索クローラーではないため、robots.txtに従いません。Apple Podcastに登録されたコンテンツに関連付けられたURLのみをクロールします。

「robot.txt」のルールをカスタマイズする

Applebotは、Applebotを対象としている一般的な検索クロールの標準的な「robots.txt」ディレクティブに従います。以下の例では、Applebotは「/private/」や「/not-allowed/」の下位にある書類はクローリングしません。

User-agent: Applebot Allow: / Disallow: /private/ User-agent: * Disallow: /not-allowed/

robotsの制御指示でApplebotには言及していなくてもGooglebotについて指定されている場合、AppleのロボットはGooglebotに対する指示に従います。

レンダリングとrobotsのルール

Applebotはブラウザ内でWebサイトのコンテンツをレンダリングする場合があります。javascript、CSS、その他のリソースが「robots.txt」でブロックされている場合は、コンテンツを適切にレンダリングできない場合があります。これには、ページで必要とされる可能性があるXHR、JS、CSSなども該当します。

Applebotでページのコンテンツが適切にインデックス化されるようにするには、ユーザがページをレンダリングするために必要な情報をすべてApplebotでも利用できるようにしておいてください。または、リソースがすべて利用できない状態であっても、Webサイトが滞りなくレンダリングされるようにしておきましょう。これはよく「グレースフルデグレーション」と呼ばれる手法です。

Applebotに対するインデックス化のルールをカスタマイズする

Applebotは、HTML書類のrobots metaタグに対応しています。メタタグにrobotsのルールを指定するには、以下のように、書類の<head>セクションにタグを追加します。

<html><head> <meta name="robots" content="noindex"/> ... </head> <body>...</body> </html>

Applebotは以下のディレクティブにも対応しています。

  • noindex：このページはApplebotでインデックス化されないため、SpotlightやSiriの検索候補にも表示されません。

  • nosnippet：Appletbotは、このページの説明（スニペット）を生成しません。

  • nofollow：Applebotは、このページ上のリンクをたどりません。

  • none：Applebotは、上記の通り、ページをインデックス化せず、スニペットを生成せず、ページ上のリンクをたどりません。

  • all：Applebotはこの書類を提案に使い、コンテンツのスニペットを生成するため、ページの簡単な説明が、ページを表す画像の横に表示されます。

1つのメタタグに複数のディレクティブを指定するには、カンマ区切りのリスト形式で指定するか、メタタグを複数使います。

例：

<meta name="robots" content="nosnippet, noindex”> <meta name="robots" content=“noindex"> <meta name="robots" content=“nosnippet">

データ使用方法の制御

すべてのrobots.txtのルールとディレクティブに従うことに加えて、AppleにはセカンダリユーザエージェントであるApplebot-Extendedがあり、WebサイトのコンテンツをAppleが使用する方法について、Webパブリッシャーがさらに細かく制御できます。

Applebot-Extendedを使用すると、Webパブリッシャーは、Apple Intelligence、修理サービス、デベロッパツールなど、Apple製品全体の生成AI機能を強化しながらAppleの基盤モデルをトレーニングするために使用されるWebサイトのコンテンツをオプトアウトできます。

次のように、robots.txtにルールを追加して、Applebot-Extendedを許可しないように設定することができます。

User-agent: Applebot-Extended Disallow: /private/

Applebot-ExtendedはWebページをクロールしません。Applebot-Extendedを許可しないWebページは、引き続き検索結果に含めることができます。Applebot-Extendedは、Applebotユーザエージェントによってクロールされたデータの使用方法を決定するためにのみ使用されます。

Applebot-Extendedを許可すると、Appleの生成AIモデルの機能と品質が、時間の経過とともに向上します。

検索ランキングについて

Appleの検索では、Webの検索結果にランク付けをする際、以下の要因を考慮に入れています。

  • 検索結果に対するユーザエンゲージメントの集計

  • 検索語とWebページのトピックやコンテンツとの関連度やマッチング

  • Web上のほかのページからのリンクの数や質

  • ユーザの位置情報に基づくシグナル（近似データ）

  • Webページのデザインの特徴

検索結果には、上記の要因が加味される場合がありますが、ランキングにおける重要度はあらかじめ決められてはいません。検索機能の利用には、「Siriからの提案、検索とプライバシー」のプライバシーポリシーが適用されます。

お問い合わせ

ご質問やご不明な点がございましたら、applebot@apple.com までお問い合わせください。

Appleが製造していない製品に関する情報や、Appleが管理または検証していない個々のWebサイトについては、推奨や承認なしで提供されています。Appleは他社のWebサイトや製品の選択、性能、使用に関しては一切責任を負いません。Appleは他社のWebサイトの正確性や信頼性についてはいかなる表明もいたしません。詳しくは、各メーカーや開発元にお問い合わせください。

公開日：