Applebotについて
AppleのWebクローラー、Applebotについて説明します。
Applebotによってクロールされたデータは、Spotlight、Siri、SafariといったAppleのエコシステムの多くのユーザ体験に組み込まれた検索テクノロジーをはじめとするさまざまな機能を強化するために使用されます。robots.txtでApplebotを有効にすると、世界中のこれらの製品のAppleユーザの検索結果にWebサイトのコンテンツを表示できます。
Applebotによってクロールされたデータは、Appleのさまざまな製品(Apple Intelligence、各種サービス、デベロッパツールなど)の生成AI機能を実現しているAppleの基盤モデルのトレーニングにも、使用される場合があります。Webパブリッシャーは、robots.txtファイルでApplebot-Extendedを禁止することにより、コンテンツが生成基盤モデルのトレーニングに使用されることを拒否できます。
Applebotによってクロールされたデータは、AIモデルを使用してAppleの製品やサービスで表示する出力を生成する際に、追加のコンテキストや最新のコンテンツを提供するために使用される場合があります。たとえば、Siriや検索が幅広い一般知識に関する質問に回答する際、回答を生成するために使用された出典やWebサイトへのリンクを含む場合があります。Webパブリッシャーは、特定のコンテンツにnosnippetメタタグを適用することで、自分のコンテンツがこれらの幅広い一般知識に関する回答に使用されないようにすることができます。
Applebot-Extendedを禁止し、Webサイトのコンテンツにnosnippetメタタグを付与しても、Webサイトの指示によってはApplebotがWebページをクロールできる場合があります。Spotlight、Siri、Safari、その他Appleデバイスのシステム全体にわたる機能を通じて、コンテンツは引き続き発見可能です。
Applebotを確認する
Applebotからの着信トラフィックは、通常、*.applebot.apple.com ドメインの逆引きDNSを使用して識別されます。
または、JSONファイル(Applebot IP CIDRs)に含まれるCIDRプレフィックスとIPアドレスをマッチングします。
逆引きDNS
IPアドレスがApplebotのものかどうかを判断するには、hostコマンドを使用します。以下の例は、hostコマンドとその結果です。
$ host 17-58-101-179.applebot.apple.com
17-58-101-179.applebot.apple.com has address 17.58.101.179.
hostコマンドを使って、DNSが同じIPアドレスを参照しているか確かめることもできます。
$ host 17.58.101.179
179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.
ユーザエージェント
Webマスターは、ユーザエージェントを使ってクローラーのトラフィックを特定することで、クローラーのアクティビティの正確なアクセスログレポートを取得し、robots.txtでサイトへのアクセスを制御できます。
Applebotは、検索やポッドキャストなどのユーザエージェントによって利用されます。
検索
Applebotは、検索Webクローリングとレンダリングで、次の形式を使用します。
user-agent文字列には「Applebot」とその他の情報が含まれています。以下は一般的な形式です。
Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)
Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)
デスクトップの例
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15(KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
モバイルの例
Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebotは、上記の一般的な形式のままで、アドバタイズするブラウザのバージョンを更新することもあります。
特殊クローラー
Appleのオンラインプロパティ
iTMSトラフィックは、applebot.apple.comホストから着信する可能性があり、次のユーザエージェントによって識別されます。
User-Agent: iTMS
iTMSユーザエージェントは、一般的な検索クローラーではないため、robots.txtに従いません。iTMSユーザエージェントは、Apple Podcastに登録されているコンテンツに関連するURLのみをクロールします。
「robot.txt」のルールをカスタマイズする
Applebotは、Applebotを対象としている一般的な検索クロールの標準的な「robots.txt」ディレクティブに従います。以下の例では、Applebotは「/private/」や「/not-allowed/」の下位にある書類はクローリングしません。
User-agent: Applebot
Allow: /
Disallow: /private/
User-agent: *
Disallow: /not-allowed/
robotsの制御指示でApplebotには言及していなくてもGooglebotについて指定されている場合、AppleのロボットはGooglebotに対する指示に従います。Applebotはクロール遅延には従いません。
Applebotは効率を重視して設計されており、サイトの所有者への影響をできる限り抑えるように調整されます。たとえば、サイトのサーバへの過剰な負荷を避けるために、サイトの動作が遅くなったりエラーが返されたりした場合、Applebotのクロール頻度は自動的に調整されます。また、Appleはクロールされたコンテンツをキャッシュすることで不要なクロールを減らしています。クロール不要な内容を識別することで、サイト所有者のインフラコスト削減やインターネット全体の効率化に寄与します。
レンダリングとrobotsのルール
Applebotはブラウザ内でWebサイトのコンテンツをレンダリングする場合があります。javascript、CSS、その他のリソースが「robots.txt」でブロックされている場合は、コンテンツを適切にレンダリングできない場合があります。これには、ページで必要とされる可能性があるXHR、JS、CSSなども該当します。
Applebotでページのコンテンツが適切にインデックス化されるようにするには、ユーザがページをレンダリングするために必要な情報をすべてApplebotでも利用できるようにしておいてください。または、リソースがすべて利用できない状態であっても、Webサイトが滞りなくレンダリングされるようにしておきましょう。これはよく「グレースフルデグレーション」と呼ばれる手法です。
Applebotに対するインデックス化のルールをカスタマイズする
Applebotは、HTML書類のrobots metaタグに対応しています。メタタグにrobotsのルールを指定するには、以下のように、書類の<head>セクションにタグを追加します。
<html>
<head>
<meta name="robots" content="noindex"/>
...
</head>
<body>...</body>
</html>
Applebotは以下のディレクティブにも対応しています。
noindex:このページはApplebotでインデックス化されないため、SpotlightやSiriの検索候補にも表示されません。
nosnippet:Appletbotは、このページの説明(スニペット)を生成しません。このURLが閲覧候補として提示される際も、ページのタイトルしか表示されません。Appleは、nosnippetタグが付与されたデータを、AIモデルを使用してAppleの製品やサービスに表示する出力を生成する際の追加コンテキストや最新コンテンツとして利用しません。
nofollow:Applebotは、このページ上のリンクをたどりません。
none:Applebotは、上記の通り、ページをインデックス化せず、スニペットを生成せず、ページ上のリンクをたどりません。
all:Applebotはこの書類を提案に使い、コンテンツのスニペットを生成するため、ページの簡単な説明が、ページを表す画像の横に表示されます。Applebotはページ上のリンクをたどり、さらに候補を提示する場合があります。
1つのメタタグに複数のディレクティブを指定するには、カンマ区切りのリスト形式で指定するか、メタタグを複数使います。
例:
<meta name="robots" content="nosnippet, noindex”>
<meta name="robots" content=“noindex">
<meta name="robots" content=“nosnippet">
<meta name="applebot" content=“nosnippet">
X-Robots-Tag HTTPヘッダを使用する
Applebotは、X-Robots-Tag HTTPレスポンスヘッダを通じて配信されるインデックス化ディレクティブにも対応しています。これは、メタタグを使用できない非HTMLリソース(PDFや画像など)の場合や、サーバレベルでディレクティブを適用する場合に有用です。Applebotにディレクティブを適用するには、次のようにします。
X-Robots-Tag: applebot: nosnippet
ペイウォールで保護されているコンテンツをマークする
Applebotは、ペイウォール、従量制アクセス、またはサブスクリプションで保護されているページを識別するため、schema.orgのisAccessibleForFreeプロパティに対応しています。JSON-LDでページレベルの構造化データに次のプロパティを追加してください。
<script type="application/ld+json">
{
"@context": "https://schema.org",
"isAccessibleForFree": false
}
</script>
isAccessibleForFree: falseでマークされたページは、検索結果に表示される対象となりますが、Applebotは、AIモデルを使用してAppleの製品やサービスで表示する出力を生成する際の追加コンテキストとしてそのコンテンツを使用しません。このシグナルはページレベルで適用されます。hasPartを使用したセクションレベルのマークアップには対応していません。自分のコンテンツをAppleの基盤モデルのトレーニングに使わせないようにするには、次のセクションで説明されているApplebot-Extendedを使用してください。
Applebot-Extendedとデータ使用方法の制御
すべてのrobots.txtのルールとディレクティブに従うことに加えて、AppleにはセカンダリユーザエージェントであるApplebot-Extendedがあり、WebサイトのコンテンツをAppleが使用する方法について、Webパブリッシャーがさらに細かく制御できます。
Applebot-Extendedを使用すると、Webパブリッシャーは、Apple Intelligence、Appleの各種サービス、Apple Developers Toolsなど、Apple製品全体の生成AI機能を強化するAppleの汎用基盤モデルをトレーニングするためにWebサイトのコンテンツが使用されないようにすることができます。
次のように、robots.txtにルールを追加して、Applebot-Extendedを許可しないように設定することができます。
User-agent: Applebot-Extended
Disallow: /private/
Applebot-ExtendedはWebページをクロールしません。Applebot-Extendedを許可しないWebページは、引き続き検索結果に含めることができます。Applebot-Extendedは、Applebotユーザエージェントによってクロールされたデータの使用方法を決定するためにのみ使用されます。
Applebot-Extendedを許可すると、Appleの生成AIモデルの機能と品質が、時間の経過とともに向上します。
検索ランキングについて
Appleの検索では、Webの検索結果にランク付けをする際、以下の要因を考慮に入れています。
検索結果に対するユーザエンゲージメントの集計
検索語とWebページのトピックやコンテンツとの関連度やマッチング
Web上のほかのページからのリンクの数や質
ユーザの位置情報に基づくシグナル(近似データ)
Webページのデザインの特徴
検索結果には、上記の要因が加味される場合がありますが、ランキングにおける重要度はあらかじめ決められてはいません。検索機能の利用には、「Siriからの提案、検索とプライバシー」のプライバシーポリシーが適用されます。
お問い合わせ
ご質問やご不明な点がございましたら、applebot@apple.com までお問い合わせください。
Appleが製造していない製品に関する情報や、Appleが管理または検証していない個々のWebサイトについては、推奨や承認なしで提供されています。Appleは他社のWebサイトや製品の選択、性能、使用に関しては一切責任を負いません。Appleは他社のWebサイトの正確性や信頼性についてはいかなる表明もいたしません。詳しくは、各メーカーや開発元にお問い合わせください。