Applebot について

Apple の Web クローラー、Applebot について説明します。

Applebot によってクロールされたデータは、Spotlight、Siri、Safari といった Apple のエコシステムの多くのユーザ体験に組み込まれた検索テクノロジーをはじめとするさまざまな機能を強化するために使用されます。robots.txt で Applebot を有効にすると、世界中のこれらの製品の Apple ユーザの検索結果に Web サイトのコンテンツを表示できます。

Applebot は、Web サーバーからさまざまな種類のリソース (robots.txt、サイトマップ、RSS フィード、HTML、javascript、Ajax リクエスト、画像などのページをレンダリングするために必要なサブリソースを含むが、これらに限定されません) にアクセスします。

Applebot を識別する

Applebot からの着信トラフィックは、通常、*.applebot.apple.com ドメインの逆引き DNS を使用して識別されます。

または、JSON ファイル (Applebot IP CIDRs) に含まれる CIDR プレフィックスと IP アドレスをマッチングします。

逆引き DNS

IP アドレスが Applebot のものかどうかを判断するには、host コマンドを使用します。以下の例は、host コマンドとその結果です。

$ host 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com has address 17.58.101.179.

host コマンドを使って、DNS が同じ IP アドレスを参照しているか確かめることもできます。

$ host 17.58.101.179 179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

ユーザエージェント

Web マスターは、ユーザエージェントを使ってクローラーのトラフィックを特定することで、クローラーのアクティビティの正確なアクセスログレポートを取得し、robots.txt でサイトへのアクセスを制御できます。

Applebot は、検索やポッドキャストなどのユーザエージェントによって利用されます。

検索

Applebot は、検索 Web クローリングとレンダリングで、次の形式を使用します。

user-agent 文字列には「Applebot」とその他の情報が含まれています。以下は一般的な形式です。

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

デスクトップの例

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15(KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

モバイルの例

Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

Applebot は、上記の一般的な形式のままで、アドバタイズするブラウザのバージョンを更新することもあります。

Apple Podcast

iTMS トラフィックは、applebot.apple.com ホストからも着信する可能性があり、次のユーザエージェントによって識別されます。

User-Agent: iTMS

iTMS ユーザエージェントは、一般的な検索クローラーではないため、robots.txt に従いません。Apple Podcast に登録されたコンテンツに関連付けられた URL のみをクロールします。

「robot.txt」のルールをカスタマイズする

Applebot は、Applebot を対象としている一般的な検索クロールの標準的な「robots.txt」ディレクティブに従います。以下の例では、Applebot は「/private/」や「/not-allowed/」の下位にある書類はクローリングしません。

User-agent: Applebot Allow: / Disallow: /private/ User-agent: * Disallow: /not-allowed/

robots の制御指示で Applebot には言及していなくても Googlebot について指定されている場合、Apple のロボットは Googlebot に対する指示に従います。

レンダリングと robots のルール

Applebot はブラウザ内で Web サイトのコンテンツをレンダリングする場合があります。javascript、CSS、その他のリソースが「robots.txt」でブロックされている場合は、コンテンツを適切にレンダリングできない場合があります。これには、ページで必要とされる可能性がある XHR、JS、CSS なども該当します。

Applebot でページのコンテンツが適切にインデックス化されるようにするには、ユーザがページをレンダリングするために必要な情報をすべて Applebot でも利用できるようにしておいてください。または、リソースがすべて利用できない状態であっても、Web サイトが滞りなくレンダリングされるようにしておきましょう。これはよく「グレースフルデグレーション」と呼ばれる手法です。

Applebot に対するインデックス化のルールをカスタマイズする

Applebot は、HTML 書類の robots meta タグに対応しています。メタタグに robots のルールを指定するには、以下のように、書類の

... ...

Applebot は以下のディレクティブにも対応しています。

• noindex：このページは Applebot でインデックス化されないため、Spotlight や Siri の検索候補にも表示されません。

• nosnippet：Appletbot は、このページの説明 (スニペット) を生成しません。

• nofollow：Applebot は、このページ上のリンクをたどりません。

• none：Applebot は、上記の通り、ページをインデックス化せず、スニペットを生成せず、ページ上のリンクをたどりません。

• all：Applebot はこの書類を提案に使い、コンテンツのスニペットを生成するため、ページの簡単な説明が、ページを表す画像の横に表示されます。

1 つのメタタグに複数のディレクティブを指定するには、カンマ区切りのリスト形式で指定するか、メタタグを複数使います。

例

データ使用方法の制御

すべての robots.txt のルールとディレクティブに従うことに加えて、Apple にはセカンダリユーザエージェントである Applebot-Extended があり、Web サイトのコンテンツを Apple が使用する方法について、Web パブリッシャーがさらに細かく制御できます。

Applebot-Extended を使用すると、Web パブリッシャーは、Apple Intelligence、修理サービス、デベロッパツールなど、Apple 製品全体の生成 AI 機能を強化しながら Apple の基盤モデルをトレーニングするために使用される Web サイトのコンテンツをオプトアウトできます。

次のように、robots.txt にルールを追加して、Applebot-Extended を許可しないように設定することができます。

User-agent: Applebot-Extended Disallow: /private/

Applebot-Extended は Web ページをクロールしません。Applebot-Extended を許可しない Web ページは、引き続き検索結果に含めることができます。Applebot-Extended は、Applebot ユーザエージェントによってクロールされたデータの使用方法を決定するためにのみ使用されます。

Applebot-Extended を許可すると、Apple の生成 AI モデルの機能と品質が、時間の経過とともに向上します。

検索ランキングについて

Apple の検索では、Web の検索結果にランク付けをする際、以下の要因を考慮に入れています。

• 検索結果に対するユーザエンゲージメントの集計

• 検索語と Web ページのトピックやコンテンツとの関連度やマッチング

• Web 上のほかのページからのリンクの数や質

• ユーザの位置情報に基づくシグナル (近似データ)

• Web ページのデザインの特徴

検索結果には、上記の要因が加味される場合がありますが、ランキングにおける重要度はあらかじめ決められてはいません。検索機能の利用には、「Siri からの提案、検索とプライバシー」のプライバシーポリシーが適用されます。

お問い合わせ

ご質問やご不明な点がございましたら、applebot@apple.com までお問い合わせください。