Applebot は、Apple の Web クローラーです。Siri や Spotlight 検索候補などの製品は、Applebot を利用しています。
Applebot を確認する
Applebot からの着信トラフィックはユーザエージェントで区別でき、逆引き DNS で調べると、*.applebot.apple.com ドメインに属していて、17.0.0.0 ネットブロックが発信元であることがわかります。
Applebot からのトラフィックを確認する
macOS では、host コマンドを使って、IP アドレスが Applebot のものかどうかを判断できます。以下の例は、host コマンドとその結果です。
$ host 17.58.101.179 179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.
host コマンドを使って、DNS が同じ IP アドレスを参照しているか確かめることもできます。
$ host 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com has address 17.58.101.179.
Applebot ユーザエージェントを確認する
user-agent 文字列には「Applebot」とその他の情報が含まれています。フォーマットは以下の通りです。
Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko) Version/Safari_version Safari/WebKit_version (Applebot/Applebot_version)
デスクトップの場合の例：
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1)
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/12.1.1 Safari/605.1.15 (Applebot/0.1)
モバイルの場合の例：
Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B410 Safari/600.1.4 (Applebot/0.1; +http://www.apple.com/go/applebot)
Mozilla/5.0 (iPhone; CPU iPhone OS 13_4_1 like Mac OS X) AppleWebKit/605.1.15Z (KHTML, like Gecko) Version/13.1 Mobile/15E148 Safari/604.1 (Applebot/0.1)
「robot.txt」のルールをカスタマイズする
Applebot は、Applebot を対象とした「robots.txt」の標準的なディレクティブに従います。以下の例では、Applebot は「/private/」や「/not-allowed/」の下位にある書類はクローリングしません。
User-agent: Applebot # apple Allow: / # Allow everything (also true if omitted) Disallow: /private/ # disallow this directory
User-agent: * # any robot Disallow: /not-allowed/ # disallow this directory
robots の制御指示で Applebot には言及していなくても Googlebot について指定されている場合、Apple のロボットは Googlebot に対する指示に従います。
レンダリングと robots のルール
Applebot はブラウザ内で Web サイトのコンテンツをレンダリングする場合があります。javascript、CSS、その他のリソースが「robots.txt」でブロックされている場合は、コンテンツを適切にレンダリングできない場合があります。これには、ページで必要とされる可能性がある XHR、JS、CSS なども該当します。
Applebot でページのコンテンツが適切にインデックス化されるようにするには、ユーザがページをレンダリングするために必要な情報をすべて Applebot でも利用できるようにしておいてください。または、リソースがすべて利用できない状態であっても、Web サイトが滞りなくレンダリングされるようにしておきましょう。これはよく「グレースフルデグレーション」と呼ばれる手法です。
Applebot に対するインデックス化のルールをカスタマイズする
Applebot は、HTML 書類の robots meta タグに対応しています。メタタグに robots のルールを指定するには、以下のように、書類の <head> セクションにタグを追加します。
<html><head> <meta name="robots" content="noindex"/> ... </head> <body>...</body> </html>
Applebot は以下のディレクティブにも対応しています。
- noindex：このページは Applebot でインデックス化されないため、Spotlight や Siri の検索候補にも表示されません。
- nosnippet：Appletbot は、このページの説明 (スニペット) を生成しません。この URL が閲覧候補として提示される際も、ページのタイトルしか表示されません。
- nofollow：Applebot は、このページ上のリンクをたどりません。
- none：Applebot は、上記の通り、ページをインデックス化せず、スニペットを生成せず、ページ上のリンクをたどりません。
- all：Applebot はこの書類を提案に使い、コンテンツのスニペットを生成するため、ページの簡単な説明が、ページを表す画像の横に表示されます。Applebot はページ上のリンクをたどり、さらに候補を提示する場合があります。
1 つのメタタグに複数のディレクティブを指定するには、カンマ区切りのリスト形式で指定するか、メタタグを複数使います。以下に例を紹介します。
<meta name="robots" content="nosnippet, noindex”>
<meta name="robots" content=“noindex">
<meta name="robots" content=“nosnippet">
検索ランキングについて
Apple の検索では、Web の検索結果にランク付けをする際、以下の点を考慮に入れています。
- 検索結果に対するユーザエンゲージメントの集計
- 検索語と Web ページのトピックやコンテンツとの関連度やマッチング
- Web 上のほかのページからのリンクの数や質
- ユーザの位置情報に基づくシグナル (近似データ)
- Web ページのデザインの特徴
検索結果には、上記の要因が加味される場合がありますが、ランキングにおける重要度はあらかじめ決められてはいません。検索機能の利用には、「Siriからの提案、検索とプライバシー」のプライバシーポリシーが適用されます。
Apple サポートに問い合わせる
ご質問やご不明な点がございましたら、applebot@apple.com までお問い合わせください。