O Applebot é o web crawler da Apple. Ele é utilizado por recursos como as sugestões da Siri e do Spotlight. Ele respeita as regras padrão do arquivo robots.txt e as meta tags robots e é originado no bloco de rede 17.0.0.0.
Identificar o Applebot
A string user-agent contém "Applebot" e as informações adicionais do agente. Veja um exemplo:
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1)
Personalizar as regras do Applebot
O Applebot respeita as diretivas padrão do arquivo robots.txt direcionadas a ele. Neste exemplo, o Applebot não tenta rastrear documentos incluídos em /private/ ou /not-allowed/:
User-agent: Applebot # apple Disallow: /private/ # disallow this directory
User-agent: * # any robot Disallow: /not-allowed/ # disallow this directory
O Applebot é compatível com meta tags robots em documentos HTML. Para especificar regras robots em meta tags, coloque as tags na seção <head> do documento, da seguinte forma:
<html><head> <meta name="robots" content="noindex"/> ... </head> <body>...</body> </html>
O Applebot também é compatível com as seguintes diretivas:
- noindex: o Applebot não indexa a página, e ela não aparece nas sugestões do Spotlight ou da Siri.
- nosnippet: o Applebot não gera uma descrição ou resposta da Internet para a página. Todas as sugestões para acessar esse URL incluirão apenas o título da página.
- nofollow: o Applebot não segue os links na página.
- none: o Applebot não indexa, obtém trechos ou segue os links na página, conforme descrito acima.
- all: o Applebot fornece o documento nas sugestões e obtém trechos do conteúdo para apresentar uma breve descrição da página ao lado de uma imagem representativa. O Applebot pode seguir os links na página para fornecer mais sugestões.
Para inserir diversas diretivas em uma única meta tag, separe-as por vírgula ou insira diversas meta tags. Veja alguns exemplos:
<meta name="robots" content="nosnippet, noindex”>
E:
<meta name="robots" content=“noindex"> <meta name="robots" content=“nosnippet">
Entrar em contato conosco
Em caso de dúvidas ou preocupações, entre em contato conosco pelo e-mail applebot@apple.com.