O Applebot é o web crawler da Apple. Ele é utilizado por recursos como as sugestões da Siri e do Spotlight.
Como identificar o Applebot
O tráfego proveniente do Applebot é identificado pelo agente de usuário dele, e o DNS reverso mostra-o no domínio *.applebot.apple.com, originário do bloco de rede 17.0.0.0.
Como verificar se o tráfego é do Applebot
No macOS, o comando host pode ser usado para determinar se um endereço IP faz parte do Applebot. Estes exemplos mostram o comando host e seu resultado:
$ host 17.58.101.179 179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.
O comando host também pode ser usado para verificar se o DNS aponta para o mesmo endereço IP:
$ host 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com has address 17.58.101.179.
Como verificar o agente de usuário Applebot
A string user-agent contém "Applebot" e outras informações. Este é o formato:
Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko) Version/Safari_version Safari/WebKit_version (Applebot/Applebot_version)
Exemplos para computadores de mesa:
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1)
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/12.1.1 Safari/605.1.15 (Applebot/0.1)
Exemplos para celular:
Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B410 Safari/600.1.4 (Applebot/0.1; +http://www.apple.com/go/applebot)
Mozilla/5.0 (iPhone; CPU iPhone OS 13_4_1 like Mac OS X) AppleWebKit/605.1.15Z (KHTML, like Gecko) Version/13.1 Mobile/15E148 Safari/604.1 (Applebot/0.1)
Como personalizar regras robot.txt
O Applebot respeita as diretivas padrão do arquivo robots.txt direcionadas a ele. Neste exemplo, o Applebot não tenta rastrear documentos incluídos em /private/ ou /not-allowed/:
User-agent: Applebot # apple Allow: / # Allow everything (also true if omitted) Disallow: /private/ # disallow this directory
User-agent: * # any robot Disallow: /not-allowed/ # disallow this directory
Se as instruções do robots não mencionarem o Applebot, mas mencionarem o Googlebot, o robô da Apple seguirá as instruções do Googlebot.
Regras de renderização e robô
O Applebot pode renderizar o conteúdo do site em um navegador. Se javascript, CSS e outros recursos estiverem bloqueados via robots.txt, talvez não seja possível renderizar o conteúdo corretamente. Isso inclui XHR, JS e CSS que a página pode exigir.
Para que o Applebot indexe o melhor conteúdo para a página, verifique se tudo o que é necessário para o usuário renderizar a página está disponível para o Applebot. Como alternativa, verifique se o site é renderizado de maneira limpa, mesmo que os recursos não estejam disponíveis. Isso geralmente é chamado de degradação graciosa.
Como personalizar regras de indexação para Applebot
O Applebot é compatível com meta tags robots em documentos HTML. Para especificar regras robots em meta tags, coloque as tags na seção <head> do documento, da seguinte forma:
<html><head> <meta name="robots" content="noindex"/> ... </head> <body>...</body> </html>
O Applebot também é compatível com as seguintes diretivas:
- noindex: o Applebot não indexa a página, e ela não aparece nas sugestões do Spotlight ou da Siri.
- nosnippet: o Applebot não gera uma descrição ou resposta da Internet para a página. Todas as sugestões para acessar esse URL incluirão apenas o título da página.
- nofollow: o Applebot não segue nenhum link na página.
- none: o Applebot não indexa, obtém trechos ou segue os links na página, conforme descrito acima.
- all: o Applebot fornece o documento nas sugestões e obtém trechos do conteúdo para apresentar uma breve descrição da página ao lado de uma imagem representativa. O Applebot pode seguir os links na página para fornecer mais sugestões.
Para inserir diversas diretivas em uma única meta tag, separe-as por vírgula ou insira diversas meta tags. Exemplos:
<meta name="robots" content="nosnippet, noindex”>
<meta name="robots" content=“noindex">
<meta name="robots" content=“nosnippet">
Sobre classificações de busca
O Apple Search pode levar estas informações em consideração ao classificar os resultados da busca na web:
- Envolvimento agregado do usuário com os resultados da busca
- Relevância e correspondência dos termos da busca com os tópicos e o conteúdo da página da web
- Número e qualidade dos links de outras páginas na web
- Sinais baseados na localização do usuário (dados aproximados)
- Características de design da página na web
Os resultados da busca podem usar os fatores acima sem importância (predefinida) da classificação. Os usuários da busca estão sujeitos à política de privacidade em Sugestões da Siri, Busca e Privacidade.
Entrar em contato conosco
Caso você tenha perguntas ou dúvidas, entre em contato conosco pelo e-mail applebot@apple.com.