Sobre o Applebot
O Applebot é o web crawler da Apple. Ele é utilizado por recursos como as sugestões da Siri e do Spotlight.
Como identificar o Applebot
O tráfego proveniente do Applebot é identificado pelo agente de usuário dele, e o DNS reverso mostra-o no domínio *.applebot.apple.com, originário do bloco de rede 17.0.0.0.
Como verificar se o tráfego é do Applebot
No macOS, o comando host pode ser usado para determinar se um endereço IP faz parte do Applebot. Estes exemplos mostram o comando host e seu resultado:
$ host 17.58.101.179 179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.
O comando host também pode ser usado para verificar se o DNS aponta para o mesmo endereço IP:
$ host 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com has address 17.58.101.179.
Como verificar o agente de usuário Applebot
A string user-agent contém "Applebot" e outras informações. Este é o formato:
Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko) Version/Safari_version Safari/WebKit_version (Applebot/Applebot_version)
Exemplos para computadores de mesa:
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1) Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/12.1.1 Safari/605.1.15 (Applebot/0.1)
Exemplos para celular:
Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B410 Safari/600.1.4 (Applebot/0.1; +http://www.apple.com/go/applebot) Mozilla/5.0 (iPhone; CPU iPhone OS 13_4_1 like Mac OS X) AppleWebKit/605.1.15Z (KHTML, like Gecko) Version/13.1 Mobile/15E148 Safari/604.1 (Applebot/0.1)
Como personalizar regras robot.txt
O Applebot respeita as diretivas padrão do arquivo robots.txt direcionadas a ele. Neste exemplo, o Applebot não tenta rastrear documentos incluídos em /private/ ou /not-allowed/:
User-agent: Applebot # apple Allow: / # Allow everything (also true if omitted) Disallow: /private/ # disallow this directory User-agent: * # any robot Disallow: /not-allowed/ # disallow this directory
Se as instruções do robots não mencionarem o Applebot, mas mencionarem o Googlebot, o robô da Apple seguirá as instruções do Googlebot.
Regras de renderização e robô
O Applebot pode renderizar o conteúdo do site em um navegador. Se javascript, CSS e outros recursos estiverem bloqueados via robots.txt, talvez não seja possível renderizar o conteúdo corretamente. Isso inclui XHR, JS e CSS que a página pode exigir.
Para que o Applebot indexe o melhor conteúdo para a página, verifique se tudo o que é necessário para o usuário renderizar a página está disponível para o Applebot. Como alternativa, verifique se o site é renderizado de maneira limpa, mesmo que os recursos não estejam disponíveis. Isso geralmente é chamado de degradação graciosa.
Como personalizar regras de indexação para Applebot
O Applebot é compatível com meta tags robots em documentos HTML. Para especificar regras robots em meta tags, coloque as tags na seção
... ...
O Applebot também é compatível com as seguintes diretivas:
noindex: o Applebot não indexa a página, e ela não aparece nas sugestões do Spotlight ou da Siri.
nosnippet: o Applebot não gera uma descrição ou resposta da Internet para a página.
nofollow: o Applebot não segue nenhum link na página.
none: o Applebot não indexa, obtém trechos ou segue os links na página, conforme descrito acima.
all: o Applebot fornece o documento nas sugestões e obtém trechos do conteúdo para apresentar uma breve descrição da página ao lado de uma imagem representativa.
Para inserir diversas diretivas em uma única meta tag, separe-as por vírgula ou insira diversas meta tags.
Exemplos:
Sobre classificações de busca
O Apple Search pode levar estas informações em consideração ao classificar os resultados da busca na web:
Envolvimento agregado do usuário com os resultados da busca
Relevância e correspondência dos termos da busca com os tópicos e o conteúdo da página da web
Número e qualidade dos links de outras páginas na web
Sinais baseados na localização do usuário (dados aproximados)
Características de design da página na web
Os resultados da busca podem usar os fatores acima sem importância (predefinida) da classificação. Os usuários da busca estão sujeitos à política de privacidade em Sugestões da Siri, Busca e Privacidade.
Entre em contato conosco
Caso você tenha perguntas ou dúvidas, entre em contato conosco pelo e-mail applebot@apple.com.
As informações sobre produtos não fabricados pela Apple ou sobre sites independentes não controlados nem testados pela Apple são fornecidas sem recomendação ou aprovação. A Apple não assume responsabilidade alguma com relação à escolha, ao desempenho ou ao uso de sites ou produtos de terceiros. A Apple não garante a precisão nem a confiabilidade de sites de terceiros. Entre em contato com o fornecedor para mais informações.