O Applebot é o rastreador web para a Apple. Produtos como as Sugestões do Spotlight e do Siri utilizam o Applebot.
Identificar o Applebot
O tráfego do Applebot é identificado pelo respetivo agente de utilizador e o DNS inverso mostra-o no domínio *.applebot.apple.com, com origem no bloco de rede 17.0.0.0.
Verificar se o tráfego é proveniente do Applebot
No macOS, o comando do host pode ser utilizado para determinar se um endereço IP faz parte do Applebot. Estes exemplos mostram o comando do host e o respetivo resultado:
$ host 17.58.101.179 179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.
O comando do host também pode ser utilizado para verificar se o DNS aponta para o mesmo endereço IP:
$ host 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com has address 17.58.101.179.
Verificar o agente de utilizador do Applebot
A cadeia do agente de utilizador contém "Applebot" e outras informações. Este é o formato:
Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko) Version/Safari_version Safari/WebKit_version (Applebot/Applebot_version)
Exemplos para computador de secretária:
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1)
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/12.1.1 Safari/605.1.15 (Applebot/0.1)
Exemplos para telemóvel:
Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B410 Safari/600.1.4 (Applebot/0.1; +http://www.apple.com/go/applebot)
Mozilla/5.0 (iPhone; CPU iPhone OS 13_4_1 like Mac OS X) AppleWebKit/605.1.15Z (KHTML, like Gecko) Version/13.1 Mobile/15E148 Safari/604.1 (Applebot/0.1)
Personalizar regras de robot.txt
O Applebot respeita as diretivas padrão do ficheiro robots.txt que são direcionadas para o Applebot. Neste exemplo, o Applebot não tenta rastrear documentos que estão sob /private/ ou /not-allowed/:
User-agent: Applebot # apple Allow: / # Allow everything (also true if omitted) Disallow: /private/ # disallow this directory
User-agent: * # any robot Disallow: /not-allowed/ # disallow this directory
Se as instruções dos robôs não mencionarem o Applebot mas sim o Googlebot, o robô da Apple irá seguir as instruções do Googlebot.
Processamento e regras do robô
O Applebot pode processar o conteúdo do seu site num browser. Se javascript, CSS e outros recursos forem bloqueados através de robots.txt, poderá não ser possível processar o conteúdo corretamente. Isto inclui XHR, JS e CSS de que a página possa necessitar.
Para que o Applebot possa indexar o melhor conteúdo para a página, certifique-se de que tudo o que é necessário para que um utilizador processe a página está disponível para o Applebot. Em alternativa, certifique-se de que o site é corretamente processado, mesmo que nem todos os recursos estejam disponíveis. Isto é frequentemente designado por uma degradação graciosa.
Personalizar regras de indexação para o Applebot
O Applebot suporta meta tags para robôs em documentos HTML. Para especificar regras de robôs em meta tags, coloque as tags na secção <head> do documento, como apresentado:
<html><head> <meta name="robots" content="noindex"/> ... </head> <body>...</body> </html>
O Applebot também suporta as seguintes diretivas:
- noindex: o Applebot não irá indexar esta página e não aparecerá nas Sugestões do Spotlight ou da Siri.
- nosnippet: o Applebot não irá gerar uma descrição ou resposta Web para a página. Quaisquer sugestões para visitar este URL incluirão apenas o título da página.
- nofollow: o Applebot não irá seguir quaisquer ligações na página.
- none: o Applebot não irá indexar, retirar excertos nem seguir ligações na página, como descrito acima.
- all: o Applebot fornece o documento para sugestões e irá retirar excertos dos conteúdos para que uma breve descrição da página possa ser apresentada junto de uma imagem representativa. O Applebot poderá seguir ligações na página para fornecer mais sugestões.
Para colocar várias diretivas numa única meta tag, utilize uma lista separada por vírgulas ou várias meta tags. Exemplos:
<meta name="robots" content="nosnippet, noindex”>
<meta name="robots" content=“noindex">
<meta name="robots" content=“nosnippet">
Acerca das classificações de pesquisa
A Pesquisa da Apple pode ter em conta o seguinte ao classificar os resultados da pesquisa na web:
- Envolvimento do utilizador agregado com os resultados da pesquisa
- Relevância e correspondência dos termos da pesquisa com tópicos e conteúdos de páginas web
- Número e qualidade das ligações de outras páginas na web
- Sinais baseados na localização do utilizador (dados aproximados)
- Características do design da página Web
Os resultados da pesquisa podem utilizar os fatores acima mencionados sem importância (pré-determinada) de classificação. Os utilizadores da Pesquisa estão sujeitos à política de privacidade em Sugestões de Siri, Pesquisa e Privacidade.
Contacte-nos
Se tiver perguntas ou preocupações, contacte-nos através do endereço de e-mail applebot@apple.com.