Acerca do Applebot

Saiba mais sobre o Applebot, o rastreador web para a Apple.

Os dados indexados pelo Applebot são utilizados para várias funcionalidades, como a tecnologia de pesquisa que está integrada em muitas experiências do utilizador no ecossistema da Apple, incluindo o Spotlight, a Siri e o Safari. A ativação do Applebot em robots.txt permite que o conteúdo do site apareça nos resultados da pesquisa dos utilizadores da Apple em todo o mundo nestes produtos.

O Applebot acede a vários tipos de recursos de servidores web, incluindo, sem limitações, robots.txt, mapas do site, feeds RSS, HTML, recursos secundários necessários para processar páginas (como JavaScript), pedidos Ajax, imagens e muito mais.

Identificar o Applebot

O tráfego proveniente do Applebot é geralmente identificado através da utilização de DNS inverso no domínio *.applebot.apple.com.

Outra forma é combinar o endereço IP com um prefixo CIDR contido no seguinte ficheiro JSON: CIDR de IP do Applebot.

DNS inverso

O comando host pode ser utilizado para determinar se um endereço IP faz parte do Applebot. Estes exemplos mostram o comando host e o respetivo resultado:

$ host 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com has address 17.58.101.179.

O comando host também pode ser utilizado para verificar se o DNS aponta para o mesmo endereço IP:

$ host 17.58.101.179 179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

Agentes de utilizador

Um agente de utilizador ajuda os webmasters a identificarem o tráfego de rastreadores, para que possam obter relatórios de registo de acesso precisos da atividade de rastreadores e controlar o acesso ao site através de robots.txt.

O Applebot suporta vários agentes de utilizador, incluindo agentes de Pesquisa e Podcasts.

Pesquisa

Para rastreamento e processamento de pesquisas na web, o Applebot utiliza o seguinte formato:

A cadeia do agente de utilizador contém "Applebot" e outras informações. O formato geral é o seguinte:

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Exemplo para computadores:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15(KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

Exemplo para telemóveis:

Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

Ocasionalmente, o Applebot irá atualizar a versão do navegador que anuncia, mantendo simultaneamente o formato geral indicado acima.

Apple Podcasts

O tráfego iTMS também pode ser proveniente de hosts applebot.apple.com e será identificado pelo seguinte agente de utilizador:

User-Agent: iTMS

O agente de utilizador iTMS não segue o ficheiro robots.txt, uma vez que não é um rastreador de pesquisa geral. Este agente só rastreia URL associados a conteúdo registado no Apple Podcasts.

Personalizar as regras de robot.txt

O Applebot respeita as diretivas padrão de robots.txt em rastreamentos de pesquisa gerais direcionados para o Applebot. Neste exemplo, o Applebot não tenta rastrear documentos que estão sob /private/ ou /not-allowed/:

User-agent: Applebot Allow: / Disallow: /private/ User-agent: * Disallow: /not-allowed/

Se as instruções dos robôs não mencionarem o Applebot mas sim o Googlebot, o robô da Apple irá seguir as instruções Googlebot.

Processamento e regras do robô

O Applebot pode processar o conteúdo do seu site num browser. Se javascript, CSS e outros recursos forem bloqueados através de robots.txt, poderá não ser possível processar o conteúdo corretamente. Isto inclui XHR, JS e CSS de que a página possa necessitar.

Para que o Applebot possa indexar o melhor conteúdo para a página, certifique-se de que tudo o que é necessário para que um utilizador processe a página está disponível para o Applebot. Em alternativa, certifique-se de que o site é corretamente processado, mesmo que nem todos os recursos estejam disponíveis. Isto é frequentemente designado por uma degradação graciosa.

Personalizar regras de indexação para o Applebot

O Applebot suporta meta tags para robôs em documentos HTML. Para especificar regras de robôs em meta tags, coloque as tags na

... ...

O Applebot também suporta as seguintes diretivas:

• noindex: o Applebot não irá indexar esta página e não aparecerá nas Sugestões do Spotlight ou da Siri.

• nosnippet: o Applebot não irá gerar uma descrição ou resposta Web para a página. Quaisquer sugestões para visitar este URL incluirão apenas o título da página.

• nofollow: o Applebot não irá seguir quaisquer ligações na página.

• none: o Applebot não irá indexar, retirar excertos nem seguir ligações na página, como descrito acima.

• all: o Applebot fornece o documento para sugestões e irá retirar excertos dos conteúdos para que uma breve descrição da página possa ser apresentada junto de uma imagem representativa. O Applebot poderá seguir ligações na página para fornecer mais sugestões.

Para colocar várias diretivas numa única meta tag, utilize uma lista separada por vírgulas ou várias meta tags.

Exemplo:

Controlar a utilização de dados

Além de seguir todas as regras e diretivas de robots.txt, a Apple tem um agente de utilizador secundário, o Applebot-Extended, que dá aos editores web controlos adicionais sobre a forma como o conteúdo dos respetivos sites pode ser utilizado pela Apple.

Com o Applebot-Extended, os editores web podem optar por não permitir que o conteúdo dos respetivos sites seja utilizado para treinar os modelos básicos da Apple utilizados por funcionalidades de IA generativa nos produtos Apple, incluindo o Apple Intelligence, Serviços e Ferramentas para programadores.

Pode adicionar uma regra em robots.txt para não permitir o Applebot-Extended, da seguinte forma:

User-agent: Applebot-Extended Disallow: /private/

O Applebot-Extended não efetua o rastreamento de páginas web. As páginas web que não permitem o Applebot-Extended ainda podem ser incluídas nos resultados da pesquisa. O Applebot-Extended é utilizado apenas para determinar como são utilizados os dados rastreados pelo agente de utilizador do Applebot.

Permitir o Applebot-Extended ajudará a melhorar as capacidades e a qualidade dos modelos de IA generativa da Apple ao longo do tempo.

Acerca das classificações de pesquisa

A Pesquisa da Apple pode tomar os fatores seguintes em consideração ao classificar os resultados da pesquisa na web:

• Envolvimento do utilizador agregado com os resultados da pesquisa

• Relevância e correspondência dos termos da pesquisa com tópicos e conteúdos de páginas web

• Número e qualidade das ligações de outras páginas na web

• Sinais baseados na localização do utilizador (dados aproximados)

• Características do design da página Web

Os resultados da pesquisa podem utilizar os fatores acima mencionados sem importância (pré-determinada) de classificação. Os utilizadores da Pesquisa estão sujeitos à política de privacidade em Sugestões de Siri, Pesquisa e Privacidade.

Contacte-nos

Se tiver perguntas ou preocupações, contacte-nos através do endereço de e-mail applebot@apple.com.