Acerca do Applebot

Saiba mais sobre o Applebot, o rastreador web para a Apple.

Os dados indexados pelo Applebot são utilizados para várias funcionalidades, como a tecnologia de pesquisa integrada em muitas experiências do utilizador no ecossistema da Apple, incluindo o Spotlight, a Siri e o Safari. A ativação do Applebot em robots.txt permite que o conteúdo do site apareça nos resultados da pesquisa dos utilizadores da Apple em todo o mundo nestes produtos.

Os dados rastreados pelo Applebot também podem ser utilizados para ajudar a treinar modelos básicos da Apple que promovem funcionalidades de IA generativa em produtos Apple, incluindo Apple Intelligence, serviços e ferramentas para programadores. Os editores web podem optar por não permitir que o seu conteúdo seja utilizado para treinar modelos básicos generativos, bloqueando o Applebot-Extended no ficheiro robots.txt.

Os dados rastreados pelo Applebot podem ser utilizados para fornecer contexto adicional e conteúdo atualizado quando os modelos de IA são utilizados para gerar resultados apresentados em produtos e serviços Apple. Por exemplo, responder a perguntas abrangentes sobre conhecimento geral na Siri e na Pesquisa, que podem incluir ligações para fontes e sites utilizados para ajudar a gerar a resposta. Os editores Web podem optar por não permitir que os respetivos conteúdos sejam utilizados nestas respostas de conhecimento geral, aplicando a meta tag nosnippet a conteúdos específicos.

Mesmo que não permita o Applebot-Extended e marque o conteúdo do site com a meta tag nosnippet, as instruções do site poderão ainda permitir que o Applebot rastreie as suas páginas web. Os seus conteúdos continuarão a poder ser descobertos através do Spotlight, da Siri e do Safari, bem como de outras funcionalidades a nível do sistema em dispositivos Apple.

Identificar o Applebot

O tráfego proveniente do Applebot é geralmente identificado através da utilização de DNS inverso no domínio *.applebot.apple.com.

Outra forma é combinar o endereço IP com um prefixo CIDR contido no seguinte ficheiro JSON: CIDR de IP do Applebot.

DNS inverso

O comando host pode ser utilizado para determinar se um endereço IP faz parte do Applebot. Estes exemplos mostram o comando host e o respetivo resultado:

$ host 17-58-101-179.applebot.apple.com

17-58-101-179.applebot.apple.com tem o endereço 17.58.101.179.

O comando host também pode ser utilizado para verificar se o DNS aponta para o mesmo endereço IP:

$ host 17.58.101.179

179.101.58.17.in-addr.arpa apontador de nome do domínio 17-58-101-179.applebot.apple.com.

Agentes de utilizador

Um agente de utilizador ajuda os webmasters a identificarem o tráfego de rastreadores, para que possam obter relatórios de registo de acesso precisos da atividade de rastreadores e controlar o acesso ao site através de robots.txt.

O Applebot suporta vários agentes de utilizador, incluindo agentes de Pesquisa e Podcasts.

Pesquisa

Para rastreamento e processamento de pesquisas na web, o Applebot utiliza o seguinte formato:

A cadeia do agente de utilizador contém "Applebot" e outras informações. O formato geral é o seguinte:

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Exemplo para computadores:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15(KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

Exemplo para telemóveis:

Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

Ocasionalmente, o Applebot irá atualizar a versão do navegador que anuncia, mantendo simultaneamente o formato geral indicado acima.

Rastreadores especiais

Propriedades online da Apple

O tráfego iTMS pode ser proveniente de hosts applebot.apple.com e será identificado pelo seguinte agente de utilizador:

User-Agent: iTMS

O agente de utilizador iTMS não segue o ficheiro robots.txt, uma vez que não é um rastreador de pesquisa geral. O agente de utilizador iTMS apenas rastreia os URL associados a conteúdo registado no Apple Podcasts.

Personalizar as regras de robot.txt

O Applebot respeita as diretivas padrão de robots.txt em rastreamentos de pesquisa gerais direcionados para o Applebot. Neste exemplo, o Applebot não tenta rastrear documentos que estão sob /private/ ou /not-allowed/:

User-agent: Applebot

Allow: /

Disallow: /private/

User-agent: *

Disallow: /not-allowed/

Se as instruções dos robôs não mencionarem o Applebot mas o Googlebot, o robô da Apple irá seguir as instruções do Googlebot. O Applebot não segue crawl-delay.

O Applebot foi concebido para ser eficiente e ajusta-se para minimizar o impacto nos proprietários dos sites. Por exemplo, para evitar sobrecarregar os servidores do site, a taxa de rastreio do Applebot ajusta-se automaticamente quando um site fica lento ou devolve erros. A Apple também coloca em cache o conteúdo rastreado para reduzir o rastreio desnecessário. A identificação de conteúdos que não precisam de ser rastreados reduz os custos de infraestrutura para os proprietários dos sites e, de modo geral, torna a Internet mais eficiente.

Processamento e regras do robô

O Applebot pode processar o conteúdo do seu site num browser. Se javascript, CSS e outros recursos forem bloqueados através de robots.txt, poderá não ser possível processar o conteúdo corretamente. Isto inclui XHR, JS e CSS de que a página possa necessitar.

Para que o Applebot possa indexar o melhor conteúdo para a página, certifique-se de que tudo o que é necessário para que um utilizador processe a página está disponível para o Applebot. Em alternativa, certifique-se de que o site é corretamente processado, mesmo que nem todos os recursos estejam disponíveis. Isto é frequentemente designado por uma degradação graciosa.

Personalizar regras de indexação para o Applebot

O Applebot suporta meta tags para robôs em documentos HTML. Para especificar regras de robôs em meta tags, coloque as tags na secção <head> do documento:

<html>

<head>

<meta name="robots" content="noindex"/>

...

</head>

<body>...</body>

</html>

O Applebot também suporta as seguintes diretivas:

• noindex: o Applebot não irá indexar esta página e não aparecerá nas Sugestões do Spotlight ou da Siri.

• nosnippet: o Applebot não irá gerar uma descrição ou resposta Web para a página. Quaisquer sugestões para visitar este URL incluirão apenas o título da página. A Apple não utilizará dados com a etiqueta nosnippet como contexto adicional e conteúdo atualizado quando os modelos de IA forem utilizados para gerar resultados apresentados em produtos e serviços Apple.

• nofollow: o Applebot não irá seguir quaisquer ligações na página.

• none: o Applebot não irá indexar, retirar excertos nem seguir ligações na página, como descrito acima.

• all: o Applebot fornece o documento para sugestões e irá retirar excertos dos conteúdos para que uma breve descrição da página possa ser apresentada junto de uma imagem representativa. O Applebot poderá seguir ligações na página para fornecer mais sugestões.

Para colocar várias diretivas numa única meta tag, utilize uma lista separada por vírgulas ou várias meta tags.

Exemplo:

<meta name="robots" content="nosnippet, noindex”>

<meta name="robots" content=“noindex">

<meta name="robots" content=“nosnippet">

<meta name="applebot" content=“nosnippet">

Utilizar o cabeçalho HTTP X-Robots-Tag

O Applebot também suporta diretivas de indexação fornecidas através do cabeçalho de resposta HTTP X-Robots-Tag. Isto é útil para recursos não HTML (como ficheiros PDF ou imagens), em que as meta tags não podem ser utilizadas, ou quando pretende aplicar diretivas ao nível do servidor. Para aplicar uma diretiva ao Applebot:

X-Robots-Tag: applebot: nosnippet

Marcar conteúdos protegidos por acesso pago

O Applebot suporta a propriedade schema.org isAccessibleForFree para identificar páginas que têm acesso pago, acesso medido ou subscrição. Adicione a propriedade aos dados estruturados ao nível da página em JSON-LD:

<script type="application/ld+json">

{

"@context": "https://schema.org",

"isAccessibleForFree": false

}

</script>

As páginas com a etiqueta isAccessibleForFree: false são elegíveis para aparecer nos resultados de pesquisa, mas o Applebot não utilizará esse conteúdo como contexto adicional quando modelos de IA forem utilizados para gerar conteúdo apresentado em produtos e serviços Apple. Este sinal aplica-se ao nível da página. A marcação ao nível da secção com hasPart não é suportada. Para optar por não permitir que os seus conteúdos sejam utilizados para treinar os modelos fundamentais da Apple, utilize o Applebot-Extended descrito na secção seguinte.

Applebot-Extended e o controlo da utilização de dados

Além de seguir todas as regras e diretivas de robots.txt, a Apple tem um agente de utilizador secundário, o Applebot-Extended, que dá aos editores web controlos adicionais sobre a forma como o conteúdo dos respetivos sites pode ser utilizado pela Apple.

Com o Applebot-Extended, os editores web podem optar por não permitir que o conteúdo dos respetivos sites seja utilizado para treinar os modelos básicos de utilização geral da Apple que suportam funcionalidades de IA generativa em todos os produtos Apple, incluindo a Apple Intelligence, os Serviços e as Ferramentas para programadores.

Pode adicionar uma regra em robots.txt para não permitir o Applebot-Extended, da seguinte forma:

User-agent: Applebot-Extended

Disallow: /private/

O Applebot-Extended não efetua o rastreamento de páginas web. As páginas web que não permitem o Applebot-Extended ainda podem ser incluídas nos resultados da pesquisa. O Applebot-Extended é utilizado apenas para determinar como são utilizados os dados rastreados pelo agente de utilizador do Applebot.

Permitir o Applebot-Extended ajudará a melhorar as capacidades e a qualidade dos modelos de IA generativa da Apple ao longo do tempo.

Acerca das classificações de pesquisa

A Pesquisa da Apple pode tomar os fatores seguintes em consideração ao classificar os resultados da pesquisa na web:

• Envolvimento do utilizador agregado com os resultados da pesquisa

• Relevância e correspondência dos termos da pesquisa com tópicos e conteúdos de páginas web

• Número e qualidade das ligações de outras páginas na web

• Sinais baseados na localização do utilizador (dados aproximados)

• Características do design da página Web

Os resultados da pesquisa podem utilizar os fatores acima mencionados sem importância (pré-determinada) de classificação. Os utilizadores da Pesquisa estão sujeitos à política de privacidade em Sugestões de Siri, Pesquisa e Privacidade.

Contacte-nos

Se tiver perguntas ou preocupações, contacte-nos através do endereço de e-mail applebot@apple.com.