Sobre o Applebot

Saiba mais sobre o Applebot, o web crawler da Apple.

Os dados rastreados pelo Applebot são usados para viabilizar vários recursos, como a tecnologia de busca integrada a muitas experiências do usuário no ecossistema da Apple, inclusive Spotlight, Siri e Safari. A ativação do Applebot em robots.txt permite que o conteúdo do site apareça nos resultados de busca desses produtos para usuários da Apple em todo o mundo.

Os dados coletados pelo Applebot também podem ser usados para ajudar a treinar modelos de base da Apple que alimentam recursos de IA generativa em produtos da Apple, incluindo Apple Intelligence, serviços e ferramentas para desenvolvedores. Os editores da web podem impedir que seu conteúdo seja usado para treinar modelos de base generativos, bloqueando o Applebot-Extended no arquivo robots.txt.

Os dados coletados pelo Applebot podem ser usados para fornecer contexto adicional e conteúdo atualizado quando modelos de IA são usados para gerar saída para exibição em produtos e serviços Apple. Por exemplo, responder a perguntas gerais sobre o mundo na Siri e na Busca, que podem incluir links para fontes e sites usados para ajudar a gerar a resposta. Os editores da web podem optar por não ter seu conteúdo usado nessas respostas amplas de conhecimento mundial aplicando a meta tag nosnippet ao conteúdo específico.

Mesmo que você não permita o Applebot-Extended e marque o conteúdo do site com a meta tag nosnippet, as instruções do site ainda podem permitir que o Applebot rastreie suas páginas da web. O conteúdo continuará podendo ser encontrado por meio do Spotlight, Siri e Safari, bem como de outros recursos do sistema em dispositivos Apple.

Como identificar o Applebot

O tráfego proveniente do Applebot é geralmente identificado usando DNS reverso no domínio *.applebot.apple.com

Outra maneira é combinar o endereço IP com um prefixo CIDR contido no seguinte arquivo JSON: Applebot IP CIDRs.

DNS reverso

O comando host pode ser usado para determinar se um endereço IP faz parte do Applebot. Estes exemplos mostram o comando host e seu resultado:

$ host 17-58-101-179.applebot.apple.com

17-58-101-179.applebot.apple.com has address 17.58.101.179.

O comando host também pode ser usado para verificar se o DNS aponta para o mesmo endereço IP:

$ host 17.58.101.179

179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

Agentes do usuário

Um agente do usuário ajuda os webmasters a identificar o tráfego de rastreadores para que possam obter relatórios precisos dos logs de acesso relacionados à atividade dos rastreadores e controlar o acesso ao site por meio do robots.txt.

O Applebot é usado por vários agentes de usuário, incluindo Busca e Podcasts.

Buscar

Para rastreamento e renderização de pesquisa na web, o Applebot usa o seguinte formato:

A string user-agent contém "Applebot" e outras informações. O formato geral é o seguinte:

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Exemplo para computador:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

Exemplo para celular:

Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

Ocasionalmente, o Applebot atualizará a versão do navegador que anuncia enquanto permanece no formato geral acima.

Rastreadores especiais

Propriedades online da Apple

O tráfego iTMS também pode ser proveniente de hosts applebot.apple.com e será identificado pelo seguinte agente do usuário:

User-Agent: iTMS

O agente do usuário do iTMS não segue robots.txt, pois não é um rastreador de pesquisa geral. O agente do usuário do iTMS rastreia apenas URLs associados a conteúdo registrado no Apple Podcasts.

Como personalizar regras robot.txt

O Applebot respeita as diretivas padrão do robots.txt em rastreamentos de busca gerais direcionados ao Applebot. Neste exemplo, o Applebot não tenta rastrear documentos incluídos em /private/ ou /not-allowed/:

User-agent: Applebot

Allow: /

Disallow: /private/

User-agent: *

Disallow: /not-allowed/

Se as instruções robots não mencionarem o Applebot, mas mencionarem o Googlebot, o robô da Apple seguirá as instruções do Googlebot. O Applebot não segue crawl-delay.

O Applebot foi projetado para ser eficiente e se ajustará para minimizar o impacto para os proprietários de sites. Por exemplo, para evitar sobrecarregar os servidores do site, a taxa de rastreamento do Applebot é ajustada automaticamente quando um site fica lento ou retorna erros. A Apple também armazena em cache o conteúdo rastreado para reduzir o rastreamento desnecessário. Identificar conteúdo que não precisa ser rastreado reduz os custos de infraestrutura para os proprietários de sites e torna a internet mais eficiente como um todo.

Regras de renderização e robô

O Applebot pode renderizar o conteúdo do site em um navegador. Se javascript, CSS e outros recursos estiverem bloqueados via robots.txt, talvez não seja possível renderizar o conteúdo corretamente. Isso inclui XHR, JS e CSS que a página pode exigir.

Para que o Applebot indexe o melhor conteúdo da página, certifique-se de que tudo o que é necessário para que um usuário visualize a página esteja disponível para o Applebot. Como alternativa, verifique se o site é renderizado de maneira limpa, mesmo que nem todos os recursos estejam disponíveis. Isso geralmente é chamado de degradação graciosa.

Como personalizar regras de indexação para Applebot

O Applebot é compatível com meta tags robots em documentos HTML. Para especificar regras robots em meta tags, coloque as tags na seção <head> do documento:

<html>

<head>

<meta name="robots" content="noindex"/>

...

</head>

<body>...</body>

</html>

O Applebot também é compatível com as seguintes diretivas:

• noindex: o Applebot não indexa a página, e ela não aparece nas sugestões do Spotlight ou da Siri.

• nosnippet: o Applebot não gera uma descrição ou resposta da Internet para a página. Todas as sugestões para acessar esse URL incluirão apenas o título da página. A Apple não usará dados marcados como nosnippet como contexto adicional nem como conteúdo atualizado quando modelos de IA forem usados para gerar conteúdo exibido em produtos e serviços Apple.

• nofollow: o Applebot não segue nenhum link na página.

• none: o Applebot não indexa, obtém trechos ou segue os links na página, conforme descrito acima.

• all: o Applebot fornece o documento nas sugestões e obtém trechos do conteúdo para apresentar uma breve descrição da página ao lado de uma imagem representativa. O Applebot pode seguir os links na página para fornecer mais sugestões.

Para inserir diversas diretivas em uma única meta tag, separe-as por vírgula ou insira diversas meta tags.

Exemplo:

<meta name="robots" content="nosnippet, noindex”>

<meta name="robots" content=“noindex">

<meta name="robots" content=“nosnippet">

<meta name="applebot" content=“nosnippet">

Uso do cabeçalho HTTP X-Robots-Tag

O Applebot também é compatível com diretivas de indexação fornecidas pelo cabeçalho de resposta HTTP X-Robots-Tag. Isso é útil para recursos que não são HTML (como PDFs ou imagens), nos quais meta tags não podem ser usadas, ou quando você deseja aplicar diretivas no nível do servidor. Para aplicar uma diretiva ao Applebot:

X-Robots-Tag: applebot: nosnippet

Marcação de conteúdo com paywall

O Applebot é compatível com o schema.org isAccessibleForFree para identificar páginas atrás de um paywall, acesso medido ou assinatura. Adicione a propriedade aos dados estruturados no nível da página em JSON-LD:

<script type="application/ld+json">

{

"@context": "https://schema.org",

"isAccessibleForFree": false

}

</script>

Páginas marcadas isAccessibleForFree: false podem aparecer nos resultados da pesquisa, mas o Applebot não usará esse conteúdo como contexto adicional quando modelos de IA forem usados para gerar conteúdo a ser exibido em produtos e serviços da Apple. Este sinal se aplica ao nível da página. A marcação no nível da seção usando hasPart não é compatível. Para optar por não ter seu conteúdo usado para treinar os modelos de base da Apple, use o Applebot-Extended descrito na próxima seção.

Applebot-Extended e controle do uso de dados

Além de seguir todas as regras e diretivas do robots.txt, a Apple tem um agente de usuário secundário, Applebot-Extended, que oferece aos editores da web controles adicionais sobre como o conteúdo do site pode ser usado pela Apple.

Com o Applebot-Extended, os editores da web podem optar por não permitir que o conteúdo do site seja usado para treinar os modelos de base para finalidade geral da Apple que alimentam recursos de IA generativa em produtos da Apple, incluindo Apple Intelligence, Serviços e Ferramentas para Desenvolvedores.

Você pode adicionar uma regra a robots.txt para não permitir o Applebot-Extended da seguinte forma:

User-agent: Applebot-Extended

Disallow: /private/

O Applebot-Extended não rastreia páginas da web. Páginas da web que não permitem o Applebot-Extended ainda podem ser incluídas nos resultados da busca. O Applebot-Extended é usado apenas para determinar como usar os dados rastreados pelo agente do usuário do Applebot.

Permitir o Applebot-Extended ajudará a melhorar os recursos e a qualidade dos modelos de IA generativa da Apple ao longo do tempo.

Sobre classificações de busca

O Apple Search pode levar estes fatores em consideração ao classificar os resultados da busca na web:

• Envolvimento agregado do usuário com os resultados da busca

• Relevância e correspondência dos termos da busca com os tópicos e o conteúdo da página da web

• Número e qualidade dos links de outras páginas na web

• Sinais baseados na localização do usuário (dados aproximados)

• Características de design da página na web

Os resultados da busca podem usar os fatores acima sem importância de classificação predefinida. Os usuários da busca estão sujeitos à política de privacidade em Sugestões da Siri, Busca e Privacidade. As regras do site para o Applebot-Extended não são consideradas na classificação da Busca.

Entre em contato conosco

Caso você tenha perguntas ou dúvidas, entre em contato conosco pelo e-mail applebot@apple.com.