Applebot에 관하여

Apple의 웹 크롤러인 Applebot에 대해 알아봅니다.

Applebot이 크롤링한 데이터는 Spotlight, Siri, Safari 등 Apple 생태계의 다양한 사용자 경험에 통합된 검색 기술과 같이 다양한 기능을 실현하는 데 사용됩니다. robots.txt에 Applebot을 활성화하면 이러한 제품에서 전 세계 Apple 사용자의 검색 결과에 웹 사이트 콘텐츠가 표시될 수 있습니다.

Applebot은 robots.txt, 사이트맵, RSS 피드, HTML, 그리고 javascript, Ajax 요청, 이미지 등의 페이지를 렌더링하는 데 필요한 하위 리소스를 포함하여 웹 서버에서 다양한 종류의 리소스에 접근합니다.

Applebot 식별하기

Applebot에서 발생하는 트래픽은 일반적으로 *.applebot.apple.com 도메인의 역방향 DNS를 사용하여 식별됩니다.

또 다른 방법은 IP 주소를 다음 JSON 파일 Applebot IP CIDR에 포함된 CIDR 접두사와 일치하도록 하는 것입니다.

역방향 DNS

호스트 명령을 사용하여 IP 주소가 Applebot의 일부인지 확인할 수 있습니다. 다음 예는 호스트 명령과 그 결과를 보여 줍니다.

$ host 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com has address 17.58.101.179.

호스트 명령을 사용하여 DNS가 동일한 IP 주소를 가리키는지 확인할 수도 있습니다.

$ host 17.58.101.179 179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

사용자 에이전트

사용자 에이전트는 웹마스터가 크롤러 트래픽을 식별하여 크롤러 활동에 대한 정확한 접근 로그 보고서를 얻고 robots.txt를 통해 사이트에 대한 접근을 제어할 수 있도록 도와줍니다.

Applebot은 검색 및 팟캐스트를 비롯한 여러 사용자 에이전트를 지원합니다.

검색

검색 웹 크롤링 및 렌더링의 경우 Applebot은 다음과 같은 형식을 사용합니다.

user-agent 문자열에는 'Applebot' 및 기타 정보가 포함되어 있습니다. 다음은 일반적인 형식입니다.

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

데스크톱의 예:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15(KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

모바일의 예:

Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

경우에 따라 Applebot은 위의 일반적인 형식을 유지하면서 광고하는 브라우저 버전을 업데이트합니다.

Apple Podcasts

또한 iTMS 트래픽은 applebot.apple.com 호스트에서 발생할 수도 있으며 다음 사용자 에이전트에 의해 식별됩니다.

User-Agent: iTMS

iTMS 사용자 에이전트는 일반적인 검색 크롤러가 아니기 때문에 robots.txt를 따르지 않습니다. Apple Podcasts에 등록된 콘텐츠와 관련된 URL만 크롤링합니다.

robot.txt 규칙 사용자화하기

Applebot은 Applebot을 대상으로 하는 일반 검색 크롤링에서 표준 robots.txt 명령을 따릅니다. 이 예에서는 Applebot이 /private/ 또는 /not-allowed/ 아래에 있는 문서는 크롤링하려고 시도하지 않습니다.

User-agent: Applebot Allow: / Disallow: /private/ User-agent: * Disallow: /not-allowed/

로봇 명령에 Applebot 대신 Googlebot이 나오는 경우 Apple 로봇은 Googlebot 명령을 따릅니다.

렌더링 및 로봇 규칙

Applebot은 브라우저 내에서 웹 사이트의 콘텐츠를 렌더링할 수 있습니다. JavaScript, CSS 및 기타 리소스가 robots.txt를 통해 차단되는 경우 Applebot이 콘텐츠를 제대로 렌더링하지 못할 수 있습니다. 여기에는 페이지에 필요할 수 있는 XHR, JS 및 CSS가 포함됩니다.

Applebot이 페이지에 가장 적합한 콘텐츠를 인덱싱하게 하려면 사용자가 페이지를 렌더링하는 데 필요한 모든 것을 Applebot이 사용 가능한지 확인합니다. 또는 일부 리소스를 사용할 수 없는 경우에도 웹 사이트가 깔끔하게 렌더링되는지 확인합니다. 이를 흔히 단계적 기능 축소라고 합니다.

Applebot의 인덱싱 규칙 사용자화하기

Applebot은 HTML 문서에서 robots 메타 태그를 지원합니다. 메타 태그에 로봇 규칙을 지정하려면

... ...

Applebot은 다음과 같은 명령도 지원합니다.

• noindex: Applebot이 해당 페이지를 인덱싱하지 않으므로 Spotlight 또는 Siri 제안에 표시되지 않습니다.

• nosnippet: Applebot이 페이지에 대한 설명이나 웹 답변을 생성하지 않습니다. URL 방문 제안에 페이지의 제목만 포함됩니다.

• nofollow: Applebot이 페이지에 있는 어떠한 링크도 따라가지 않습니다.

• none: Applebot이 위에서 설명한 대로 페이지를 인덱싱하지 않고 설명을 생성하지 않으며 페이지에 있는 링크를 따라가지 않습니다.

• all: Applebot이 제안을 위해 문서를 제공하고 콘텐츠에 대한 설명을 생성하므로 페이지에 대한 간단한 설명이 대표 이미지 옆에 표시될 수 있습니다. Applebot이 더 많은 제안을 제공하기 위해 페이지에 있는 링크를 따라갈 수 있습니다.

메타 태그 하나에 명령을 여러 개 입력하려면 쉼표로 구분된 목록 또는 여러 메타 태그를 사용합니다.

예:

데이터 사용 제어

모든 robots.txt 규칙과 명령을 따르는 것 외에도, Apple에는 웹 게시자에게 웹 사이트 콘텐츠가 Apple에서 사용되는 방식을 추가로 제어할 수 있도록 하는 보조 사용자 에이전트인 Applebot-Extended가 있습니다.

Applebot-Extended를 사용하여 웹 게시자는 Apple 제품 전반에 걸쳐 Apple Intelligence, 서비스 및 개발자 도구를 포함한 생성형 AI 기능을 지원하는 Apple의 기반 모델을 학습하는 데 웹 사이트 콘텐츠가 사용되지 않도록 선택할 수 있습니다.

다음과 같이 robots.txt에 Applebot-Extended를 허용하지 않는 규칙을 추가할 수 있습니다.

User-agent: Applebot-Extended Disallow: /private/

Applebot-Extended는 웹 페이지를 크롤링하지 않습니다. Applebot-Extended를 허용하지 않는 웹 페이지는 여전히 검색 결과에 포함될 수 있습니다. Applebot-Extended는 Applebot 사용자 에이전트가 크롤링한 데이터를 사용하는 방법을 결정하는 경우에만 사용됩니다.

Applebot-Extended를 허용하면 시간 경과에 따라 Apple 생성형 AI 모델의 기능과 품질을 개선하는 데 도움이 됩니다.

검색 순위에 관하여

Apple 검색에서는 웹 검색 결과의 순위를 지정할 때 다음 사항을 고려할 수 있습니다.

• 검색 결과를 통해 집계된 사용자 참여

• 검색어가 웹 페이지 주제 및 콘텐츠와 관련이 있고 일치하는 정도

• 웹에 있는 다른 페이지의 링크 수 및 품질

• 사용자 위치 기반 신호(근사치 데이터)

• 웹 페이지 디자인의 특성

검색 결과에 위의 요인이 사용되며 미리 정해진 순위는 중요하지 않습니다. 검색 사용자에게는 Siri 제안, 검색 및 개인정보 보호에 나와 있는 개인정보 처리방침이 적용됩니다.

Apple에 문의하기

질문이나 우려 사항이 있는 경우 applebot@apple.com으로 문의하십시오.