Applebot에 관하여
Apple의 웹 크롤러인 Applebot에 대해 알아봅니다.
Applebot이 크롤링한 데이터는 Spotlight, Siri, Safari 등 Apple 생태계의 다양한 사용자 경험에 통합된 검색 기술과 같이 다양한 기능을 실현하는 데 사용됩니다. robots.txt에 Applebot을 활성화하면 이러한 제품에서 전 세계 Apple 사용자의 검색 결과에 웹사이트 콘텐츠가 표시될 수 있습니다.
또한, Applebot이 크롤링한 데이터는 Apple 제품 전반에 걸쳐 Apple Intelligence, 서비스 및 개발자 도구를 포함한 생성형 AI 기능을 지원하는 Apple 기반 모델을 훈련하는 데에도 사용될 수 있습니다. 웹 게시자는 robots.txt 파일에서 Applebot-Extended의 접근을 차단하여 콘텐츠가 생성형 기반 모델을 훈련하는 데 사용되지 않도록 거부할 수 있습니다.
Applebot이 크롤링한 데이터는 AI 모델이 Apple 제품 및 서비스에 표시할 출력을 생성할 때 추가 컨텍스트 및 최신 콘텐츠를 제공하는 데 활용될 수 있습니다. 예를 들어, Siri 및 검색에서 광범위한 일반 지식 질문에 답변할 때 답변 생성에 활용된 출처 및 웹사이트 링크가 포함될 수 있습니다. 웹 퍼블리셔는 특정 콘텐츠에 nosnippet 메타 태그를 적용하여 해당 콘텐츠가 이러한 일반 지식 답변에 사용되지 않도록 옵트아웃할 수 있습니다.
Applebot-Extended를 비허용하고 웹사이트 콘텐츠에 nosnippet 메타 태그를 적용하더라도, 웹사이트 지침에 따라 Applebot이 웹페이지를 계속 크롤링하는 것은 허용될 수 있습니다. 해당 콘텐츠는 Spotlight, Siri, Safari 및 Apple 기기의 기타 시스템 전반 기능을 통해 계속 검색될 수 있습니다.
Applebot 식별하기
Applebot에서 발생하는 트래픽은 일반적으로 *.applebot.apple.com 도메인의 역방향 DNS를 사용하여 식별됩니다.
또 다른 방법은 IP 주소를 다음 JSON 파일 Applebot IP CIDR에 포함된 CIDR 접두사와 일치하도록 하는 것입니다.
역방향 DNS
호스트 명령을 사용하여 IP 주소가 Applebot의 일부인지 확인할 수 있습니다. 다음 예는 호스트 명령과 그 결과를 보여 줍니다.
$ host 17-58-101-179.applebot.apple.com
17-58-101-179.applebot.apple.com has address 17.58.101.179.
호스트 명령을 사용하여 DNS가 동일한 IP 주소를 가리키는지 확인할 수도 있습니다.
$ host 17.58.101.179
179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.
사용자 에이전트
사용자 에이전트는 웹마스터가 크롤러 트래픽을 식별하여 크롤러 활동에 대한 정확한 접근 로그 보고서를 얻고 robots.txt를 통해 사이트에 대한 접근을 제어할 수 있도록 도와줍니다.
Applebot은 검색 및 팟캐스트를 비롯한 여러 사용자 에이전트를 지원합니다.
검색
검색 웹 크롤링 및 렌더링의 경우 Applebot은 다음과 같은 형식을 사용합니다.
user-agent 문자열에는 'Applebot' 및 기타 정보가 포함되어 있습니다. 다음은 일반적인 형식입니다.
Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)
Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)
데스크톱의 예:
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15(KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
모바일의 예:
Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)
경우에 따라 Applebot은 위의 일반적인 형식을 유지하면서 광고하는 브라우저 버전을 업데이트합니다.
특수 크롤러
Apple 온라인 자산
iTMS 트래픽은 applebot.apple.com 호스트에서 발생할 수도 있으며 다음 사용자 에이전트에 의해 식별됩니다.
User-Agent: iTMS
iTMS 사용자 에이전트는 일반적인 검색 크롤러가 아니기 때문에 robots.txt를 따르지 않습니다. iTMS 사용자 에이전트는 Apple 팟캐스트에 등록된 콘텐츠와 연결된 URL만 크롤링합니다.
robot.txt 규칙 사용자화하기
Applebot은 Applebot을 대상으로 하는 일반 검색 크롤링에서 표준 robots.txt 명령을 따릅니다. 이 예에서는 Applebot이 /private/ 또는 /not-allowed/ 아래에 있는 문서는 크롤링하려고 시도하지 않습니다.
User-agent: Applebot
Allow: /
Disallow: /private/
User-agent: *
Disallow: /not-allowed/
로봇 명령에 Applebot 대신 Googlebot이 나오는 경우 Apple 로봇은 Googlebot 명령을 따릅니다. Applebot은 crawl-delay 지시문을 따르지 않습니다.
Applebot은 효율성을 위해 설계되었으며, 사이트 소유자에게 미치는 영향을 최소화하도록 자동으로 조정됩니다. 예를 들어, 사이트 서버 과부하를 방지하기 위해 사이트 응답이 느려지거나 오류가 반환될 경우 Applebot의 크롤링 속도가 자동으로 조정됩니다. Apple는 또한 불필요한 크롤링을 줄이기 위해 크롤링된 콘텐츠를 캐싱합니다. 크롤링이 불필요한 콘텐츠를 식별하면 사이트 소유자의 인프라 비용이 절감되고 인터넷 전반의 효율성이 향상됩니다.
렌더링 및 로봇 규칙
Applebot은 브라우저 내에서 웹사이트의 콘텐츠를 렌더링할 수 있습니다. JavaScript, CSS 및 기타 리소스가 robots.txt를 통해 차단되는 경우 Applebot이 콘텐츠를 제대로 렌더링하지 못할 수 있습니다. 여기에는 페이지에 필요할 수 있는 XHR, JS 및 CSS가 포함됩니다.
Applebot이 페이지에 가장 적합한 콘텐츠를 인덱싱하게 하려면 사용자가 페이지를 렌더링하는 데 필요한 모든 것을 Applebot이 사용 가능한지 확인합니다. 또는 일부 리소스를 사용할 수 없는 경우에도 웹사이트가 깔끔하게 렌더링되는지 확인합니다. 이를 흔히 단계적 기능 축소라고 합니다.
Applebot의 인덱싱 규칙 사용자화하기
Applebot은 HTML 문서에서 robots 메타 태그를 지원합니다. 메타 태그로 로봇 규칙을 지정하려면 다음과 같이 태그를 문서의 <head> 섹션에 입력합니다.
<html>
<head>
<meta name="robots" content="noindex"/>
...
</head>
<body>...</body>
</html>
Applebot은 다음과 같은 명령도 지원합니다.
noindex: Applebot이 해당 페이지를 인덱싱하지 않으므로 Spotlight 또는 Siri 제안에 표시되지 않습니다.
nosnippet: Applebot이 페이지에 대한 설명이나 웹 답변을 생성하지 않습니다. URL 방문 제안에 페이지의 제목만 포함됩니다. Apple은 nosnippet 으로 태깅된 데이터를 AI 모델이 Apple 제품 및 서비스에 표시할 출력을 생성할 때 추가 컨텍스트 및 최신 콘텐츠로 활용하지 않습니다.
nofollow: Applebot이 페이지에 있는 어떠한 링크도 따라가지 않습니다.
none: Applebot이 위에서 설명한 대로 페이지를 인덱싱하지 않고 설명을 생성하지 않으며 페이지에 있는 링크를 따라가지 않습니다.
all: Applebot이 제안을 위해 문서를 제공하고 콘텐츠에 대한 설명을 생성하므로 페이지에 대한 간단한 설명이 대표 이미지 옆에 표시될 수 있습니다. Applebot이 더 많은 제안을 제공하기 위해 페이지에 있는 링크를 따라갈 수 있습니다.
메타 태그 하나에 명령을 여러 개 입력하려면 쉼표로 구분된 목록 또는 여러 메타 태그를 사용합니다.
예:
<meta name="robots" content="nosnippet, noindex”>
<meta name="robots" content=“noindex">
<meta name="robots" content=“nosnippet">
<meta name="applebot" content=“nosnippet">
X-Robots-Tag HTTP 헤더 사용하기
Applebot은 X-Robots-Tag HTTP 응답 헤더를 통해 전달되는 인덱싱 지시문도 지원합니다. 이는 메타 태그를 사용할 수 없는, PDF 또는 이미지와 같은 비 HTML 리소스나 서버 수준에서 지시문을 적용하려는 경우에 유용합니다. Applebot에 지시문을 적용하려면 다음과 같이 설정합니다.
X-Robots-Tag: applebot: nosnippet
페이월 콘텐츠 표시하기
Applebot은 schema.org의 isAccessibleForFree 속성을 지원하여 페이월, 미터제 접근, 또는 구독 기반으로 제공되는 페이지를 식별합니다. JSON-LD 형식의 페이지 수준 구조화된 데이터에 해당 속성을 추가하십시오.
<script type="application/ld+json">
{
"@context": "https://schema.org",
"isAccessibleForFree": false
}
</script>
isAccessibleForFree: false로 표시된 페이지는 검색 결과에 표시될 수 있지만, Applebot은 AI 모델이 Apple 제품 및 서비스에 표시할 출력을 생성할 때 해당 콘텐츠를 추가 컨텍스트로 활용하지 않습니다. hasPart를 사용한 섹션 수준 마크업은 지원되지 않습니다. 콘텐츠가 Apple의 기반 모델 학습에 사용되지 않도록 거부하려면 다음 섹션에서 설명하는 Applebot-Extended를 사용하십시오.
Applebot-Extended 및 데이터 사용 제어
모든 robots.txt 규칙과 명령을 따르는 것 외에도, Apple에는 웹 게시자에게 웹사이트 콘텐츠가 Apple에서 사용되는 방식을 추가로 제어할 수 있도록 하는 보조 사용자 에이전트인 Applebot-Extended가 있습니다.
Applebot-Extended를 사용하여 웹 게시자는 Apple 제품 전반에 걸쳐 Apple Intelligence, 서비스 및 개발자 도구를 포함한 생성형 AI 기능을 지원하는 Apple의 일반 목적 기반 모델을 학습하는 데 웹사이트 콘텐츠가 사용되지 않도록 선택할 수 있습니다.
다음과 같이 robots.txt에 Applebot-Extended를 허용하지 않는 규칙을 추가할 수 있습니다.
User-agent: Applebot-Extended
Disallow: /private/
Applebot-Extended는 웹 페이지를 크롤링하지 않습니다. Applebot-Extended를 허용하지 않는 웹 페이지는 여전히 검색 결과에 포함될 수 있습니다. Applebot-Extended는 Applebot 사용자 에이전트가 크롤링한 데이터를 사용하는 방법을 결정하는 경우에만 사용됩니다.
Applebot-Extended를 허용하면 시간 경과에 따라 Apple 생성형 AI 모델의 기능과 품질을 개선하는 데 도움이 됩니다.
검색 순위에 관하여
Apple 검색에서는 웹 검색 결과의 순위를 지정할 때 다음 사항을 고려할 수 있습니다.
검색 결과를 통해 집계된 사용자 참여
검색어가 웹 페이지 주제 및 콘텐츠와 관련이 있고 일치하는 정도
웹에 있는 다른 페이지의 링크 수 및 품질
사용자 위치 기반 신호(근사치 데이터)
웹 페이지 디자인의 특성
검색 결과에 위의 요인이 사용되며 미리 정해진 순위는 중요하지 않습니다. 검색 사용자에게는 Siri 제안, 검색 및 개인정보 보호에 나와 있는 개인정보 처리방침이 적용됩니다.
Apple에 문의하기
질문이나 우려 사항이 있는 경우 applebot@apple.com으로 문의하십시오.
Apple이 제조하지 않은 제품에 관한 정보 또는 Apple에서 관리하거나 검증하지 않은 독립 웹사이트의 콘텐츠는 Apple의 권장이나 보증 없이 제공되고 있습니다. Apple은 타사 웹사이트 또는 제품에 대한 선택, 성능 및 사용과 관련하여 발생하는 결과에 대해 책임을 지지 않습니다. Apple은 타사 웹사이트의 정확성 또는 신뢰도에 대해 어떠한 언급도 하지 않습니다. 자세한 내용은 해당 업체에 문의하시기를 바랍니다.