เกี่ยวกับ Applebot

เรียนรู้เกี่ยวกับ Applebot เว็บครอว์เลอร์สำหรับ Apple

ข้อมูลที่ Applebot รวบรวมมาได้จะถูกนำไปใช้เพื่อขับเคลื่อนคุณสมบัติต่างๆ เช่น เทคโนโลยีการค้นหาที่ผสานรวมเข้ากับประสบการณ์ผู้ใช้หลายส่วนในระบบนิเวศของ Apple อย่าง Spotlight, Siri และ Safari การเปิดใช้งาน Applebot ใน robots.txt ช่วยให้เนื้อหาเว็บไซต์ปรากฏในผลการค้นหาสำหรับผู้ใช้ Apple ทั่วโลกในผลิตภัณฑ์เหล่านี้

ข้อมูลที่ Applebot รวบรวมมาได้อาจถูกนำไปใช้เพื่อช่วยฝึกโมเดลพื้นฐานของ Apple ที่ขับเคลื่อนคุณสมบัติเจเนอเรทีฟ AI ในผลิตภัณฑ์ต่างๆ ของ Apple รวมถึง Apple Intelligence, บริการต่างๆ และเครื่องมือสำหรับนักพัฒนา ผู้เผยแพร่เว็บไซต์สามารถเลือกไม่ให้ใช้เนื้อหาของตนในการฝึกโมเดลเจเนอเรทีฟพื้นฐานได้ โดยการไม่อนุญาต Applebot-Extendedในไฟล์ robots.txt

ข้อมูลที่ Applebot รวบรวมมาได้อาจถูกนำไปใช้เพื่อมอบบริบทเพิ่มเติมและเนื้อหาที่เป็นปัจจุบันเมื่อใช้โมเดล AI เพื่อสร้างเอาต์พุตสำหรับแสดงในผลิตภัณฑ์และบริการของ Apple เช่น การตอบคำถามความรู้รอบตัวใน Siri และแอปค้นหา ซึ่งอาจมีการมอบลิงก์ไปยังแหล่งข้อมูลและเว็บไซต์ที่ใช้ประกอบการสร้างคำตอบนั้นๆ ผู้เผยแพร่เว็บสามารถเลือกไม่ให้เนื้อหาของตนถูกนำไปใช้ในการตอบคำถามความรู้รอบตัวเช่นนี้ได้ด้วยการใส่เมตาแท็ก nosnippet ให้กับเนื้อหาที่ต้องการ

แม้ว่าคุณจะไม่อนุญาต Applebot-Extended และติดแท็กให้เนื้อหาของเว็บไซต้ด้วยเมตาแท็ก nosnippet คำสั่งของเว็บไซค์คุณอาจยังคงอนุญาตให้ Applebot รวบรวมข้อมูลจากหน้าเว็บของคุณได้ ดังนั้นเนื้อหาของคุณจะยังคงถูกค้นพบผ่าน Spotlight, Siri และ Safari ตลอดจนคุณสมบัติอื่นๆ ที่ครอบคลุมทั้งระบบบนอุปกรณ์ Apple

การระบุ Applebot

การรับส่งข้อมูลที่มาจาก Applebot โดยทั่วไปสามารถระบุได้โดยใช้ DNS แบบย้อนกลับในโดเมน *.applebot.apple.com

อีกวิธีหนึ่งคือการจับคู่ที่อยู่ IP กับคำนำหน้า CIDR ที่มีอยู่ในไฟล์ JSON ต่อไปนี้: Applebot IP CIDRs

DNS แบบย้อนกลับ

สามารถใช้คำสั่งโฮสต์เพื่อตรวจสอบว่าที่อยู่ IP เป็นส่วนหนึ่งของ Applebot หรือไม่ นี่คือตัวอย่างของคำสั่งโฮสต์และผลลัพธ์

$ host 17-58-101-179.applebot.apple.com

17-58-101-179.applebot.apple.com has address 17.58.101.179.

นอกจากนั้นยังสามารถใช้คำสั่งโฮสต์เพื่อตรวจสอบว่า DNS ใช้ที่อยู่ IP เดียวกันหรือไม่

$ host 17.58.101.179

179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

User Agent

User Agent ช่วยเว็บมาสเตอร์ในการระบุการเข้าชมที่มาจากเว็บครอว์เลอร์ เพื่อให้เว็บมาสเตอร์สามารถขอรายงานบันทึกการเข้าถึงที่แม่นยำเกี่ยวกับกิจกรรมของเว็บครอว์เลอร์และควบคุมการเข้าถึงไซต์ผ่าน robots.txt ได้

Applebot ขับเคลื่อน User Agent หลายรายการ ซึ่งรวมถึง Search และ Podcasts

ค้นหา

Applebot ใช้รูปแบบต่อไปนี้สำหรับการ Crawl เว็บและการเรนเดอร์

สตริง user-agent จะมี "Applebot" และข้อมูลอื่นๆ ซึ่งจะอยู่ในรูปแบบทั่วไปดังนี้

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

ตัวอย่างสำหรับเดสก์ท็อป

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15(KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

ตัวอย่างสำหรับมือถือ

Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

ในบางครั้ง Applebot จะอัปเดตเวอร์ชั่นเบราว์เซอร์ที่โฆษณาในขณะที่ยังคงอยู่ในรูปแบบทั่วไปด้านบน

ครอว์เลอร์พิเศษ

คุณสมบัติออนไลน์ของ Apple

การรับส่งข้อมูล iTMS อาจมาจากโฮสต์ applebot.apple.com และสามารถระบุได้จาก User Agent ต่อไปนี้

User-Agent: iTMS

User Agent ที่เป็น iTMS จะไม่ทำตาม robots.txt เนื่องจากไม่ใช่ Search Crawler ทั่วไป User Agent ที่เป็น iTMS จะรวบรวมเฉพาะจาก URL ที่เชื่อมโยงกับเนื้อหาที่ลงทะเบียนบน Apple Podcasts เท่านั้น

การปรับแต่งกฎ robots.txt

Applebot เคารพคำสั่ง robots.txt มาตรฐานใน Search Crawl ทั่วไปที่กำหนดเป้าหมายไปที่ Applebot ในตัวอย่างนี้ Applebot จะไม่พยายามดึงข้อมูลเอกสารที่อยู่ภายใต้ /private/ หรือ /not-allowed/

User-agent: Applebot

Allow: /

Disallow: /private/

User-agent: *

Disallow: /not-allowed/

หากคำสั่งของโรบอตไม่ได้กล่าวถึง Applebot แต่กล่าวถึง Googlebot โรบอตของ Apple จะทำตามคำสั่งของ Googlebot Applebot ไม่ทำตาม crawl-delay

Applebot ออกแบบมาให้ทำงานอย่างมีประสิทธิภาพ และจะปรับตัวเพื่อลดการสร้างผลกระทบต่อเจ้าของเว็บไซต์ เช่น เพื่อเลี่ยงไม่ให้เซิร์ฟเวอร์ของเว็บไซต์ต้องโอเวอร์โหลด ระบบจะปรับอัตราการรวบรวมข้อมูลของ Applebot โดยอัตโนมัติเมื่อเว็บไซต์ทำงานช้าลงหรือเกิดข้อผิดพลาด นอกจากนี้ Apple จะแคชเนื้อหาที่รวบรวมมาได้เพื่อลดการรวบรวมเนื้อหาที่ไม่จำเป็น การระบุเนื้อหาที่ไม่จำเป็นต้องรวบรวมจะช่วยลดค่าใช้จ่ายด้านโครงสร้างพื้นฐานให้เจ้าของเว็บไซต์ และทำให้อินเทอร์เน็ตมีประสิทธิภาพมากขึ้นโดยรวม

กฎการเรนเดอร์และโรบอต

Applebot อาจแสดงเนื้อหาของเว็บไซต์ของคุณภายในเบราว์เซอร์ หาก javascript, CSS และแหล่งข้อมูลอื่นๆ ถูกบล็อกโดย robots.txt Applebot อาจไม่สามารถแสดงเนื้อหาได้อย่างถูกต้อง ซึ่งรวมถึง XHR, JS และ CSS ที่หน้านั้นต้องการด้วย

หากต้องการให้ Applebot สร้างดัชนีเนื้อหาที่ดีที่สุดสำหรับหน้านั้น โปรดตรวจสอบให้แน่ใจว่า Applebot สามารถเข้าถึงข้อมูลทั้งหมดที่ผู้ใช้จะต้องใช้ในการเรนเดอร์หน้าดังกล่าว อีกวิธีหนึ่งคือตรวจสอบว่าการแสดงเว็บไซต์ดูชัดเจน แม้ว่าแหล่งข้อมูลทั้งหมดจะยังไม่พร้อมใช้งานก็ตาม หรือที่เรียกว่า "Graceful Degradation"

ปรับแต่งกฎการสร้างดัชนีสำหรับ Applebot

Applebot รองรับ Robots Meta Tag ในเอกสาร HTML หากต้องการระบุกฎ Robots ใน Meta Tag ให้ใส่แท็กในส่วน <head> ของเอกสาร ดังต่อไปนี้

<html>

<head>

<meta name="robots" content="noindex"/>

...

</head>

<body>...</body>

</html>

Applebot ยังรองรับคำสั่งต่อไปนี้อีกด้วย

• noindex: Applebot จะไม่สร้างดัชนีหน้านี้ และจะไม่ปรากฏในคำแนะนำโดย Spotlight หรือคำแนะนำโดย Siri

• nosnippet: Applebot จะไม่สร้างคำอธิบายหรือคำตอบของเว็บสำหรับหน้านี้ คำแนะนำใดๆ ที่ระบุว่าให้ไปที่ URL นี้จะแสดงเฉพาะชื่อของหน้า Apple จะไม่นำข้อมูลที่ติดแท็ก nosnippet มาใช้เป็นบริบทเพิ่มเติมและเนื้อหาที่เป็นปัจจุบันเมื่อใช้โมเดล AI เพื่อสร้างเอาต์พุตสำหรับแสดงในผลิตภัณฑ์และบริการของ Apple

• nofollow: Applebot จะไม่ไปตามลิงก์ใดๆ ที่อยู่ในหน้านี้

• none: Applebot จะไม่สร้างดัชนี, Snippet หรือไปตามลิงก์ในหน้านี้ ดังที่ได้อธิบายไว้ข้างต้น

• all: Applebot มาพร้อมเอกสารสำหรับคำแนะนำต่างๆ และจะสร้าง Snippet ของเนื้อหา เพื่อแสดงคำอธิบายสั้นๆ ของหน้านั้นถัดจากรูปภาพแทน Applebot อาจไปตามลิงก์บนหน้าเพื่อให้คำแนะนำเพิ่มเติม

หากต้องการใส่คำสั่งหลายคำสั่งใน Meta Tag เดียว ให้ใช้รายการที่คั่นด้วยจุลภาคหรือ Meta Tag หลายรายการ

ตัวอย่าง:

<meta name="robots" content="nosnippet, noindex”>

<meta name="robots" content=“noindex">

<meta name="robots" content=“nosnippet">

<meta name="applebot" content=“nosnippet">

การใช้ส่วนหัว X-Robots-Tag HTTP

Applebot รองรับคำสั่งการสร้างดัชนีที่มอบผ่านส่วนหัวการตอบสนอง X-Robots-Tag HTTP ด้วยเช่นกัน ซึ่งมีประโยชน์สำหรับทรัพยากรที่ไม่ใช่ HTML (เช่น PDF หรือรูปภาพ) ที่ไม่สามารถใช้เมตาแท็กได้ หรือเมื่อคุณต้องการใช้คำสั่งในระดับเซิร์ฟเวอร์ หากต้องการใช้คำสั่งกับ Applebot ให้ระบุดังนี้

X-Robots-Tag: applebot: nosnippet

การทำเครื่องหมายเนื้อหาที่มีเพย์วอลล์

Applebot รองรับคุณสมบัติ schema.org isAccessibleForFree เพื่อระบุหน้าที่มีเพย์วอลล์ ที่เข้าถึงได้ในจำนวนที่กำหนด หรือต้องมีการสมัครสมาชิก เพิ่มคุณสมบัตินี้ลงในข้อมูลที่จัดโครงสร้างระดับหน้าใน JSON-LD ดังนี้

<script type="application/ld+json">

{

"@context": "https://schema.org",

"isAccessibleForFree": false

}

</script>

หน้าที่ทำเครื่องหมายไว้ว่า isAccessibleForFree: false มีสิทธิ์ปรากฎในผลการค้นหา แต่ Applebot จะไม่ใช้เนื้อหาดังกล่าวเป็นบริบทเพิ่มเติมเมื่อใช้โมเดล AI เพื่อสร้างเอาต์พุตสำหรับแสดงในผลิตภัณฑ์และบริการของ Apple สัญญาณนี้มีผลที่ระดับหน้า ไม่รองรับการทำมาร์กอัประดับส่วนโดยใช้ hasPart หากต้องการเลือกไม่ให้เนื้อหาของคุณถูกใช้เพื่อฝึกโมเดลพื้นฐานของ Apple ให้ใช้ Applebot-Extended ตามที่อธิบายในส่วนถัดไป

Applebot-Extended และการควบคุมการใช้ข้อมูล

นอกเหนือจากการทำตามกฎและคำสั่ง robots.txt ทั้งหมดแล้ว Apple ยังมี User Agent รอง นั่นก็คือ Applebot-Extended ซึ่งให้ผู้เผยแพร่เว็บควบคุมได้มากขึ้นว่า Apple จะสามารถนำเนื้อหาเว็บไซต์ของตนไปใช้อย่างไรบ้าง

ด้วย Applebot-Extended ผู้เผยแพร่เว็บสามารถเลือกที่จะไม่ให้เนื้อหาของตนถูกนำไปใช้ฝึกโมเดลพื้นฐานอเนกประสงค์ของ Apple ที่ขับเคลื่อนคุณสมบัติเจเนอเรทีฟ AI ในผลิตภัณฑ์ต่างๆ ของ Apple เช่น Apple Intelligence, Services และ Developer Tools

คุณสามารถเพิ่มกฎใน robots.txt ดังนี้เพื่อไม่อนุญาต Applebot-Extended ทำงาน

User-agent: Applebot-Extended

Disallow: /private/

Applebot-Extended ไม่ Crawl หน้าเว็บ หน้าเว็บที่ไม่อนุญาตให้ Applebot-Extended ทำงานยังสามารถแสดงในผลการค้นหาได้ Applebot-Extended ใช้เพื่อกำหนดว่าจะนำข้อมูลที่ Crawl โดย User Agent ที่เป็น Applebot ไปใช้อย่างไรเท่านั้น

การอนุญาต Applebot-Extended จะช่วยปรับปรุงความสามารถและคุณภาพของโมเดลเจเนอเรทีฟ AI ของ Apple ในระยะยาว

เกี่ยวกับการจัดลำดับการค้นหา

Apple Search อาจพิจารณาปัจจัยต่อไปนี้เมื่อจัดลำดับผลการค้นหาบนเว็บ

• การมีส่วนร่วมของผู้ใช้โดยรวมกับผลการค้นหา

• ความเกี่ยวข้องและการจับคู่คำค้นหากับหัวข้อและเนื้อหาของหน้าเว็บ

• จำนวนและคุณภาพของลิงก์จากหน้าอื่นๆ บนเว็บ

• สัญญาณตามตำแหน่งของผู้ใช้ (ข้อมูลโดยประมาณ)

• ลักษณะการออกแบบของเว็บเพจ

ผลการค้นหาอาจใช้ปัจจัยข้างต้นโดยไม่ส่งผล (ที่กำหนดไว้ล่วงหน้า) ต่อการจัดลำดับ ผู้ใช้งานการค้นหาอยู่ภายใต้นโยบายความเป็นส่วนตัวที่ระบุไว้ในคำแนะนำโดย Siri การค้นหา และความเป็นส่วนตัว

ติดต่อเรา

หากคุณมีคำถามหรือข้อกังวล โปรดติดต่อเราที่ applebot@apple.com