เกี่ยวกับ Applebot

เรียนรู้เกี่ยวกับ Applebot เว็บครอว์เลอร์สำหรับ Apple

ข้อมูลที่รวบรวมข้อมูลโดย Applebot จะนำไปใช้เพื่อขับเคลื่อนคุณสมบัติต่างๆ เช่น เทคโนโลยีการค้นหาที่ผสานรวมเข้ากับประสบการณ์ผู้ใช้หลายส่วนในระบบนิเวศของ Apple อย่าง Spotlight, Siri และ Safari การเปิดใช้งาน Applebot ใน robots.txt ช่วยให้เนื้อหาเว็บไซต์ปรากฏในผลการค้นหาสำหรับผู้ใช้ Apple ทั่วโลกในผลิตภัณฑ์เหล่านี้

ข้อมูลที่ Applebot รวบรวมมาได้อาจถูกนำไปใช้เพื่อช่วยฝึกโมเดลพื้นฐานของ Apple ที่ขับเคลื่อนคุณสมบัติเจเนอเรทีฟ AI ในผลิตภัณฑ์ต่างๆ ของ Apple รวมถึง Apple Intelligence, บริการต่างๆ และเครื่องมือสำหรับนักพัฒนา ผู้เผยแพร่เว็บไซต์สามารถเลือกไม่ให้ใช้เนื้อหาของตนในการฝึกโมเดลเจเนอเรทีฟพื้นฐานได้ โดยการไม่อนุญาต Applebot-Extendedในไฟล์ robots.txt

แม้ว่าคุณจะไม่อนุญาตให้ Applebot-Extended ทำงาน แต่คำแนะนำบนเว็บไซต์อาจยังอนุญาตให้ Applebot เข้ารวบรวมข้อมูลหน้าเว็บของคุณได้ ในกรณีนั้น เนื้อหาของคุณจะยังคงสามารถค้นหาได้ผ่าน Spotlight, Siri และคุณสมบัติอื่นๆ ทั่วทั้งระบบบนอุปกรณ์ของ Apple

การระบุ Applebot

การรับส่งข้อมูลที่มาจาก Applebot โดยทั่วไปสามารถระบุได้โดยใช้ DNS แบบย้อนกลับในโดเมน *.applebot.apple.com

อีกวิธีหนึ่งคือการจับคู่ที่อยู่ IP กับคำนำหน้า CIDR ที่มีอยู่ในไฟล์ JSON ต่อไปนี้: Applebot IP CIDRs

DNS แบบย้อนกลับ

สามารถใช้คำสั่งโฮสต์เพื่อตรวจสอบว่าที่อยู่ IP เป็นส่วนหนึ่งของ Applebot หรือไม่ นี่คือตัวอย่างของคำสั่งโฮสต์และผลลัพธ์

$ host 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com has address 17.58.101.179

นอกจากนั้นยังสามารถใช้คำสั่งโฮสต์เพื่อตรวจสอบว่า DNS ใช้ที่อยู่ IP เดียวกันหรือไม่

$ host 17.58.101.179 179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com

User Agent

User Agent ช่วยเว็บมาสเตอร์ในการระบุการเข้าชมที่มาจากเว็บครอว์เลอร์ เพื่อให้เว็บมาสเตอร์สามารถขอรายงานบันทึกการเข้าถึงที่แม่นยำเกี่ยวกับกิจกรรมของเว็บครอว์เลอร์และควบคุมการเข้าถึงไซต์ผ่าน robots.txt ได้

Applebot ขับเคลื่อน User Agent หลายรายการ ซึ่งรวมถึง Search และ Podcasts

ค้นหา

Applebot ใช้รูปแบบต่อไปนี้สำหรับการ Crawl เว็บและการเรนเดอร์

สตริง user-agent จะมี "Applebot" และข้อมูลอื่นๆ ซึ่งจะอยู่ในรูปแบบทั่วไปดังนี้

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

ตัวอย่างสำหรับเดสก์ท็อป

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15(KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

ตัวอย่างสำหรับมือถือ

Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

ในบางครั้ง Applebot จะอัปเดตเวอร์ชั่นเบราว์เซอร์ที่โฆษณาในขณะที่ยังคงอยู่ในรูปแบบทั่วไปด้านบน

Apple Podcasts

การรับส่งข้อมูล iTMS อาจมาจากโฮสต์ applebot.apple.com และสามารถระบุได้จาก User Agent ต่อไปนี้

User-Agent: iTMS

User Agent ที่เป็น iTMS จะไม่ทำตาม robots.txt เนื่องจากไม่ใช่ Search Crawler ทั่วไป และจะครอว์เฉพาะ URL ที่เกี่ยวข้องกับเนื้อหาที่ลงทะเบียนบน Apple Podcasts เท่านั้น

การปรับแต่งกฎ robots.txt

Applebot เคารพคำสั่ง robots.txt มาตรฐานใน Search Crawl ทั่วไปที่กำหนดเป้าหมายไปที่ Applebot ในตัวอย่างนี้ Applebot จะไม่พยายามดึงข้อมูลเอกสารที่อยู่ภายใต้ /private/ หรือ /not-allowed/

User-agent: Applebot Allow: / Disallow: /private/ User-agent: * Disallow: /not-allowed/

หากคำสั่งของโรบอตไม่ได้กล่าวถึง Applebot แต่กล่าวถึง Googlebot โรบอตของ Apple จะทำตามคำสั่งของ Googlebot

กฎการเรนเดอร์และโรบอต

Applebot อาจแสดงเนื้อหาของเว็บไซต์ของคุณภายในเบราว์เซอร์ หาก javascript, CSS และแหล่งข้อมูลอื่นๆ ถูกบล็อกโดย robots.txt Applebot อาจไม่สามารถแสดงเนื้อหาได้อย่างถูกต้อง ซึ่งรวมถึง XHR, JS และ CSS ที่หน้านั้นต้องการด้วย

หากต้องการให้ Applebot สร้างดัชนีเนื้อหาที่ดีที่สุดสำหรับหน้านั้น โปรดตรวจสอบให้แน่ใจว่า Applebot สามารถเข้าถึงข้อมูลทั้งหมดที่ผู้ใช้จะต้องใช้ในการเรนเดอร์หน้าดังกล่าว อีกวิธีหนึ่งคือตรวจสอบว่าการแสดงเว็บไซต์ดูชัดเจน แม้ว่าแหล่งข้อมูลทั้งหมดจะยังไม่พร้อมใช้งานก็ตาม หรือที่เรียกว่า "Graceful Degradation"

ปรับแต่งกฎการสร้างดัชนีสำหรับ Applebot

Applebot รองรับ Robots Meta Tag ในเอกสาร HTML หากต้องการระบุกฎ Robots ใน Meta Tag ให้ใส่แท็กในส่วน <head> ของเอกสาร ดังต่อไปนี้

<html><head> <meta name="robots" content="noindex"/> ... </head> <body>...</body> </html>

Applebot ยังรองรับคำสั่งต่อไปนี้อีกด้วย

• noindex: Applebot จะไม่สร้างดัชนีหน้านี้ และจะไม่ปรากฏในคำแนะนำโดย Spotlight หรือคำแนะนำโดย Siri

• nosnippet: Applebot จะไม่สร้างคำอธิบายหรือคำตอบของเว็บสำหรับหน้านี้

• nofollow: Applebot จะไม่ไปตามลิงก์ใดๆ ที่อยู่ในหน้านี้

• none: Applebot จะไม่สร้างดัชนี, Snippet หรือไปตามลิงก์ในหน้านี้ ดังที่ได้อธิบายไว้ข้างต้น

• all: Applebot มาพร้อมเอกสารสำหรับคำแนะนำต่างๆ และจะสร้าง Snippet ของเนื้อหา เพื่อแสดงคำอธิบายสั้นๆ ของหน้านั้นถัดจากรูปภาพแทน

หากต้องการใส่คำสั่งหลายคำสั่งใน Meta Tag เดียว ให้ใช้รายการที่คั่นด้วยจุลภาคหรือ Meta Tag หลายรายการ

ตัวอย่าง:

<meta name="robots" content="nosnippet, noindex”> <meta name="robots" content=“noindex"> <meta name="robots" content=“nosnippet">

Applebot-Extended และการควบคุมการใช้ข้อมูล

นอกเหนือจากการทำตามกฎและคำสั่ง robots.txt ทั้งหมดแล้ว Apple ยังมี User Agent รอง นั่นก็คือ Applebot-Extended ซึ่งให้ผู้เผยแพร่เว็บควบคุมได้มากขึ้นว่า Apple จะสามารถนำเนื้อหาเว็บไซต์ของตนไปใช้อย่างไรบ้าง

ด้วย Applebot-Extended ผู้เผยแพร่เว็บสามารถเลือกที่จะไม่ให้มีการนำเนื้อหาเว็บไซต์ของตนไปใช้ฝึกโมเดลพื้นฐานของ Apple ที่ขับเคลื่อนคุณสมบัติเจเนอเรทีฟ AI ในผลิตภัณฑ์ต่างๆ ของ Apple เช่น Apple Intelligence, Services และ Developer Tools

คุณสามารถเพิ่มกฎใน robots.txt ดังนี้เพื่อไม่อนุญาต Applebot-Extended ทำงาน

User-agent: Applebot-Extended Disallow: /private/

Applebot-Extended ไม่ Crawl หน้าเว็บ หน้าเว็บที่ไม่อนุญาตให้ Applebot-Extended ทำงานยังสามารถแสดงในผลการค้นหาได้ Applebot-Extended ใช้เพื่อกำหนดว่าจะนำข้อมูลที่ Crawl โดย User Agent ที่เป็น Applebot ไปใช้อย่างไรเท่านั้น

การอนุญาต Applebot-Extended จะช่วยปรับปรุงความสามารถและคุณภาพของโมเดลเจเนอเรทีฟ AI ของ Apple ในระยะยาว

เกี่ยวกับการจัดลำดับการค้นหา

Apple Search อาจพิจารณาปัจจัยต่อไปนี้เมื่อจัดลำดับผลการค้นหาบนเว็บ

• การมีส่วนร่วมของผู้ใช้โดยรวมกับผลการค้นหา

• ความเกี่ยวข้องและการจับคู่คำค้นหากับหัวข้อและเนื้อหาของหน้าเว็บ

• จำนวนและคุณภาพของลิงก์จากหน้าอื่นๆ บนเว็บ

• สัญญาณตามตำแหน่งของผู้ใช้ (ข้อมูลโดยประมาณ)

• ลักษณะการออกแบบของเว็บเพจ

ผลการค้นหาอาจใช้ปัจจัยข้างต้นโดยไม่ส่งผล (ที่กำหนดไว้ล่วงหน้า) ต่อการจัดลำดับ ผู้ใช้งานการค้นหาอยู่ภายใต้นโยบายความเป็นส่วนตัวที่ระบุไว้ในคำแนะนำโดย Siri การค้นหา และความเป็นส่วนตัว

ติดต่อเรา

หากคุณมีคำถามหรือข้อกังวล โปรดติดต่อเราที่ applebot@apple.com