מידע על Applebot

הכירו את Applebot, זחלן הרשת (Web Crawler) של Apple.

הנתונים שה-Applebot סורק משמשים להפעלת תכונות שונות, כגון טכנולוגיית החיפוש המשולבת בחוויות משתמש רבות ב-Ecosystem של Apple, כולל Spotlight‏, Siri ו-Safari. הפעלת ה-Applebot ב-robots.txt מאפשרת הופעה של תכני אתרים בתוצאות חיפוש במוצרים אלה עבור משתמשי Apple ברחבי העולם.

ייתכן שהנתונים שנסרקו על-ידי Applebot ישמשו גם כדי לעזור לאמן מודלים בסיסיים של Apple שמפעילים את התכונות של AI גנרטיבי במוצרים של Apple, לרבות Apple Intelligence, 'שירותים' ו'כלים למפתחים'. בעלי אתרים יכולים לבטל את האפשרות שהתוכן שלהם ישמש לאימון מודלים בסיסיים גנרטיביים על ידי ביטול האפשרות Applebot-Extended בקובץ robots.txt.

גם אם תבטלו את האפשרות Applebot-Extended, ייתכן שההוראות באתר שלכם עדיין יאפשרו ל-Applebot לסרוק את דפי האינטרנט. במקרה כזה, התוכן שלכם יישאר ניתן לגילוי באמצעות Spotlight, ‏Siri ותכונות אחרות ברחבי המערכת במכשירי Apple.

זיהוי Applebot

תנועה שמגיעה מה-Applebot מזוהה בדרך כלל לפי רשומות DNS הפוכות בדומיין *.applebot.apple.com.

דרך נוספת היא להתאים את כתובת ה-IP לתחילית CIDR הכלולה בקובץ ה-JSON הבא: Applebot IP CIDRs.

רשומות DNS הפוכות

ניתן להשתמש בפקודת המארח כדי לקבוע אם כתובת IP היא חלק מ-Applebot. הדוגמאות הבאות מציגות את פקודת המארח ואת התוצאה שלה:

$ host 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com has address 17.58.101.179.

ניתן להשתמש בפקודת המארח גם כדי לוודא שה-DNS מצביע לאותה כתובת IP:

$ host 17.58.101.179 179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

סוכני משתמש

סוכן משתמש מסייע למנהלי אתרים לזהות תעבורת זחלנים (סורקים) כדי שהם יוכלו לקבל דוחות רישום גישה מדויקים לגבי פעילות הזחלן ולשלוט בגישה לאתרים שלהם באמצעות robots.txt.

Applebot מפעיל כמה סוכני משתמש, כולל 'חיפוש' ו'פודקאסטים'.

חיפוש

לסריקה ועיבוד בחיפוש באינטרנט, Applebot משתמש במבנה הבא:

מחרוזת סוכן המשתמש מכילה את המילה "Applebot" ומידע נוסף. זהו המבנה הכללי:

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

דוגמה ממחשב שולחני:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15(KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

דוגמה ממכשיר נייד:

Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

מעת לעת, Applebot יעדכן את גרסת הדפדפן שהוא מפרסם, אך המבנה הכללי שמוצג למעלה יישמר.

Apple Podcasts

תעבורת iTMS עשויה להגיע גם ממארחים ב-applebot.apple.com וניתן יהיה לזהות אותה לפי סוכן המשתמש הבא:

User-Agent: iTMS

סוכן המשתמש של iTMS אינו עוקב אחר robots.txt מכיוון שהוא אינו זחלן חיפוש כללי. הוא סורק רק כתובות URL שמשויכות לתוכן רשום ב-Apple Podcasts.

התאמה אישית של כללי robot.txt

Applebot מכבד את ההנחיות הרגילות של robots.txt בסריקות חיפוש כלליות שממוקדות ב-Applebot. בדוגמה זו, Applebot אינו מנסה לסרוק מסמכים הנמצאים תחת /private/ או /not-allowed/:

User-agent: Applebot Allow: / Disallow: /private/ User-agent: * Disallow: /not-allowed/

אם ההוראות לרובוטים אינן מזכירות את Applebot, אך מזכירות את Googlebot, הרובוט של Apple יפעל בהתאם להוראות המכוונות ל-Googlebot.

עיבוד תוכן וכללים לרובוטים

Applebot עשוי לעבד את תוכן אתר האינטרנט שלכם בתוך הדפדפן. אם robots.txt חוסם javascript,‏ CSS ומשאבים אחרים, ייתכן ש-Applebot לא יצליח לעבד את התוכן כהלכה. בכך נכללים XHR,‏ JS, ו-CSS שעשויים להידרש על ידי דף האינטרנט.

על מנת ש-Applebot יצור אינדקס של התוכן המיטבי עבור הדף, ודאו כי כל מה שנחוץ לעיבוד הדף על ידי המשתמש יהיה זמין ל-Applebot. לחלופין, ודאו כי עיבוד דף האינטרנט מתקבל בצורה נקייה, אפילו אם שאר המשאבים אינם זמינים. נהוג לכנות את התהליך הזה בשם "הפחתה חיננית" (Graceful Degradation).

התאמה אישית של כללי יצירת אינדקס עבור Applebot

Applebot תומך בתגי מטא המיועדים לרובוטים במסמכי HTML. כדי להגדיר כללים לרובוטים באמצעות תגי מטא, הכניסו את התגים למקטע ה-<head> במסמך:

<html><head> <meta name="robots" content="noindex"/> ... </head> <body>...</body> </html>

Applebot תומך גם בהוראות הבאות:

• noindex‏: Applebot לא ייצור אינדקס של דף זה, והוא לא יופיע ב'הצעות Spotlight' או ב'הצעות של Siri'.

• nosnippet:‏ Applebot לא ייצר תיאור או 'תשובת Web' עבור הדף. הצעות לביקור בכתובת URL זו יכללו את כותרת הדף בלבד.

• nofollow:‏ Applebot לא יפעיל קישורים הכלולים בדף.

• none: ‏Applebot לא יבצע יצירת אינדקס ולא יפעיל Snippet או קישורים הכלולים בדף, כמוסבר לעיל.

• all:‏ Applebot מספק את המסמך להצעות ויקצה מקטעים של התכנים שבו כדי שתיאור קצר של הדף יוכל להופיע ליד התמונה המייצגת. Applebot עשוי להפעיל קישורים הכלולים בדף כדי לספק הצעות נוספות.

כדי להכניס מספר הוראות לתג מטא בודד, השתמשו ברשימה המופרדת בפסיקים או בתגי מטא מרובים.

דוגמה:

<meta name="robots" content="nosnippet, noindex”> <meta name="robots" content=“noindex"> <meta name="robots" content=“nosnippet">

שימוש מורחב ב-Applebot ושליטה בשימוש בנתונים

בנוסף למעקב אחר כל הכללים וההנחיות של robots.txt, יש ל-Apple סוכן משתמש משני שנקרא Applebot-Extended ומעניק לבעלי אתרים בקרות נוספות לגבי האופן שבו Apple יכולה להשתמש בתוכן של האתר שלהם.

עם Applebot-Extended, בעלי אתרים יכולים לבחור שתוכן האתר שלהם לא ישמש לאימון המודלים הבסיסיים של Apple שמפעילים את התכונות של AI גנרטיבי במוצרים של Apple, לרבות Apple Intelligence, 'שירותים' ו'כלים למפתחים'.

ניתן להוסיף ל-robots.txt כלל לאיסור פעולה של Applebot-Extended, באופן הבא:

User-agent: Applebot-Extended Disallow: /private/

Applebot-Extended אינו סורק עמודי אינטרנט. עמודי אינטרנט שאינם מתירים שימוש ב-Applebot-Extended עדיין יכולים להיכלל בתוצאות חיפוש. Applebot-Extended משמש רק כדי לקבוע כיצד להשתמש בנתונים שסוכן המשתמש של Applebot סורק.

מתן אפשרות ל-Applebot-Extended לפעול יסייע בשיפור היכולות והאיכות של המודלים של Apple ל-AI גנרטיבי לאורך זמן.

מידע על דירוגי חיפוש

החיפוש של Apple עשוי להביא בחשבון את הגורמים הבאים כאשר הוא מדרג תוצאות חיפוש באינטרנט:

• מעורבות משתמש מצטברת עם תוצאות חיפוש

• הרלוונטיות וההתאמה של מונחי החיפוש לנושאים ולתכנים של דף האינטרנט

• מספר הקישורים אל הדף מדפים אחרים באינטרנט ואיכותם

• אותות המבוססים על מיקום המשתמש (נתונים מקורבים)

• מאפייני עיצוב של דף האינטרנט

תוצאות החיפוש עשויות להשתמש בגורמים שמפורטים למעלה ללא סדר חשיבות (קבוע מראש). המשתמשים בחיפוש כפופים למדיניות הפרטיות המפורטת ב'ההצעות של Siri', 'החיפוש של Siri' ו'הפרטיות של Siri'.

יצירת קשר

אם יש לכם שאלות או חששות, פנו אלינו בכתובת applebot@apple.com.