מידע על Applebot

הכירו את Applebot, זחלן הרשת (Web Crawler) של Apple.

הנתונים הנסרקים על ידי Applebot משמשים להפעלת מאפיינים שונים, כגון טכנולוגיית החיפוש המשולבת בחוויות משתמש רבות ב-Ecosystem של Apple, כולל Spotlight‏, Siri ו-Safari. הפעלת ה-Applebot ב-robots.txt מאפשרת הופעה של תכני אתרים בתוצאות חיפוש במוצרים אלה עבור משתמשי Apple ברחבי העולם.

ייתכן שהנתונים שנסרקו על-ידי Applebot ישמשו גם כדי לעזור לאמן מודלים בסיסיים של Apple שמפעילים את התכונות של AI גנרטיבי במוצרים של Apple, לרבות Apple Intelligence, 'שירותים' ו'כלים למפתחים'. בעלי אתרים יכולים לבטל את האפשרות שהתוכן שלהם ישמש לאימון מודלים בסיסיים גנרטיביים על ידי ביטול האפשרות Applebot-Extended בקובץ robots.txt.

הנתונים ש-Applebot סורק עשויים לשמש כדי לספק הקשר נוסף ותוכן עדכני כאשר נעשה שימוש במודלים של בינה מלאכותית, על מנת ליצור פלט להצגה במוצרים ובשירותים של Apple. לדוגמה, מענה על שאלות רחבות בנושא ידע עולמי ב-Siri וב'חיפוש', באופן שעשוי לכלול קישורים למקורות ולאתרי אינטרנט המשמשים לסיוע ביצירת התשובה. בעלי אתרים יכולים לבטל את השימוש בתוכן שלהם בתשובות הרחבות האלה בנושא ידע עולמי על ידי החלת תג המטא nosnippet על תוכן מסוים.

גם אם תסירו את ההרשאה של Applebot-Extended ותסמנו את תוכן האתר בתג המטא nosnippet, ייתכן שהוראות האתר עדיין יאפשרו ל-Applebot לסרוק את דפי האינטרנט שלכם. עדיין ניתן יהיה לאתר את התוכן שלכם באמצעות Spotlight,‏ Siri ו-Safari, וכן באמצעות מאפיינים אחרים ברמת המערכת במכשירי Apple.

זיהוי Applebot

תנועה שמגיעה מה-Applebot מזוהה בדרך כלל לפי רשומות DNS הפוכות בדומיין *.applebot.apple.com.

דרך נוספת היא להתאים את כתובת ה-IP לתחילית CIDR הכלולה בקובץ ה-JSON הבא: Applebot IP CIDRs.

רשומות DNS הפוכות

ניתן להשתמש בפקודת המארח כדי לקבוע אם כתובת IP היא חלק מ-Applebot. הדוגמאות הבאות מציגות את פקודת המארח ואת התוצאה שלה:

$ host 17-58-101-179.applebot.apple.com

17-58-101-179.applebot.apple.com has address 17.58.101.179.

ניתן להשתמש בפקודת המארח גם כדי לוודא שה-DNS מצביע לאותה כתובת IP:

$ host 17.58.101.179

179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

סוכני משתמש

סוכן משתמש מסייע למנהלי אתרים לזהות תעבורת זחלנים (סורקים) כדי שהם יוכלו לקבל דוחות רישום גישה מדויקים לגבי פעילות הזחלן ולשלוט בגישה לאתרים שלהם באמצעות robots.txt.

Applebot מפעיל כמה סוכני משתמש, כולל 'חיפוש' ו'פודקאסטים'.

חיפוש

לסריקה ועיבוד בחיפוש באינטרנט, Applebot משתמש במבנה הבא:

מחרוזת סוכן המשתמש מכילה את המילה "Applebot" ומידע נוסף. זהו המבנה הכללי:

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

דוגמה ממחשב שולחני:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15(KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

דוגמה ממכשיר נייד:

Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

מעת לעת, Applebot יעדכן את גרסת הדפדפן שהוא מפרסם, אך המבנה הכללי שמוצג למעלה יישמר.

זחלנים מיוחדים

מאפיינים מקוונים של Apple

תעבורת iTMS עשויה להגיע גם ממארחי applebot.apple.com, וניתן יהיה לזהות אותה לפי סוכן המשתמש הבא:

User-Agent: iTMS

סוכן המשתמש של iTMS אינו עוקב אחר robots.txt מכיוון שהוא אינו זחלן חיפוש כללי. סוכן המשתמש של iTMS סורק רק כתובות URL המשויכות לתוכן רשום ב-Apple Podcasts.

התאמה אישית של כללי robot.txt

Applebot מכבד את ההנחיות הרגילות של robots.txt בסריקות חיפוש כלליות שממוקדות ב-Applebot. בדוגמה זו, Applebot אינו מנסה לסרוק מסמכים הנמצאים תחת /private/ או /not-allowed/:

User-agent: Applebot

Allow: /

Disallow: /private/

User-agent: *

Disallow: /not-allowed/

אם ההוראות לרובוטים אינן מזכירות את Applebot, אך כן מזכירות את Googlebot, הרובוט של Apple יפעל בהתאם להוראות המיועדות ל-Googlebot. ‏Applebot אינו פועל לפי crawl-delay.

Applebot תוכנן ליעילות ויתאים את עצמו כדי למזער את ההשפעה על בעלי האתרים. לדוגמה, כדי למנוע עומס יתר על שרתי האתר, קצב הסריקה של Applebot עובר התאמה באופן אוטומטי כאשר אתר מאט או מחזיר שגיאות. Apple גם שומרת במטמון תוכן שנסרק כדי לצמצם סריקות מיותרות. זיהוי תוכן שאין צורך לסרוק מפחית את עלויות התשתית עבור בעלי אתרים והופך את האינטרנט ליעיל יותר באופן כללי.

עיבוד תוכן וכללים לרובוטים

Applebot עשוי לעבד את תוכן אתר האינטרנט שלכם בתוך הדפדפן. אם robots.txt חוסם javascript,‏ CSS ומשאבים אחרים, ייתכן ש-Applebot לא יצליח לעבד את התוכן כהלכה. בכך נכללים XHR,‏ JS, ו-CSS שעשויים להידרש על ידי דף האינטרנט.

על מנת ש-Applebot יצור אינדקס של התוכן המיטבי עבור הדף, ודאו כי כל מה שנחוץ לעיבוד הדף על ידי המשתמש יהיה זמין ל-Applebot. לחלופין, ודאו כי עיבוד דף האינטרנט מתקבל בצורה נקייה, אפילו אם שאר המשאבים אינם זמינים. נהוג לכנות את התהליך הזה בשם "הפחתה חיננית" (Graceful Degradation).

התאמה אישית של כללי יצירת אינדקס עבור Applebot

Applebot תומך בתגי מטא המיועדים לרובוטים במסמכי HTML. כדי להגדיר כללים לרובוטים באמצעות תגי מטא, הכניסו את התגים למקטע ה-<head> במסמך:

<html>

<head>

<meta name="robots" content="noindex"/>

...

</head>

<body>...</body>

</html>

Applebot תומך גם בהוראות הבאות:

• noindex‏: Applebot לא ייצור אינדקס של דף זה, והוא לא יופיע ב'הצעות Spotlight' או ב'הצעות של Siri'.

• nosnippet:‏ Applebot לא ייצר תיאור או 'תשובת Web' עבור הדף. הצעות לביקור בכתובת URL זו יכללו את כותרת העמוד בלבד. Apple לא תשתמש ב-nosnippet עם נתונים שתויגו כהקשר נוסף וכתוכן עדכני, כאשר נעשה שימוש במודלים של AI על מנת להפיק פלט להצגה במוצרים ובשירותים של Apple.

• nofollow:‏ Applebot לא יפעיל קישורים הכלולים בדף.

• none: ‏Applebot לא יבצע יצירת אינדקס ולא יפעיל Snippet או קישורים הכלולים בדף, כמוסבר לעיל.

• all:‏ Applebot מספק את המסמך להצעות ויקצה מקטעים של התכנים שבו כדי שתיאור קצר של הדף יוכל להופיע ליד התמונה המייצגת. Applebot עשוי להפעיל קישורים הכלולים בדף כדי לספק הצעות נוספות.

כדי להכניס מספר הוראות לתג מטא בודד, השתמשו ברשימה המופרדת בפסיקים או בתגי מטא מרובים.

דוגמה:

<meta name="robots" content="nosnippet, noindex”>

<meta name="robots" content=“noindex">

<meta name="robots" content=“nosnippet">

<meta name="applebot" content=“nosnippet">

שימוש בכותרת של HTTP ‏"X-Robots-Tag"

Applebot תומך גם בהנחיות ליצירת אינדקס שסופקו דרך כותרת התגובה של HTTP‏ "X-Robots-Tag". הדבר שימושי עבור משאבים שאינם HTML (כגון קובצי PDF או תמונות), שבהם אי אפשר להשתמש בתגי מטא, או כאשר אתם רוצים להחיל הנחיות ברמת השרת. כדי להחיל הנחיה על Applebot:

X-Robots-Tag: applebot: nosnippet

סימון תוכן החסום בחומת תשלום

Applebot תומך במאפיין schema.org isAccessibleForFree כדי לזהות דפים שנמצאים מאחורי חומת תשלום, גישה בתעריף לפי מונה או מינוי. הוסיפו את המאפיין לנתונים המובנים ברמת העמוד ב-JSON-LD:

<script type="application/ld+json">

{

"@context": "https://schema.org",

"isAccessibleForFree": false

}

</script>

דפים שסומנו כ-isAccessibleForFree: false יהיו מתאימים להופיע בתוצאות חיפוש, אך Applebot לא ישתמש בתוכן זה כהקשר נוסף כאשר נעשה שימוש במודלים של בינה מלאכותית כדי ליצור פלט להצגה במוצרים ובשירותים של Apple. סימון זה חל ברמת העמוד. סימון ברמת סעיף באמצעות hasPart אינו נתמך. כדי לבטל את אפשרות השימוש בתוכן שלכם לאימון מודלי הבסיס של Apple, השתמשו ב-Applebot-Extended המתואר בסעיף הבא.

שימוש מורחב ב-Applebot ושליטה בשימוש בנתונים

בנוסף למעקב אחר כל הכללים וההנחיות של robots.txt, יש ל-Apple סוכן משתמש משני שנקרא Applebot-Extended ומעניק לבעלי אתרים בקרות נוספות לגבי האופן שבו Apple יכולה להשתמש בתוכן של האתר שלהם.

עם Applebot-Extended, בעלי אתרים יכולים לבטל את האפשרות שתוכן האתר שלהם ישמש לאימון מודלי הבסיס של Apple למטרות כלליות, התומכים במאפיינים של AI גנרטיבי במוצרים של Apple, לרבות Apple Intelligence, 'שירותים' ו'כלי פיתוח'.

ניתן להוסיף ל-robots.txt כלל לאיסור פעולה של Applebot-Extended, באופן הבא:

User-agent: Applebot-Extended

Disallow: /private/

Applebot-Extended אינו סורק עמודי אינטרנט. עמודי אינטרנט שאינם מתירים שימוש ב-Applebot-Extended עדיין יכולים להיכלל בתוצאות חיפוש. Applebot-Extended משמש רק כדי לקבוע כיצד להשתמש בנתונים שסוכן המשתמש של Applebot סורק.

מתן אפשרות ל-Applebot-Extended לפעול יסייע בשיפור היכולות והאיכות של המודלים של Apple ל-AI גנרטיבי לאורך זמן.

מידע על דירוגי חיפוש

החיפוש של Apple עשוי להביא בחשבון את הגורמים הבאים כאשר הוא מדרג תוצאות חיפוש באינטרנט:

• מעורבות משתמש מצטברת עם תוצאות חיפוש

• הרלוונטיות וההתאמה של מונחי החיפוש לנושאים ולתכנים של דף האינטרנט

• מספר הקישורים אל הדף מדפים אחרים באינטרנט ואיכותם

• אותות המבוססים על מיקום המשתמש (נתונים מקורבים)

• מאפייני עיצוב של דף האינטרנט

תוצאות החיפוש עשויות להשתמש בגורמים שמפורטים למעלה ללא סדר חשיבות (קבוע מראש). המשתמשים בחיפוש כפופים למדיניות הפרטיות המפורטת ב'ההצעות של Siri', 'החיפוש של Siri' ו'הפרטיות של Siri'.

יצירת קשר

אם יש לכם שאלות או חששות, פנו אלינו בכתובת applebot@apple.com.