אודות Applebot

הכירו את Applebot, זחלן הרשת (Web Crawler) של Apple.

Applebot הוא זחלן הרשת של Apple. מוצרים כמו 'הצעות של Siri' ו'הצעות של Spotlight' משתמשים ב-Applebot.

זיהוי Applebot

תעבורה שמגיעה מ-Applebot מזוהה לפי סוכן המשתמש שלה, וחיפוש DNS הפוך יציג אותה בתחום applebot.apple.com.*, שמקורו בבלוק הרשת 17.0.0.0.

אימות שהתעבורה היא מ-Applebot

ב-macOS, ניתן להשתמש בפקודת המארח כדי לקבוע אם כתובת IP היא חלק מ-Applebot. הדוגמאות הבאות מציגות את פקודת המארח ואת התוצאה שלה:

$ host 17.58.101.179
179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

ניתן להשתמש בפקודת המארח גם כדי לוודא שה-DNS מצביע לאותה כתובת IP:

$ host 17-58-101-179.applebot.apple.com
17-58-101-179.applebot.apple.com has address 17.58.101.179.

אימות סוכן המשתמש של Applebot

מחרוזת סוכן המשתמש מכילה את המילה "Applebot" ומידע נוסף. זו התבנית: 

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)
Version/Safari_version Safari/WebKit_version (Applebot/Applebot_version)

דוגמאות עבור מחשב שולחני:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5
(KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1)

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/605.1.15
(KHTML, like Gecko) Version/12.1.1 Safari/605.1.15 (Applebot/0.1)

דוגמאות עבור מכשיר נייד:

Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4
(KHTML, like Gecko) Version/8.0 Mobile/12B410 Safari/600.1.4 (Applebot/0.1;
+http://www.apple.com/go/applebot)

Mozilla/5.0 (iPhone; CPU iPhone OS 13_4_1 like Mac OS X) AppleWebKit/605.1.15Z
(KHTML, like Gecko) Version/13.1 Mobile/15E148 Safari/604.1 (Applebot/0.1)

התאמה אישית של כללי robot.txt

Applebot ממלא אחר הוראות סטנדרטיות של robots.txt המכוונות ל-Applebot. בדוגמה זו, Applebot אינו מנסה לסרוק מסמכים הנמצאים תחת /private/ או /not-allowed/:

User-agent: Applebot         # apple
Allow: /                     # Allow everything (also true if omitted)
Disallow: /private/          # disallow this directory

User-agent: *                # any robot
Disallow: /not-allowed/      # disallow this directory

אם ההוראות לרובוטים אינן מזכירות את Applebot אך כן מזכירות את Googlebot, הרובוט של Apple יפעל בהתאם להוראות המכוונות ל-Googlebot.

 

עיבוד תוכן וכללים לרובוטים

Applebot עשוי לעבד את תוכן אתר האינטרנט שלכם בתוך הדפדפן. אם robots.txt חוסם javascript,‏ CSS ומשאבים אחרים, ייתכן ש-Applebot לא יצליח לעבד את התוכן כהלכה. בכך נכללים XHR,‏ JS, ו-CSS שעשויים להידרש על ידי דף האינטרנט.

על מנת ש-Applebot יצור אינדקס של התוכן המיטבי עבור הדף, ודאו כי כל מה שנחוץ לעיבוד הדף על ידי המשתמש יהיה זמין ל-Applebot. לחלופין, ודאו כי עיבוד דף האינטרנט מתקבל בצורה נקייה, אפילו אם שאר המשאבים אינם זמינים. נהוג לכנות את התהליך הזה בשם "הפחתה חיננית" (Graceful Degradation).

התאמה אישית של כללי יצירת אינדקס עבור Applebot

Applebot תומך בתגי מטא המיועדים לרובוטים במסמכי HTML. כדי להגדיר כללים לרובוטים באמצעות תגי מטא, הכניסו את התגים למקטע ה-<head> במסמך, כמו בדוגמה הבאה:

<html><head>
 <meta name="robots" content="noindex"/>
 ...
 </head>
 <body>...</body>
 </html>

Applebot תומך גם בהוראות הבאות:

  • noindex:‏ Applebot לא ייצור אינדקס של דף זה, והוא לא יופיע ב'הצעות של Spotlight' או ב'הצעות של Siri'.
  • nosnippet:‏ Applebot לא ייצר תיאור או 'תשובת Web' עבור הדף. הצעות לביקור בכתובת URL זו יכללו את כותרת הדף בלבד.
  • nofollow:‏ Applebot לא יפעיל קישורים הכלולים בדף.
  • none: ‏Applebot לא יבצע יצירת אינדקס ולא יפעיל Snippet או קישורים הכלולים בדף, כמוסבר לעיל.
  • all:‏ Applebot מספק את המסמך להצעות ויקצה מקטעים של התכנים שבו כדי שתיאור קצר של הדף יוכל להופיע ליד התמונה המייצגת. Applebot עשוי להפעיל קישורים הכלולים בדף כדי לספק הצעות נוספות.

כדי להכניס מספר הוראות לתג מטא בודד, השתמשו ברשימה המופרדת בפסיקים או בתגי מטא מרובים. דוגמאות:

<meta name="robots" content="nosnippet, noindex”>

<meta name="robots" content=“noindex">

<meta name="robots" content=“nosnippet">

אודות דירוגי חיפוש

החיפוש של Apple עשוי להביא בחשבון את הנתונים הבאים כאשר הוא מדרג תוצאות חיפוש באינטרנט:

  • מעורבות משתמש מצטברת עם תוצאות חיפוש
  • הרלוונטיות וההתאמה של מונחי החיפוש לנושאים ולתכנים של דף האינטרנט
  • מספר הקישורים אל הדף מדפים אחרים באינטרנט ואיכותם
  • אותות המבוססים על מיקום המשתמש (נתונים מקורבים)
  • מאפייני עיצוב של דף האינטרנט 

תוצאות החיפוש עשויות להשתמש בגורמים הנזכרים לעיל ללא סדר חשיבות (קבוע מראש). המשתמשים בחיפוש כפופים למדיניות הפרטיות המפורטת ב'ההצעות של Siri', 'החיפוש של Siri' ו'הפרטיות של Siri'.

יוצרים קשר

אם יש לכם שאלות או חששות, פנו אלינו בכתובת applebot@apple.com.

מידע על מוצרים שאינם מיוצרים על ידי Apple, או על אתרי אינטרנט עצמאיים שאינם נמצאים תחת פיקוח של Apple ולא נבדקו על ידה, מסופק ללא המלצה או הבעת תמיכה. Apple אינה אחראית לבחירה, לביצועים או לשימוש באתרי אינטרנט או במוצרים של צד שלישי. Apple לא מתחייבת לגבי מידת הדיוק או האמינות של אתרי אינטרנט של צד שלישי. פנו לספק לקבלת מידע נוסף.

Published Date: