نبذة عن Applebot

تعرّف على Applebot، متتبع الارتباطات الخاص بـ Apple.

يتم استخدام البيانات التي يتم الوصول إليها من قبل Applebot لتشغيل ميزات مختلفة، مثل تقنية البحث المدمجة في العديد من تجارب المستخدم في بيئة Apple بما في ذلك الباحث وSiri وسفاري. يسمح تمكين Applebot في robots.txt بظهور محتوى موقع الويب في نتائج البحث لمستخدمي Apple في جميع أنحاء العالم في هذه المنتجات.

يمكن أيضًا استخدام البيانات التي تم الزحف إليها بواسطة Applebot للمساعدة في تدريب نماذج Apple الأساسية التي تعمل على تشغيل ميزات الذكاء الاصطناعي التوليدي عبر منتجات Apple، بما في ذلك ذكاء Apple والخدمات وأدوات المطورين. يمكن لناشري الويب إلغاء الاشتراك في استخدام المحتوى الخاص بهم لتدريب النماذج الأساسية التوليدية عن طريق منع Applebot-Extended في ملف robots.txt.

قد يتم استخدام البيانات التي يتوصل إليها تطبيق Applebot لتوفير سياق إضافي ومحتوى محدث عند استخدام نماذج الذكاء الاصطناعي لإنشاء إخراج للعرض في منتجات وخدمات Apple. على سبيل المثال، الإجابة عن أسئلة عامة حول المعرفة العالمية في Siri وعمليات البحث التي قد تتضمن روابط إلى مصادر ومواقع ويب مستخدمة للمساعدة في إنشاء الإجابة. يمكن لناشري الويب إلغاء الاشتراك في استخدام محتواهم في تلك الإجابات العامة حول المعرفة العالمية من خلال تطبيق علامة meta nosnippet على محتوى محدد.

حتى إذا لم تسمح لتطبيق Applebot-Extended وقمت بوضع علامة على محتوى موقع الويب باستخدام علامة meta nosnippet، فقد تظل تعليمات موقع الويب تسمح لـ Applebot بزيارة صفحات الويب الخاصة بك. سيظل المحتوى قابلاً للاكتشاف من خلال "الباحث" وSiri وسفاري، بالإضافة إلى ميزات أخرى على مستوى النظام على أجهزة Apple.

تحديد Applebot

يتم تحديد حركة المرور القادمة من قبل Applebot بشكل عام باستخدام DNS العكسي في *.applebot.apple.com النطاق.

ومن الطرق الأخرى مطابقة عنوان IP مع بادئة CIDR الواردة في ملف JSON التالي: Applebot IP CIDRs.

DNS العكسي

يمكن استخدام أمر host لتحديد هل عنوان IP جزء من Applebot أم لا. توضح الأمثلة التالية أمر host ونتيجته:

$ host 17-58-101-179.applebot.apple.com

17-58-101-179.applebot.apple.com has address 17.58.101.179.

يمكن استخدام أمر host أيضًا للتأكد من أن DNS موجه إلى عنوان IP ذاته:

$ host 17.58.101.179

179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

وكلاء المستخدم

يساعد وكيل المستخدم مشرفي المواقع على تحديد حركة مرور المتتبع، حتى يتمكنوا من الحصول على تقارير دقيقة عن سجل الوصول لنشاط المتتبع والتحكم في الوصول إلى الموقع عبر robots.txt.

يعمل Applebot على تشغيل العديد من وكلاء المستخدمين، بما في ذلك "البحث" وPodcasts.

بحث

للبحث عن متتبع الويب وعرضه، يستخدم Applebot التنسيق التالي:

تتضمن سلسلة وكيل المستخدم "Applebot" ومعلومات أخرى. فيما يلي التنسيق العام:

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

مثال لجهاز سطح المكتب:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15(KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

مثال للأجهزة المحمولة:

Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

في بعض الأحيان، سيقوم Applebot بتحديث إصدار المتصفح الذي تعلن عنه مع البقاء بالتنسيق العام أعلاه.

برامج جمع البيانات الخاصة

ممتلكات Apple عبر الإنترنت

قد تأتي حركة مرور iTMS من قبل applebot.apple.com المضيفين، وسيتم تحديدها من قبل وكيل المستخدم التالي:

User-Agent: iTMS

لا يتبع وكيل مستخدم iTMS ملف robots.txt، لأنه ليس متتبع بحث عام. يقوم وكيل مستخدم iTMS بجمع عناوين URL فقط المرتبطة بالمحتوى المسجل على Apple Podcasts.

تخصيص قواعد robot.txt

يحترم Applebot توجيهات robots.txt القياسية في عمليات تتبع البحث العامة التي تستهدف Applebot. في هذا المثال، لا يحاول Applebot تتبع ارتباطات المستندات الموجودة ضمن المسار ‎/private/ or /not-allowed/:‎

User-agent: Applebot

Allow: /

Disallow: /private/

User-agent: *

Disallow: /not-allowed/

إذا لم يرد Applebot في إرشادات robots، ولكن ورد Googlebot، فسيقوم Apple robot باتباع إرشادات Googlebot. لا يتبع Applebot تأخير جمع البيانات.

تم تصميم Applebot من أجل الكفاءة وسيتم ضبطه لتقليل التأثير على أصحاب المواقع. على سبيل المثال، لتجنب زيادة التحميل على خوادم الموقع، يتم ضبط معدل جمع البيانات الخاص بـ Applebot تلقائيًا عندما يتباطأ أحد المواقع أو يرسل أخطاء اتصال. تقوم Apple أيضًا بتخزين المحتوى الذي تم جمعه مؤقتًا للحدّ من الجمع غير الضروري للبيانات. يؤدي تحديد المحتوى الذي لا يحتاج إلى جمع إلى خفض تكاليف البنية التحتية لأصحاب المواقع ويجعل الإنترنت أكثر كفاءة ككل.

العرض وقواعد robot

يمكن لـ Applebot عرض محتوى موقع الويب الخاص بك في متصفح. ولكنه قد لا يتمكن من عرض المحتوى بشكل صحيح إذا تم حجب javascript وCSS وموارد أخرى عبر robots.txt. وهذا يتضمن XHR وJS وCSS التي يمكن أن تتطلبها الصفحة.

وحتى يفهرس Applebot أفضل محتوى للصفحة، احرص على أن يتوفر كل شيء يحتاج إليه المستخدم لـ Applebot كي يعرض الصفحة. بدلاً من ذلك، احرص على أن يتم عرض موقع الويب بطريقة خالية من المشاكل، حتى إذا لم تتوافر جميع الموارد. وغالبًا ما يشار إلى ذلك باسم التدهور الهيّن.

تخصيص قواعد الفهرسة لـ Applebot

يدعم Applebot علامات robots meta الموجودة في مستندات HTML. لتحديد قواعد robots في علامات meta، ضع العلامات في القسم <head> بهذا المستند:

<html>

<head>

<meta name="robots" content="noindex"/>

...

</head>

<body>...</body>

</html>

يدعم أيضًا Applebot القواعد التالية:

• noindex: لا يقوم Applebot بفهرسة هذه الصفحة، ولا يظهر في "اقتراحات "الباحث"" أو "اقتراحات Siri".

• nosnippet: لا يقوم Applebot بإنشاء وصف أو إجابة على الويب للصفحة. ولا تتضمن أي اقتراحات لزيارة عنوان URL هذا سوى عنوان الصفحة. لن تستخدم Apple البيانات التي تحمل وسم nosnippet كسياق إضافي ولعرض المحتوى المحدث عند استخدام نماذج الذكاء الاصطناعي لإنشاء إخراج للعرض في منتجات وخدمات Apple.

• nofollow: لا يتبع Applebot أي روابط في الصفحة.

• none: لا يقوم Applebot بفهرسة الروابط الموجودة في الصفحة، كما هو موضح أعلاه، أو إظهار مقتطفات منها أو متابعتها.

• all: يقدم Applebot المستند للاقتراحات ويعرض مقتطفات للمحتويات، وهي عبارة عن وصف موجز للصفحة ربما يظهر في صورة توضيحية. وقد يتبع Applebot الروابط الموجودة في الصفحة في سبيل تقديم المزيد من الاقتراحات.

لوضع عدة قواعد في علامة meta واحدة، استخدم قائمة مفصولة بفاصلة أو علامات meta متعددة.

المثال:

<meta name="robots" content="nosnippet, noindex”>

<meta name="robots" content=“noindex">

<meta name="robots" content=“nosnippet">

<meta name="applebot" content=“nosnippet">

استخدام الرأس البرمجي X-Robots-Tag HTTP

يدعم Applebot أيضًا توجيهات الفهرسة التي يتم تسليمها عبر رأس استجابة X-Robots-Tag HTTP. يكون هذا مفيدًا للموارد غير القائمة على HTML (مثل ملفات PDF أو الصور) التي لا يمكن استخدام علامات meta فيها، أو عندما تريد تطبيق توجيهات على مستوى السيرفر. لتطبيق توجيه على Applebot:

X-Robots-Tag: applebot: nosnippet

تمييز المحتوى المدفوع

Applebot خاصية Applebot خاصية schema.org isAccessibleForFree

<script type="application/ld+json">

{

"@context": "https://schema.org",

"isAccessibleForFree": false

}

</script>

الصفحات المميزة بإشارة isAccessibleForFree: false مؤهلة للظهور في نتائج البحث، ولكن Applebot لن يستخدم هذا المحتوى كسياق إضافي عند استخدام نماذج الذكاء الاصطناعي لإنشاء إخراج للعرض في منتجات وخدمات Apple. تنطبق هذه الإشارة على مستوى الصفحة. لا يتم دعم وضع علامات تمييز على مستوى القسم باستخدام hasPart. لإلغاء الاشتراك في استخدام المحتوى الخاص بك لتدريب نماذج Apple الأساسية، استخدم Applebot-Extended الموضح في القسم التالي.

Applebot-Extended والتحكم في استخدام البيانات

بالإضافة إلى اتباع جميع قواعد وتوجيهات robots.txt، تمتلك Apple وكيل مستخدم ثانوي، Applebot-Extended، يمنح ناشري الويب ضوابط إضافية حول كيفية استخدام محتوى موقع الويب الخاص بهم من قبل شركة Apple.

باستخدام Applebot-Extended، يمكن لناشري الويب اختيار إلغاء الاشتراك في استخدام محتوى موقعهم ألإلكتروني لتدريب نماذج Apple الأساسية ذات الغرض العام التي تشغل ميزات الذكاء الاصطناعي التوليدي عبر منتجات Apple، بما في ذلك ذكاء Apple و"الخدمات" و"أدوات المطورين".

يمكنك إضافة قاعدة في ملف robots.txt لمنع Applebot-Extended، على النحو التالي:

User-agent: Applebot-Extended

Disallow: /private/

لا يقوم Applebot-Extended بتتبع صفحات الويب. لا يزال من الممكن تضمين صفحات الويب، التي تمنع Applebot-Extended، في نتائج البحث. يتم استخدام Applebot-Extended فقط لتحديد كيفية استخدام البيانات التي يتتبعها وكيل مستخدم Applebot.

سيساعد السماح لـ Applebot-Extended في تحسين قدرات وجودة نماذج الذكاء الاصطناعي التوليدية من Apple بمرور الوقت.

نبذة عن ترتيب نتائج البحث

يمكن لخاصية "البحث" من Apple أخذ العوامل التالية في الاعتبار عند ترتيب نتائج البحث في الويب:

• التفاعل المجمع للمستخدم مع نتائج البحث

• مدى صلة مصطلحات البحث ومطابقتها مع الموضوعات والمحتوى على صفحات الويب

• عدد ونوعية الروابط من الصفحات الأخرى على الويب

• الإشارات القائمة على موقع المستخدم (بيانات تقريبية)

• سمات تصميم صفحة الويب

يمكن أن تستخدم نتائج البحث العوامل السابقة بغض النظر عن أهمية الترتيب (يتم تحديده مسبقًا). يخضع مستخدمو "البحث" إلى سياسة الخصوصية في "اقتراحات Siri والبحث والخصوصية".

الاتصال بنا

إذا كانت لديك أسئلة أو تساؤلات، فيرجى الاتصال بنا على ‏applebot@apple.com.