Відомості про Applebot

Дізнайтеся про Applebot, пошуковий робот Apple.

Дані, зібрані за допомогою Applebot, використовуються, щоб розширювати можливості різних функцій, зокрема пошукової системи, інтегрованої в багато технологій Apple, як-от Spotlight, Siri та Safari. Якщо активувати Applebot через файл robots.txt, контент відповідного вебсайту виводитиметься користувачам Apple з усього світу в результатах пошуку в цих технологіях.

Дані, які сканує Applebot, також можуть використовуватися для навчання основних моделей Apple, що забезпечують функції генеративного ШІ, у всіх продуктах Apple, зокрема в Apple Intelligence, сервісах й інструментах для розробників. Вебвидавці можуть відмовитися від використання їхнього контенту для навчання основних генеративних моделей, заборонивши розширення Applebot-Extended у файлі robots.txt.

Коли моделі ШІ використовуються для створення матеріалів, що відображаються в продуктах і сервісах Apple, дані, зібрані за допомогою Applebot, можуть використовуватися як додатковий контекст і актуальний контент. Наприклад, відповіді на загальні запитання в Siri та Пошуку можуть містити посилання на джерела та вебсайти, використані під час створення відповіді. Вебвидавці можуть заборонити використовувати свій контент у таких відповідях на загальні запитання, додавши до певної частини контенту метатег nosnippet.

Навіть якщо ви забороните агента Applebot-Extended і позначите контент вебсайту за допомогою метатегу nosnippet, інструкції на вашому вебсайті однаково можуть дозволяти роботу Applebot збирати дані на ваших вебсторінках. Ваш контент і надалі можна буде знаходити через Spotlight, Siri та Safari, а також за допомогою інших системних функцій на пристроях Apple.

Ідентифікація Applebot

Зазвичай трафік від Applebot можна ідентифікувати за допомогою зворотного DNS у домені *.applebot.apple.com.

Також можна зіставити IP-адресу з префіксом CIDR, указаним у цьому файлі JSON: Префікси CIDR IP-адрес Applebot.

Зворотний DNS

За допомогою команди host можна визначити, чи є IP-адреса частиною Applebot. У наведених нижче прикладах показано команду host та її результат.

$ host 17-58-101-179.applebot.apple.com

17-58-101-179.applebot.apple.com has address 17.58.101.179.

За допомогою команди host можна також перевірити, чи вказує DNS на ту саму IP-адресу.

$ host 17.58.101.179

179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

Агенти користувача

Агент користувача допомагає вебмайстрам ідентифікувати трафік пошукового робота. Це дає змогу отримувати із журналу доступу точні дані про активність робота й контролювати його доступ до сайту через файл robots.txt.

Applebot використовується в кількох агентах користувача, зокрема в Пошуку та Podcasts.

Пошук

Нижче наведено формат рядка, який Applebot використовує для пошуку й рендерингу вебконтенту.

Рядок user-agent містить слово «Applebot» та іншу інформацію. Ось загальний формат цього рядка:

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Приклад для настільного комп’ютера:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15(KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

Приклад для мобільного пристрою:

Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

Іноді Applebot оновлюватиме зазначену в рядку версію браузера. Але його формат залишатиметься загальним, як показано вище.

Спеціальні пошукові роботи

Онлайн-властивості Apple

Трафік iTMS може надходити з хостів applebot.apple.com. Ідентифікувати його можна за цим агентом користувача:

User-Agent: iTMS

Агент користувача iTMS не дотримується директив robots.txt, оскільки він не є загальним пошуковим роботом. Агент користувача iTMS лише сканує URL-адреси, пов’язані із зареєстрованим контентом в Apple Podcasts.

Налаштування правил robot.txt

Робот Applebot дотримується стандартних директив robots.txt під час виконання загальних цільових для нього пошукових запитів. У наведеному нижче прикладі Applebot не намагається сканувати документи, які перебувають у розділі /private/ або /not-allowed/.

User-agent: Applebot

Allow: /

Disallow: /private/

User-agent: *

Disallow: /not-allowed/

Якщо в інструкціях для роботів не згадується Applebot, але згадується Googlebot, робот Apple дотримуватиметься вказівок для Googlebot. Applebot не враховує параметр crawl-delay.

Робота Applebot створено з урахуванням вимог щодо ефективності, і він адаптується таким чином, щоб мінімізувати вплив на власників сайтів. Наприклад, щоб уникнути перевантаження серверів сайту, швидкість сканування Applebot автоматично змінюється, коли сайт сповільнюється або повертає помилки. Компанія Apple також кешує зібраний контент, щоб скоротити кількість непотрібних сканувань. Виявлення контенту, який не потрібно сканувати, знижує витрати на інфраструктуру для власників сайтів і робить інтернет загалом ефективнішим.

Рендеринг і робот: правила

Applebot може здійснювати рендеринг вмісту вебсайту в браузері. Якщо ресурси javascript, CSS та інші ресурси заблоковано за допомогою robots.txt, може не здійснюватися належний рендеринг вмісту. Це стосується XHR, JS і CSS, які можуть знадобитися на сторінці.

Щоб Applebot проіндексував найкращий вміст сторінки, переконайтеся, що все необхідне для рендерингу сторінки доступне для Applebot. Крім того, упевніться, що вебсайт відображається як слід, навіть якщо не всі ресурси доступні. Це часто називають поступовою деградацією.

Налаштування правил індексування для Applebot

Applebot підтримує метатеги robots у документах HTML. Щоб указати правила для роботів у метатегах, розмістіть їх у розділі <head> документа.

<html>

<head>

<meta name="robots" content="noindex"/>

...

</head>

<body>...</body>

</html>

Applebot також підтримує наведені нижче директиви.

• noindex: Applebot не індексуватиме цю сторінку, і вона не з’являтиметься в Spotlight чи Пропозиціях Siri.

• nosnippet: Applebot не створюватиме опис або вебвідповідь для сторінки. Будь-які пропозиції відвідати цю URL-адресу міститимуть тільки заголовок сторінки. Коли моделі ШІ використовуються для створення матеріалів, що відображаються в продуктах і сервісах Apple, компанія Apple не використовуватиме дані, позначені за допомогою метатегу nosnippet, як додатковий контекст і актуальний контент.

• nofollow: Applebot не переходитиме за посиланнями на цій сторінці.

• none: Applebot не здійснюватиме індексування, фрагментування та не переходитиме за посиланнями на цій сторінці, як описано вище.

• all: Applebot надає документ для пропозицій і робить фрагменти вмісту так, щоб поруч із репрезентативним зображенням з’являвся короткий опис сторінки. Applebot може переходити за посиланнями на сторінці, щоб надати більше пропозицій.

Щоб додати кілька директив в один метатег, використовуйте список, розділений комами, або кілька метатегів.

Приклад:

<meta name="robots" content="nosnippet, noindex”>

<meta name="robots" content=“noindex">

<meta name="robots" content=“nosnippet">

<meta name="applebot" content=“nosnippet">

Як використовувати HTTP-заголовок X-Robots-Tag

Applebot також підтримує директиви індексування, що передаються через HTTP-заголовок відповіді X-Robots-Tag. Вони можуть стати в пригоді під час роботи з ресурсами, відмінними від HTML (наприклад, PDF-файлами чи зображеннями), де не можна використовувати метатеги, або якщо потрібно застосувати директиви на рівні сервера. Щоб застосувати директиву до Applebot, виконайте таку команду:

X-Robots-Tag: applebot: nosnippet

Як позначити контент із платним доступом

Applebot підтримує властивість isAccessibleForFree із сайту schema.org, за допомогою якої позначаться сторінки з платним доступом, лімітом переглядів чи обов’язковою підпискою. Додайте властивість до структурованих даних на рівні сторінки в JSON-LD:

<script type="application/ld+json">

{

"@context": "https://schema.org",

"isAccessibleForFree": false

}

</script>

Сторінки з позначкою isAccessibleForFree: false можуть з’являтись у результатах пошуку, але Applebot не використовуватиме такий контент як додатковий контекст, коли моделі ШІ використовуються для створення матеріалів, що відображаються в продуктах і сервісах Apple. Цей сигнал застосовується на рівні сторінки. Розмітка на рівні розділу з використанням властивості hasPart не підтримується. Щоб заборонити використовувати свій контент для навчання базових моделей Apple, скористайтесь агентом Applebot-Extended, відомості про якого наведено в наступному розділі.

Applebot-Extended і керування використанням даних

Окрім дотримання всіх правил і директив із файлу robots.txt, Apple має додатковий агент користувача — Applebot-Extended. Він надає вебвидавцям додатковий контроль над тим, як компанія Apple використовує контент їхніх вебсайтів.

За допомогою Applebot-Extended вебвидавці можуть заборонити використовувати контент своїх вебсайтів для навчання базових моделей Apple загального призначення, що розширюють можливості функцій із генеративним ШІ в технологіях Apple, зокрема в Apple Intelligence, сервісах та інструментах розробки.

Щоб заборонити Applebot-Extended, додайте у файл robots.txt це правило:

User-agent: Applebot-Extended

Disallow: /private/

Агент Applebot-Extended не сканує вебсторінки. Сторінки, де його заборонено, усе ще можуть виводитися в результатах пошуку. Applebot-Extended лише визначає спосіб використання даних, видобутих агентом користувача Applebot.

Дозволивши Applebot-Extended, ви допоможете з часом покращити можливості та якість моделей генеративного ШІ від Apple.

Відомості про ранжування результатів пошуку

Apple Search може враховувати всі перелічені нижче фактори під час ранжування результатів вебпошуку.

• Сукупне залучення користувачів до результатів пошуку

• Релевантність і відповідність пошукових термінів темам і вмісту вебсторінок

• Кількість і якість посилань з інших сторінок в Інтернеті

• Сигнали на основі розташування користувача (приблизні дані)

• Характеристики структури вебсторінок

У результатах пошуку можуть використовуватися вищезазначені фактори без (заздалегідь визначеного) значення ранжування. На користувачів функції пошуку поширюється політика приватності, наведена на сторінці Пропозиції Siri, пошук і приватність.

Зверніться до нас

Із запитаннями чи занепокоєннями звертайтеся до нас за адресою applebot@apple.com.