Відомості про Applebot

Дізнайтеся про Applebot, пошуковий робот Apple.

Дані, видобуті Applebot, використовуються, щоб розширювати можливості різних функцій, зокрема пошукової системи, інтегрованої в багато технологій Apple, як-от Spotlight, Siri та Safari. Якщо активувати Applebot через файл robots.txt, контент відповідного вебсайту виводитиметься користувачам Apple з усього світу в результатах пошуку в цих технологіях.

Дані, які сканує Applebot, також можуть використовуватися для навчання основних моделей Apple, що забезпечують функції генеративного ШІ, у всіх продуктах Apple, зокрема в Apple Intelligence, сервісах й інструментах для розробників. Вебвидавці можуть відмовитися від використання їхнього контенту для навчання основних генеративних моделей, заборонивши розширення Applebot-Extended у файлі robots.txt.

Навіть якщо ви забороните розширення Applebot-Extended, інструкції на вашому вебсайті все одно можуть дозволяти Applebot сканувати ваші вебсторінки. У такому разі ваш контент буде доступний через Spotlight, Siri й інші загальносистемні функції на пристроях Apple.

Ідентифікація Applebot

Зазвичай трафік від Applebot можна ідентифікувати за допомогою зворотного DNS у домені *.applebot.apple.com.

Також можна зіставити IP-адресу з префіксом CIDR, указаним у цьому файлі JSON: Префікси CIDR IP-адрес Applebot.

Зворотний DNS

За допомогою команди host можна визначити, чи є IP-адреса частиною Applebot. У наведених нижче прикладах показано команду host та її результат.

$ host 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com has address 17.58.101.179.

За допомогою команди host можна також перевірити, чи вказує DNS на ту саму IP-адресу.

$ host 17.58.101.179 179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

Агенти користувача

Агент користувача допомагає вебмайстрам ідентифікувати трафік пошукового робота. Це дає змогу отримувати із журналу доступу точні дані про активність робота й контролювати його доступ до сайту через файл robots.txt.

Applebot використовується в кількох агентах користувача, зокрема в Пошуку та Podcasts.

Пошук

Нижче наведено формат рядка, який Applebot використовує для пошуку й рендерингу вебконтенту.

Рядок user-agent містить слово «Applebot» та іншу інформацію. Ось загальний формат цього рядка:

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Приклад для настільного комп’ютера:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15(KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

Приклад для мобільного пристрою:

Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

Іноді Applebot оновлюватиме зазначену в рядку версію браузера. Але його формат залишатиметься загальним, як показано вище.

Apple Podcasts

Трафік iTMS також може надходити з хостів applebot.apple.com. Ідентифікувати його можна за цим агентом користувача:

User-Agent: iTMS

Агент користувача iTMS не дотримується директив robots.txt, оскільки він не є загальним пошуковим роботом. Він лише сканує URL-адреси, пов’язані із зареєстрованим контентом в Apple Podcasts.

Налаштування правил robot.txt

Робот Applebot дотримується стандартних директив robots.txt під час виконання загальних цільових для нього пошукових запитів. У наведеному нижче прикладі Applebot не намагається сканувати документи, які перебувають у розділі /private/ або /not-allowed/.

User-agent: Applebot Allow: / Disallow: /private/ User-agent: * Disallow: /not-allowed/

Якщо в інструкціях для роботів не згадується Applebot, але згадується Googlebot, робот Apple слідуватиме вказівкам для Googlebot.

Рендеринг і робот: правила

Applebot може здійснювати рендеринг вмісту вебсайту в браузері. Якщо ресурси javascript, CSS та інші ресурси заблоковано за допомогою robots.txt, може не здійснюватися належний рендеринг вмісту. Це стосується XHR, JS і CSS, які можуть знадобитися на сторінці.

Щоб Applebot проіндексував найкращий вміст сторінки, переконайтеся, що все необхідне для рендерингу сторінки доступне для Applebot. Крім того, упевніться, що вебсайт відображається як слід, навіть якщо не всі ресурси доступні. Це часто називають поступовою деградацією.

Налаштування правил індексування для Applebot

Applebot підтримує метатеги robots у документах HTML. Щоб указати правила для роботів у метатегах, розмістіть їх у розділі <head> документа.

<html><head> <meta name="robots" content="noindex"/> ... </head> <body>...</body> </html>

Applebot також підтримує наведені нижче директиви.

• noindex: Applebot не індексуватиме цю сторінку, і вона не з’являтиметься в Spotlight чи Пропозиціях Siri.

• nosnippet: Applebot не створюватиме опис або вебвідповідь для сторінки. Будь-які пропозиції відвідати цю URL-адресу міститимуть тільки заголовок сторінки.

• nofollow: Applebot не переходитиме за посиланнями на цій сторінці.

• none: Applebot не здійснюватиме індексування, фрагментування та не переходитиме за посиланнями на цій сторінці, як описано вище.

• all: Applebot надає документ для пропозицій і робить фрагменти вмісту так, щоб поруч із репрезентативним зображенням з’являвся короткий опис сторінки. Applebot може переходити за посиланнями на сторінці, щоб надати більше пропозицій.

Щоб додати кілька директив в один метатег, використовуйте список, розділений комами, або кілька метатегів.

Приклад:

<meta name="robots" content="nosnippet, noindex”> <meta name="robots" content=“noindex"> <meta name="robots" content=“nosnippet">

Applebot-Extended і керування використанням даних

Окрім дотримання всіх правил і директив із файлу robots.txt, Apple має додатковий агент користувача — Applebot-Extended. Він надає вебвидавцям додатковий контроль над тим, як компанія Apple використовує контент їхніх вебсайтів.

За допомогою Applebot-Extended вебвидавці можуть заборонити використовувати контент їхніх вебсайтів для навчання базових моделей Apple, що розширюють можливості функцій із генеративним ШІ в технологіях Apple, як-от Apple Intelligence, сервісів й інструментів розробки Apple.

Щоб заборонити Applebot-Extended, додайте у файл robots.txt це правило:

User-agent: Applebot-Extended Disallow: /private/

Агент Applebot-Extended не сканує вебсторінки. Сторінки, де його заборонено, усе ще можуть виводитися в результатах пошуку. Applebot-Extended лише визначає спосіб використання даних, видобутих агентом користувача Applebot.

Дозволивши Applebot-Extended, ви допоможете з часом покращити можливості та якість моделей генеративного ШІ від Apple.

Відомості про ранжування результатів пошуку

Apple Search може враховувати всі перелічені нижче фактори під час ранжування результатів вебпошуку.

• Сукупне залучення користувачів до результатів пошуку

• Релевантність і відповідність пошукових термінів темам і вмісту вебсторінок

• Кількість і якість посилань з інших сторінок в Інтернеті

• Сигнали на основі розташування користувача (приблизні дані)

• Характеристики структури вебсторінок

У результатах пошуку можуть використовуватися вищезазначені фактори без (заздалегідь визначеного) значення ранжування. На користувачів функції пошуку поширюється політика приватності, наведена на сторінці Пропозиції Siri, пошук і приватність.

Зверніться до нас

Із запитаннями чи занепокоєннями звертайтеся до нас за адресою applebot@apple.com.