Giới thiệu về Applebot

Applebot là trình thu thập dữ liệu web cho Apple. Các sản phẩm như Gợi ý của Siri và Gợi ý Spotlight sử dụng Applebot.

Nhận dạng Applebot

Lưu lượng truy cập đến từ Applebot được xác định bởi tác nhân người dùng của nó và DNS ngược hiển thị lưu lượng truy cập đó trong miền *.applebot.apple.com, bắt nguồn từ khối mạng 17.0.0.0.

Xác minh lưu lượng truy cập đến từ Applebot

Trong macOS, lệnh máy chủ có thể được dùng để xác định xem địa chỉ IP có phải là một phần của Applebot hay không. Những ví dụ này hiển thị lệnh máy chủ và kết quả của nó:

$ host 17.58.101.179 179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

Lệnh máy chủ cũng có thể được dùng để xác minh rằng DNS trỏ đến cùng một địa chỉ IP:

$ host 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com has address 17.58.101.179.

Xác minh tác nhân người dùng Applebot

Chuỗi tác nhân người dùng chứa “Applebot” và các thông tin khác. Định dạng của chuỗi này như sau:

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko) Version/Safari_version Safari/WebKit_version (Applebot/Applebot_version)

Ví dụ cho máy tính để bàn:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1) Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/12.1.1 Safari/605.1.15 (Applebot/0.1)

Ví dụ cho thiết bị di động:

Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B410 Safari/600.1.4 (Applebot/0.1; +http://www.apple.com/go/applebot) Mozilla/5.0 (iPhone; CPU iPhone OS 13_4_1 like Mac OS X) AppleWebKit/605.1.15Z (KHTML, like Gecko) Version/13.1 Mobile/15E148 Safari/604.1 (Applebot/0.1)

Tùy chỉnh các quy tắc robot.txt

Applebot tôn trọng các lệnh robots.txt tiêu chuẩn nhắm vào Applebot. Trong ví dụ này, Applebot không cố gắng thu thập thông tin các tài liệu ở mục /private/ hoặc /not-allowed/:

User-agent: Applebot # apple Allow: / # Allow everything (also true if omitted) Disallow: /private/ # disallow this directory User-agent: * # any robot Disallow: /not-allowed/ # disallow this directory

Nếu chỉ dẫn của robot không đề cập đến Applebot nhưng lại đề cập đến Googlebot thì robot Apple sẽ làm theo chỉ dẫn của Googlebot.

Quy tắc kết xuất và robot

Applebot có thể hiển thị nội dung trang web của bạn trong trình duyệt. Nếu javascript, CSS và các tài nguyên khác bị chặn thông qua robots.txt thì Applebot có thể không hiển thị được nội dung một cách chính xác. Các nội dung này bao gồm XHR, JS và CSS mà trang có thể yêu cầu.

Để Applebot lập chỉ mục nội dung tốt nhất cho trang, hãy đảm bảo rằng mọi thứ cần thiết để người dùng hiển thị trang đều có sẵn cho Applebot. Ngoài ra, hãy đảm bảo rằng trang web hiển thị rõ ràng, ngay cả khi tất cả tài nguyên không có sẵn. Điều này thường được gọi là khả năng thích ứng với phiên bản cũ.

Tùy chỉnh các quy tắc lập chỉ mục cho Applebot

Applebot hỗ trợ thẻ meta robot trong tài liệu HTML. Để chỉ định các quy tắc robot trong thẻ meta, hãy đặt thẻ vào phần

... ...

Applebot cũng hỗ trợ các lệnh sau:

• Noindex: Applebot sẽ không lập chỉ mục trang này và trang sẽ không xuất hiện trong Gợi ý Spotlight hoặc Gợi ý của Siri.

• nosnippet: Applebot sẽ không tạo nội dung mô tả hoặc câu trả lời trên web cho trang đó. Mọi gợi ý truy cập URL này sẽ chỉ bao gồm tiêu đề của trang.

• nofollow: Applebot sẽ không truy cập bất kỳ liên kết nào trên trang.

• none: Applebot sẽ không lập chỉ mục, trích đoạn hoặc theo dõi các liên kết trên trang như được mô tả ở trên.

• all: Applebot cung cấp tài liệu để gợi ý và đoạn mã để mô tả ngắn gọn về trang có thể xuất hiện bên cạnh hình ảnh đại diện. Applebot có thể truy cập các liên kết trên trang để cung cấp thêm gợi ý.

Để đặt nhiều lệnh trong một thẻ meta, hãy sử dụng danh sách được phân tách bằng dấu phẩy hoặc nhiều thẻ meta.

Ví dụ:

Về thứ hạng tìm kiếm

Apple Tìm kiếm có thể tính đến những điều sau khi xếp hạng kết quả tìm kiếm trên web:

• Sự tương tác tổng hợp của người dùng với kết quả tìm kiếm

• Mức độ liên quan và mức độ phù hợp của các cụm từ tìm kiếm với chủ đề và nội dung trang web

• Số lượng và chất lượng liên kết từ các trang khác trên web

• Tín hiệu dựa trên vị trí của người dùng (dữ liệu gần đúng)

• Đặc điểm thiết kế trang web

Kết quả tìm kiếm có thể sử dụng các yếu tố trên mà không có tầm quan trọng (được xác định trước) của thứ hạng. Người dùng Tìm kiếm phải tuân theo chính sách quyền riêng tư trong Gợi ý của Siri, Tìm kiếm & Quyền riêng tư.

Liên hệ với chúng tôi

Nếu bạn có thắc mắc hoặc quan ngại, vui lòng liên hệ với chúng tôi theo địa chỉ applebot@apple.com.