Applebot hakkında

Apple için geliştirilmiş bir web gezgini olan Applebot hakkında bilgi edinin.

Applebot tarafından taranan veriler; Spotlight, Siri ve Safari dahil olmak üzere, Apple ekosistemindeki birçok kullanıcı deneyimine entegre edilmiş arama teknolojisi gibi çeşitli özellikleri desteklemek amacıyla kullanılır. Applebot robots.txt dosyasında etkinleştirildiğinde, dünyanın her yerindeki Apple kullanıcıları web sitesi içeriğini bu ürünlerdeki arama sonuçlarında görebilir.

Applebot tarafından taranan veriler, Apple Intelligence, Servisler ve Geliştirici Araçları da dahil olmak üzere Apple ürünleri genelinde üretken yapay zeka özelliklerine güç veren Apple temel modellerinin eğitilmesine yardımcı olmak amacıyla da kullanılabilir. Web yayıncıları, robots.txt dosyasında Applebot-Extended uygulamasına izin vermeyerek içeriklerinin üretken temel modelleri eğitmek için kullanılmasını devre dışı bırakabilir.

Applebot tarafından taranan veriler, Apple ürünleri ve hizmetlerinde görüntülenecek çıktıları oluşturmak için yapay zeka modelleri kullanıldığında ek bağlam ve güncel içerik sağlamak için kullanılabilir. Örneğin, Siri ve Arama'da, yanıtın oluşturulmasına yardımcı olmak için kullanılan kaynaklara ve web sitelerine bağlantılar içerebilen geniş kapsamlı genel bilgi sorularını yanıtlamak. Web yayıncıları, belirli içeriklere nosnippet meta etiketini uygulayarak içeriklerinin bu geniş kapsamlı genel bilgi yanıtlarında kullanılmasını engelleyebilir.

Applebot-Extended'ı devre dışı bıraksanız ve web sitesi içeriğini nosnippet meta etiketiyle işaretleseniz bile web sitesi yönergeleriniz Applebot'un web sayfalarınızı taramasına yine de izin verebilir. İçeriğiniz, Apple aygıtlarındaki Spotlight, Siri ve Safari'nin yanı sıra sistem genelindeki diğer özellikler aracılığıyla bulunabilir durumda kalır.

Applebot'u tanımlama

Applebot'tan gelen trafik genellikle *.applebot.apple.com alanındaki ters DNS kullanılarak tanımlanır.

Başka bir yol da IP adresini şu JSON dosyasında bulunan bir CIDR önekiyle eşleştirmektir: Applebot IP CIDR'leri.

Ters DNS

Bir IP adresinin Applebot'a ait olup olmadığını belirlemek için ana bilgisayar komutu kullanılabilir. Aşağıdaki örnekler ana bilgisayar komutunu ve komutun döndürdüğü sonucunu göstermektedir:

$ host 17-58-101-179.applebot.apple.com

17-58-101-179.applebot.apple.com has address 17.58.101.179.

Ana bilgisayar komutu, DNS'in aynı IP adresini gösterdiğini doğrulamak için de kullanılabilir:

$ host 17.58.101.179

179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

Kullanıcı aracıları

Kullanıcı aracıları, web uzmanlarının tarayıcı trafiğini tanımlamasına yardımcı olur. Böylece uzmanlar, tarayıcı etkinliğine ilişkin doğru erişim günlüğü raporlarını alabilir ve robots.txt aracılığıyla siteye erişimi kontrol edebilirler.

Applebot, Arama ve Podcasts dahil olmak üzere çeşitli kullanıcı aracılarını destekler.

Ara

Applebot, arama web taraması ve oluşturmada aşağıdaki biçimi kullanır:

Kullanıcı aracısı dizesi "Applebot" ifadesini ve ilgili diğer bilgileri içerir. Genel biçim şu şekildedir:

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Masaüstü için örnek:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15(KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

Mobil için örnek:

Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

Applebot, zaman zaman yukarıdaki genel biçimde kalarak tanıttığı tarayıcı sürümünü günceller.

Özel tarayıcılar

Apple çevrimiçi varlıkları

iTMS trafiği applebot.apple.com ana bilgisayarlarından gelebilir ve şu kullanıcı aracısı tarafından tanımlanır:

User-Agent: iTMS

iTMS kullanıcı aracısı, genel bir arama tarayıcısı olmadığından robots.txt dosyasını izlemez. iTMS kullanıcı aracısı yalnızca Apple Podcasts'te kayıtlı içeriklerle ilişkili URL'leri tarar.

robot.txt kurallarını özelleştirme

Applebot, Applebot'u hedefleyen genel arama taramalarında standart robots.txt yönergelerine uyar. Bu örnekte Applebot /private/ veya /not-allowed/ kapsamındaki belgelerde gezinmeye çalışmaz:

User-agent: Applebot

Allow: /

Disallow: /private/

User-agent: *

Disallow: /not-allowed/

Robots yönergelerinde Applebot yerine Googlebot'tan bahsediliyorsa Apple robot, Googlebot yönergelerini izler. Applebot, tarama gecikmesini izlemez.

Applebot verimlilik için tasarlanmıştır ve site sahipleri üzerindeki etkiyi en aza indirecek şekilde ayarlanır. Örneğin, site sunucularının aşırı yüklenmesini önlemek için Applebot'un tarama hızı, bir site yavaşladığında veya hata döndürdüğünde otomatik olarak ayarlanır. Apple, gereksiz taramayı azaltmak için taranan içeriği de önbelleğe alır. Taranması gerekmeyen içeriğin belirlenmesi, site sahipleri için altyapı maliyetlerini azaltır ve internetin genel olarak daha verimli olmasını sağlar.

İşleme ve robot kuralları

Applebot, web sitenizdeki içerikleri bir tarayıcıda işleyebilir. JavaScript, CSS ve diğer kaynaklar robots.txt dosyası kullanılarak engellendiğinde içerikler düzgün şekilde işlenmeyebilir. Bu kaynaklara sayfa için gerekebilecek XHR, JS ve CSS de dahildir.

Applebot'un sayfayla ilgili olarak en iyi içeriği dizine eklemesini istiyorsanız, kullanıcıların bu sayfayı işleyebilmesi için gereken tüm öğelerin Applebot tarafından kullanılabildiğinden emin olun. Alternatif olarak, web sitesinin ilgili tüm kaynaklar kullanılamadığında bile sorunsuz şekilde işlenmesini sağlayın. Bu durum genelde "dereceli bozulma" olarak adlandırılır.

Applebot için dizine ekleme kurallarını özelleştirme

Applebot, HTML belgelerindeki robots meta etiketlerini destekler. Meta etiketlerinde robots kuralları belirtmek için etiketleri belgenin <head> bölümüne yerleştirin:

<html>

<head>

<meta name="robots" content="noindex"/>

...

</head>

<body>...</body>

</html>

Applebot aşağıdaki yönergeleri de destekler:

• noindex: Applebot bu sayfayı dizine eklemez ve sayfa Spotlight veya Siri Önerileri'nde görünmez.

• nosnippet: Applebot bu sayfa için açıklama veya web yanıtı oluşturmaz. Bu URL'yi ziyaret etme önerilerinde yalnızca sayfanın başlığı yer alır. Apple, yapay zeka modelleri kullanılarak Apple ürün ve hizmetlerinde görüntülenecek çıktılar oluşturulurken nosnippet etiketli verileri ek bağlam ve güncel içerik olarak kullanmaz.

• nofollow: Applebot sayfadaki hiçbir bağlantıyı izlemez.

• none: Yukarıda açıklandığı gibi Applebot bu sayfayı dizine eklemez, sayfa için açıklama oluşturmaz ve sayfadaki bağlantıları izlemez.

• all: Applebot, öneriler için belgeyi sağlar ve temsili görüntünün yanında görünebilmesi için sayfanın kısa bir açıklamasını oluşturur. Applebot, daha fazla öneri sunmak için sayfadaki bağlantıları izleyebilir.

Birden çok yönergeyi tek bir meta etiketine yerleştirmek için virgülle ayrılmış bir liste veya birden çok meta etiketi kullanın.

Örnek:

<meta name="robots" content="nosnippet, noindex”>

<meta name="robots" content=“noindex">

<meta name="robots" content=“nosnippet">

<meta name="applebot" content=“nosnippet">

X-Robots-Tag HTTP başlığını kullanma

Applebot, X-Robots-Tag HTTP yanıt başlığı aracılığıyla iletilen dizinleme yönergelerini de destekler. Bu, meta etiketlerinin kullanılamadığı HTML olmayan kaynaklar, örneğin PDF'ler veya görüntüler için ya da yönergeleri sunucu düzeyinde uygulamak istediğinizde kullanışlıdır. Applebot'a bir yönerge uygulamak için:

X-Robots-Tag: applebot: nosnippet

Ücretli içerikleri işaretleme

Applebot, ücretli erişim, kullanım kotası veya abonelik gerektiren sayfaları tanımlamak için schema.org isAccessibleForFree özelliğini destekler. Özelliği JSON-LD'de sayfa düzeyindeki yapılandırılmış verilerinize ekleyin:

<script type="application/ld+json">

{

"@context": "https://schema.org",

"isAccessibleForFree": false

}

</script>

isAccessibleForFree: false olarak işaretlenen sayfalar arama sonuçlarında görünmeye uygundur, ancak Applebot, Apple ürünlerinde ve hizmetlerinde görüntülenecek çıktıları oluşturmak için yapay zeka modelleri kullanıldığında bu içeriği ek bağlam olarak kullanmaz. Bu sinyal, sayfa düzeyinde geçerlidir. Bölüm düzeyinde hasPart kullanılarak yapılan işaretleme desteklenmez. Apple'ın temel modellerini eğitmek için içeriğinizin kullanılmasını istemiyorsanız bir sonraki bölümde açıklanan Applebot-Extended'ı kullanın.

Applebot-Extended ve veri kullanımını kontrol etme

Apple, tüm robots.txt kurallarına ve yönergelerine uymanın yanı sıra web yayıncılarına web sitesi içeriklerinin Apple tarafından nasıl kullanılabileceği konusunda ek kontroller sağlayan Applebot-Extended adlı ikincil bir kullanıcı aracısı sunar.

Web yayıncıları, Applebot-Extended sayesinde web sitesi içeriklerinin Apple Intelligence, Hizmetler ve Geliştirici Araçları da dahil olmak üzere Apple ürünleri genelinde üretken yapay zeka özelliklerini destekleyen Apple'ın genel amaçlı temel modellerini eğitmek amacıyla kullanımını devre dışı bırakabilirler.

Applebot-Extended'a izin vermemek için robots.txt dosyasına aşağıdaki gibi bir kural ekleyebilirsiniz:

User-agent: Applebot-Extended

Disallow: /private/

Applebot-Extended web sayfalarını taramaz. Applebot-Extended'a izin vermeyen web sayfaları yine de arama sonuçlarına dahil edilebilir. Applebot-Extended yalnızca Applebot kullanıcı aracısı tarafından taranan verilerin nasıl kullanılacağını belirlemek için kullanılır.

Applebot-Extended'a izin verilmesi, Apple'ın üretken yapay zeka modellerinin özellikleri ve kalitesinin zaman içinde iyileştirilmesine yardımcı olur.

Arama sıralamaları hakkında

Apple Arama, web araması sonuçlarını sıralarken şu faktörleri dikkate alabilir:

• Arama sonuçlarıyla olan kullanıcı etkileşimlerinin toplamı

• Web sayfası konularına ve içeriklerine göre, arama terimlerinin alaka ve eşleşme düzeyi

• Web'deki diğer sayfalara ait bağlantıların sayısı ve kalitesi

• Kullanıcı konumu tabanlı sinyaller (yaklaşık veriler)

• Web sayfasının tasarım özellikleri

Arama sonuçları yukarıdaki faktörleri, sıralamada önceden belirlenen bir öneme sahip olmayacak şekilde kullanabilir. Arama seçeneğinden yararlanan kullanıcılar Siri Önerileri, Arama ve Gizlilik başlıklı makaledeki gizlilik politikasına tabidir.

Bize ulaşın

Sorularınız veya endişeleriniz varsa lütfen applebot@apple.com adresinden bizimle irtibata geçin.