robots.txt dosyanızı önemli her tarayıcıya karşı test edin.

robots.txt ne yapar, ne yapmaz?

robots.txt, bir ana makinenin (host) kök dizininde, örneğin https://www.example.com/robots.txt adresinde duran ve tarayıcılara hangi URL’leri tarayabileceklerini söyleyen düz metin dosyasıdır. Yalnızca sunulduğu protokol, ana makine ve port için geçerlidir; www üzerindeki dosya www olmayan alan adını, alt alan adlarını ya da http sürümünü kapsamaz.

Dosya taramayı kontrol eder, dizine eklemeyi değil. Engellenen bir URL’ye başka sayfalar link veriyorsa URL yine de dizine eklenebilir; Google sayfayı okuyamadığı için sonuçlarda açıklamasız görünür. Bir sayfayı arama sonuçlarının dışında tutmak istiyorsanız taramaya izin verip noindex ekleyin ya da sayfayı parolayla koruyun.

robots.txt bir kilit değil, bir ricadır. Googlebot gibi kurallara uyan tarayıcılar ona uyar, ama dosyanın dayandığı standart olan RFC 9309, bu kuralların bir erişim yetkilendirmesi olmadığını açıkça belirtir. Gizli bir yolu bu dosyaya yazmak, onu yalnızca herkese duyurur.

Google kuralları nasıl okur?

Dosya gruplardan oluşur: her grup bir ya da birden çok User-agent satırıyla başlar, ardından Allow ve Disallow kuralları gelir. Bir tarayıcı yalnızca kendisini en özel biçimde adlandıran gruba uyar. Aynı tarayıcıya ait gruplar birleştirilir; * grubu ise yalnızca kendine ait grubu olmayan tarayıcılar için geçerlidir. Yani bir Googlebot grubu eklediğiniz anda Googlebot, User-agent: * altındaki her şeyi yok sayar.

Grup içinde en özel kural, yani yolu en uzun olan kural kazanır; bir Allow ile bir Disallow kuralı eşit derecede özelse Google daha az kısıtlayıcı olan Allow kuralını uygular. * herhangi bir karakter dizisiyle eşleşir, $ ise URL’nin sonunu belirtir: Disallow: /*.pdf$ kuralı /rehber.pdf adresini engeller ama /rehber.pdf?v=2 adresini engellemez. Yollar büyük-küçük harfe duyarlıdır.

Google yalnızca user-agent, allow, disallow ve sitemap alanlarını destekler; yani crawl-delay ve noindex satırları işe yaramaz. Dosyanın 500 KiB sınırını aşan kısmını da yok sayar ve dosyayı genellikle 24 saate kadar önbellekte tutar. Dosya 429 dışında bir 4xx yanıtı döndürürse Google robots.txt yokmuş gibi davranır. 5xx yanıtı ya da ulaşılamayan bir dosya taramayı 12 saat durdurur; ardından Google 30 güne kadar elindeki son geçerli kopyayla çalışır.

Sık yapılan hatalar ve çözümleri

Denetimlerde aynı sorunları tekrar tekrar görüyoruz:

• Test ortamından kalan bir Disallow: / satırı. Yayına alırken kaldırın; test ortamını ise parolayla koruyun.
• Engellenmiş CSS ya da JavaScript dosyaları. Google bir sayfayı anlamak için bu dosyalara ihtiyaç duyuyorsa engel, sayfanın doğru analiz edilmesini önler.
• Sayfaları sonuçlardan çıkarmak için robots.txt kullanmak. Engeli kaldırın, noindex ekleyin ve Google’ın sayfaları yeniden taramasını bekleyin.
• Genel kuralları kaybeden özel bir grup. * grubundaki kurallardan Googlebot’un uyması gerekenleri Googlebot grubuna da ekleyin.
• Yanlış harfle ya da yanlış ana makine için yazılmış kurallar. Disallow: /Sepet kuralı /sepet adresini engellemez; her alt alan adının da kendi dosyası olmalıdır.
• Çoğu zaman bir güvenlik duvarı ya da CDN kuralı yüzünden sunucu hatası döndüren bir robots.txt. Bu, tüm sitenin taranmasını durdurabilir.

AI tarayıcıları: eğitim, arama ve kullanıcı istekleri

Yapay zeka şirketleri farklı işler yapan birkaç bot çalıştırır. OpenAI’ın GPTBot’u ve Anthropic’in ClaudeBot’u gibi eğitim tarayıcıları, model eğitiminde kullanılabilecek içerikleri toplar. OAI-SearchBot, Claude-SearchBot ve PerplexityBot gibi arama tarayıcıları, AI arama araçlarının gösterdiği ve link verdiği sayfaları bulur. ChatGPT-User, Claude-User ve Perplexity-User gibi kullanıcı tetiklemeli botlar ise biri istediğinde bir sayfayı getirir.

Bazı adlar tarayıcı değil, belirteçtir (token). Google-Extended’in kendine ait bir tarayıcısı yoktur: onu engellediğinizde içeriğiniz gelecekteki Gemini modellerinin eğitiminde ve Gemini uygulamalarıyla Vertex AI’daki grounding işlemlerinde (modele yanıt sırasında kaynak içerik sağlanmasında) kullanılmaz. Google, bunun Google Arama’da yer almayı ya da sıralamayı etkilemediğini belirtiyor. AI Overviews ve AI Mode (Türkçe arayüzde AI Bakışı ve AI Modu) ise Arama’nın parçasıdır; onları Googlebot kurallarınız belirler. Applebot-Extended da Apple’ın temel modelleri için benzer bir işlev görür.

Bu yüzden eğitimi engellemek ile AI aramayı engellemek ayrı kararlardır: GPTBot ve ClaudeBot’u engelleyip arama tarayıcılarına izin verebilirsiniz. Arama tarayıcılarını engellemenin ise bir bedeli vardır. OpenAI, OAI-SearchBot’u engelleyen sitelerin ChatGPT arama yanıtlarında gösterilmeyeceğini, Anthropic de Claude-SearchBot’u engellemenin görünürlüğünüzü azaltabileceğini söylüyor; yani bu yanıtlardan ve alıntılardan düşebilirsiniz.

İki noktaya da dikkat edin. Bazı sağlayıcılar, sayfayı bir kişi istediği için kullanıcı tetiklemeli botlarının robots.txt kurallarına uymayabileceğini belirtiyor. CDN ya da güvenlik duvarı ayarları da dosyada ne yazarsa yazsın AI tarayıcılarını engelleyebilir.

Sonuçlara göre ne yapmalı?

Önemli URL’leri yukarıdaki test aracıyla kontrol edin: her ana şablondan bir sayfa, bu sayfaların yüklediği CSS ve JavaScript dosyaları ve engellemek istediğiniz her bölüm; hem Googlebot hem de politikanızın kapsadığı her AI tarayıcısı için. Bir URL yanlışlıkla engellenmişse üstüne istisnalar eklemek yerine onu yakalayan kuralı düzeltin.

Google robots.txt dosyasını genellikle 24 saate kadar önbellekte tuttuğu için bir değişikliğin fark edilmesi bir gün sürebilir. Önemli sayfaların engelini kaldırdıktan ya da bir erişim hatasını düzelttikten sonra Search Console’daki robots.txt raporundan yeniden tarama isteyin. OpenAI ve Perplexity de değişikliklerin sistemlerine yansımasının yaklaşık bir gün sürebileceğini belirtiyor.

Son olarak AI politikanızı gerekçeleriyle birlikte yazıya dökün ve site değiştiğinde ya da bir sağlayıcı yeni bir user agent duyurduğunda gözden geçirin. Dosyayı kısa ve açıklamalı tutun; yayımlanmasını istemeyeceğiniz hiçbir şeyi içine yazmayın.