Log dosyası analizi: Tarama bütçeniz gerçekte nereye gidiyor?
Sunucu loglarıyla Googlebot’un taramayı nereye harcadığını, bütçeyi hangi URL’lerin tükettiğini ve taramayı önemli sayfalara yönelten düzeltmeleri görün.
Search Console, Google’ın sitenizi nasıl taradığını özetler; sunucu loglarınız ise her isteği kaydeder. Büyük ya da hızlı değişen sitelerde log dosyası analizi, Googlebot’un ilgisinin nereye gittiğini görmenin en doğrudan yoludur: Hangi şablonlar ve parametreli URL’ler taramayı emiyor, hangi yönlendirmeler ve hatalar onu boşa harcıyor ve hangi önemli sayfalar nadiren ziyaret ediliyor?
Adım adım log dosyası analizi
- ToplamaOrigin ve CDN logları, birkaç haftalık
- DoğrulamaYalnızca gerçek tarayıcılardan gelen istekler kalır
- SınıflandırmaURL’ler şablon, parametre ve duruma göre gruplanır
- KarşılaştırmaSite haritaları, taramalar ve Tarama istatistikleriyle
- Aksiyonrobots.txt, iç linkler, lastmod, hız
Bir log satırında ne var?
Yaygın olarak kullanılan “combined” formatında tipik bir satır şöyle görünür:
66.249.66.1 - - [12/May/2026:06:25:14 +0000] "GET /shoes/?colour=red&sort=price HTTP/1.1" 200 48213 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) … (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"Satır; isteği kimin yaptığını (IP adresi), ne zaman yaptığını, neyin istendiğini (yöntem ve URL), durum kodunu, yanıtın boyutunu, yönlendiren sayfayı (referrer) ve user agent’ı kaydeder. Pek çok sunucu her yanıtın ne kadar sürdüğünü de loglayabilir; bunu açmaya değer. Yeterince uzun bir dönemi saklamanız koşuluyla bu bilgiler, tarama sorularının çoğunu yanıtlamaya yeter.
Logları edinmek ve doğru şekilde saklamak
- Origin mi, CDN mi? Önbelleğe alınmış sayfaları bir CDN sunuyorsa bu istekler origin sunucunuza hiç ulaşmaz; bu yüzden tek başına origin logları taramayı olduğundan az gösterir. CDN’lerin çoğu log dışa aktarabilir, ancak bazen yalnızca belirli paketlerde.
- Saklama süresi. Barındırma sağlayıcıları logları çoğu zaman kısa bir süre tutup siler. Veriye ihtiyaç duymadan önce kendi depolama alanınıza bir dışa aktarım kurun ve tek seferlik sıçramalar yerine örüntüleri görmek için birkaç haftalık veri toplayın.
- Kişisel veri. Ziyaretçi IP adresleri çevrimiçi tanımlayıcılardır; bu yüzden Birleşik Krallık’ta UK GDPR kapsamında ham logları kişisel veri olarak ele almanız gerekir. Türkiye’de de KVKK açısından aynı özeni gösterin. Yalnızca ihtiyaç duyduğunuz alanları tutun, erişimi kısıtlayın, bir saklama süresi belirleyin ve veriyi analiz için kimseyle paylaşmadan önce doğrulanmış tarayıcılara göre filtreleyin ya da ziyaretçi IP’lerini çıkarın. Analizi bir ajans yapıyorsa bu, sizin adınıza yapılan bir veri işleme faaliyetidir ve bunu kapsayan bir sözleşme gerektirir.
Googlebot’u doğrulamak
Herkes user agent’ına “Googlebot” yazabilir. Bir isteği doğrulamak için IP adresi üzerinde ters DNS sorgusu yapın, ana makine adının googlebot.com, google.com ya da googleusercontent.com ile bittiğini kontrol edin, ardından bu ana makine adı için ileri DNS sorgusu yapıp aynı IP’nin döndüğünü doğrulayın:
host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1Büyük ölçekte bunun yerine IP adreslerini Google’ın yayımladığı aralıklarla eşleştirin. Googlebot olduğunu iddia edip doğrulamadan geçemeyen istekler başka bir şeydir: Onları tarama analizinize değil, ayrı bir gruba koyun.
Neleri analiz etmeli?
- Bölüm ya da şablon bazında istekler. URL’leri kalıba göre gruplayın (ürünler, kategoriler, makaleler, filtreler, site içi arama) ve her grubun taramadan aldığı payı sizin için taşıdığı değerle karşılaştırın.
- Durum kodları. 200, 301, 404, 410 ve 5xx yanıtlarının dağılımı; zaman içinde ve şablon bazında.
- Parametreli URL’ler. Sıralama, filtreleme, izleme ve oturum parametreleri URL sayısını katlar. URL Parametreleri aracı Search Console’dan kaldırıldığı için elinizdeki başlıca araçlar robots.txt ve iç linklemedir.
- Yönlendirmeler. Googlebot’un aynı yönlendirilmiş URL’leri tekrar tekrar istemesi, genellikle iç linklerin ya da site haritalarının hâlâ onları gösterdiği anlamına gelir.
- 404’ler ve soft 404’ler. 404’ler doğrudan görünür. Soft 404’ler ise 200 döndürür; bu yüzden yanıt boyutu alışılmadık derecede küçük olan şablonlara bakın ve Sayfa dizine ekleme (Page indexing) raporunu kontrol edin.
- Site haritası boşlukları. Taranan ama site haritalarınızda bulunmayan URL’ler (çoğu zaman gereksiz ya da yetim sayfalar) ve hiç taranmayan site haritası URL’leri.
- Nadiren taranan önemli sayfalar. Kilit sayfaların en son ne zaman tarandığını ne sıklıkla değiştikleriyle karşılaştırın.
Büyük bir mağazada bir ay boyunca URL türüne göre Googlebot istekleri
Loglarınızdaki AI tarayıcıları
GPTBot (OpenAI), ClaudeBot (Anthropic) ve PerplexityBot (Perplexity) gibi AI tarayıcılarını da göreceksiniz. Bunları arama motorlarından ayrı raporlayın, neyi ve ne sıklıkla istediklerine bakın ve robots.txt’de neye izin vereceğinize her bot için ayrı ayrı karar verin. Log incelemelerimizde bunların çoğunun, bir tarayıcının isteyeceği JavaScript dosyaları olmadan yalnızca HTML çektiğini görüyoruz; bu da kilit içeriği ilk HTML’de tutmak için bir neden daha. Google-Extended’i ise aramayın: Bu bir tarayıcı değil, robots.txt’de kullanılan bir belirteçtir (token) ve Google’ın istekleri her zamanki user agent’larıyla gelir.
Tarama istatistikleriyle karşılaştırmak
Search Console’un kök düzeyindeki mülkler için sunduğu Tarama istatistikleri (Crawl stats) raporu, Google’ın kendi bakış açısını verir: toplam istek, indirme boyutu ve ortalama yanıt süresi; bunların yanıta, dosya türüne, amaca (keşif ya da yenileme) ve Googlebot türüne göre dağılımı; ayrıca robots.txt, DNS ve sunucu bağlantısı için ana makine durumu. Bunu çapraz kontrol olarak kullanın. Loglarınız rapordan çok daha az Googlebot isteği gösteriyorsa muhtemelen CDN gibi bir katmanı kaçırıyorsunuz. Eğilimler uyuşuyorsa loglar, raporun vermediği URL düzeyindeki ayrıntıyı sağlar.
Bulgulara göre harekete geçmek
Bulgudan düzeltmeye
| Loglar şunu gösteriyorsa | O zaman | Efor |
|---|---|---|
| Googlebot filtre, sıralama ya da takvim URL’lerine takılmış | Sonsuz URL alanlarını robots.txt ile engelleyin ve onlara link vermeyi bırakın | Hızlı kazanım |
| Yönlendirilen URL’lere tekrar tekrar istek | İç linkleri ve site haritalarını nihai URL’lere yöneltin | Hızlı kazanım |
| Kendi linklerinizden kaynaklanan 404’ler | Linkleri düzeltin; kaldırılan sayfalar için 404 ya da 410 kalsın | Hızlı kazanım |
| Yavaş yanıtlar ya da 5xx hata dalgaları | Sunucu yanıt süresini, önbelleği ve kapasiteyi düzeltin | Acil |
| Zayıf şablonlarda soft 404’ler | Gerçek bir 404 döndürün ya da sayfaya gerçek içerik ekleyin | Proje |
| Kilit sayfalar nadiren taranıyor | İç linkleri güçlendirin ve lastmod’u doğru tutun | Proje |
| Site haritası URL’leri hiç taranmıyor | Link alıp almadıklarını, canonical olup olmadıklarını ve dizine eklenmeye değip değmediklerini kontrol edin | İnceleme |
Bunlardan birkaçı dikkat ister:
- Sonsuz URL alanları için robots.txt. Sıralama seçenekleri, takvimler ve site içi arama sonuçları gibi sonsuz kombinasyon üreten kalıpları engelleyin. Engellenen URL’ler taranmaz; ancak robots.txt zaten dizinde olan URL’leri kaldırmaz ve Google taramasına izin verilmeyen bir sayfadaki
noindexetiketini göremez. Hangi filtre sayfalarının dizine eklenmeyi hak ettiğini filtreli navigasyon rehberimiz anlatıyor. - Yönlendirmeyi gösteren iç linkler. Bunları nihai URL’ye güncelleyin. Google, uzun yönlendirme zincirlerinin taramayı olumsuz etkilediğini söylüyor; her ek adım da fazladan bir istek demek.
- Doğru
lastmod. Google bu değeri tutarlı ve doğrulanabilir şekilde doğru olduğunda kullanır. Her URL’ye bugünün tarihini basan bir site haritası bu değeri anlamsız hale getirir. - Sunucu yanıt süresi. Site hızlı yanıt verdiğinde Google daha fazla tarayabilir; yavaş yanıtlar ve sunucu hataları ise taramayı azaltır.
Tarama bütçesi sitenizi ilgilendiriyor mu?
Google, tarama bütçesinin esas olarak çok büyük ya da içeriği çok sık değişen siteler için önemli olduğunu ve çoğu sitenin bu konuda endişelenmesine gerek olmadığını söylüyor. Kabaca bir ölçü olarak haftalık değişen 1 milyon ya da daha fazla benzersiz sayfayı veya günlük değişen 10.000 ya da daha fazla sayfayı gösteriyor. Filtreli navigasyona sahip büyük online mağazalar çoğu zaman bu gruba girer; e-ticaret SEO’sunda logların emeğe değmesinin nedeni de budur. Daha küçük sitelerde loglar bir site taşımayı, bir render sorununu ya da beklenmedik bot trafiğini teşhis etmek için yine faydalıdır, ancak tarama bütçesi nadiren darboğazdır. Log dosyası analizi, tam da bu durumlar için teknik SEO hizmetimizin bir parçası.
Sitenizi geride tutan şeyin tarama olup olmadığını mı merak ediyorsunuz? Ücretsiz SEO analiziyle başlayın: Taranabilirliği ve indekslemeyi kontrol edip önce neyi düzeltmeniz gerektiğini söyleyelim.