Log analizi, arama motoru botları tarafından sitenizin taranmasıyla ilgili size kritik bilgiler verir. Araştırma yapılırken sitenizin ne şekilde ve hangi sıklıkta tarandığı ortaya çıkarılır ve analiz yapabilmenize imkan verilir. Günlükler, tahminleri ve varsayımları tamamen ortadan kaldırabilecek etkiye sahiptir. Site ziyaretçilerinin davranışlarını derinlemesine analiz edebilmenize imkan verirler. Bu sebeple, ham erişim günlüklerini sunucu ya da geliştirici ekibinden temin etmeniz biraz zaman alabilir. Fakat bir SEO projesine gözle görülür ölçüde olumlu katkı sağlayabilir. Screaming Frog SEO Log File Analyser ve Semrush Log File Analyser ile günlük dosyaları nasıl analiz edebileceğinizi öğrenerek log analizi yapabilirsiniz.
Günlük Dosya Analizi Neden Önemlidir?
Günlük dosya analizleri sayesinde aşağıdaki 5 ayrı ayrıntıyı gerçekleştirebilirsiniz.
- Tam olarak hangi sayfa ve dosyaların taranamadığını ortaya çıkarabilirsiniz
- Arama motorları tarafından tarama esnasında karşılaşılan hata kodları ortaya çıkar
- Geniş site tabanlı etkilere sahip olabilecek tarama eksiklikleri tanımlanabilir hale gelir
- Arama motorlarının hangi sayfaları ön planda tuttuğunu ve en önemlilerini dikkate alabileceğini görebilirsiniz
- Tarama bütçesinin boşa harcandığı kısımları net bir şekilde keşfedebilirsiniz.
Tarama ya da dış bağlantılar gibi farklı verilerin yanı sıra, arama motoru botlarının davranışları hakkında kapsamlı bilgi edinebilirsiniz.
Tarama Bütçesi Nedir?
Google, siteyi tararken belirlediği limitlerin tamamını ifade eden tarama bütçesini göz önünde bulundurur. Bir internet sitesinin isteklerine ne kadar hızlı yanıt verildiği, sitedeki URL’lerin popülaritesi, tarama sıklığı ve yönlendirme derinliği gibi ayrıntılar Google’ın mevzu bahis site hakkındaki tarama bütçesini belirlemesine yardım eder.
Google kullanıcılara çok düşük değere sahip sayfaların o sitenin taranması ve dizine eklenmesi açısından olumsuz etkileri olduğunu söyler. Googlebot siteyi taramaya devam eder ancak gelecekte düşük değerli sayfaların taranması ihtimali düşer. Bu sebeple, o site için tarama bütçesi de daraltılmış olur.
- Karmaşık navigasyon ve oturum tanımlayıcısı
- Yinelenmiş içerikler
- 404 içerikli sayfalar
- Saldırı altındaki sayfalar
- Düşük kaliteli içerikler ve spam içerikler
Yukarıda yer alan sebepleri de göz önünde bulundurursanız bir internet sitesindeki önemli sayfaların neden dizine eklenmediğini anlayabilirsiniz. Arama motoru botları önemsiz ve değersiz sayfa ile vakit harcarken, önemli sayfalara geç gelebilir. Bu durum tarama bütçesinin boşa harcanmasına yol açar.
Log File Analyzer araçları ile incelemeler yapmak için aşağıdaki adımları takip edebilirsiniz.
Taranan Bütün URL’leri Tanımlamak
Google Search Console, Google Analytics, XML internet site haritası veya doğrudan veritabanı incelemesi gibi sitelerdeki URL adreslerini toplayabileceğiniz farklı yollar mevcuttur. Fakat bu yöntemler hiçbiri tam olarak süreçlerin nasıl gerçekleştiğini size belirtmez. Günlük dosyası analizlerinin hedefi, arama motorları tarafından hangi URL adreslerinin tarandığının net olarak doğrulanmasıdır. Log File Analyser araçları, birden fazla popüler sunucunun log dosyalarını içe alabilecek şekilde dizayn edilmiştir. Dosyaları sürükleyip bırakarak çalıştırabilirsiniz.
Doğrulama yapacağınız zaman hangi arama motoru botunun kullanılmasını istediğinizi tercih edebilirsiniz. Bütün botlarla inceleme gerçekleştirebilir ya da Googlebot, Bingbot, Googlebot Mobile ve Yandex botlarıyla da ayrı ayrı değerlendirme yapabilirsiniz. Botların gün içerisinde sizi kaç kere ziyaret ettiğini, ziyaret esnasında taranan ortalama sayfa sayısını, yanıt süresini ve yönlendirmelerle tarama hatalarını inceleyebilirsiniz.
Düşük Değerli URL’leri Tanımlamak ve Değerlendirmek
Yanıt süresi düşük olan ve sık sık bulunamadı hatası veren, yönlendirme döngüsüne girmiş sayfaları ayırarak inceleme altına almalısınız. Ayrıca botların çok az sıklıkla taradıkları sayfalara da dikkatlice bakmalısınız. Bu sayfaların düşük öncelikte taranmasının sebeplerini tespit ederseniz sayfaların durumlarını analiz edebilirsiniz. Sayfaların daha az sıklıkta taranmasının farklı sebepleri olabilir. Günlük dosyaları size bu konuda çok değerli fikirler verebilir.
Alt Dizinlerin Taranma Sıklıkları
Tarama sıklığını çeşitli yollar ile değerlendirmeniz daha faydalı olur. Sezgisel URL yapısına sahipseniz, alt dizinlere göre toplu tarama etkinlikleri daha güçlü olabilir.
İnternet sitesinin hangi bölümlerinin daha fazla tarandığını keşfedebilirsiniz. Number of events bölümünde yer alan rakamlar, ana dizinler ile alt dizinler arasındaki farkları görebilmenize imkan tanır.
İçerik Türüne Göre Tarama Sıklıkları
Günlük Dosyası Çözümleyicisi, yaygın biçimler için URL adreslerini inceler. HTML, görseller, JavaScript, CSS ve PDF’ler gibi içerik türlerine göre filtreleme yapabilirsiniz.
Google’ın her bir içerik türünü tarayarak orantılı şekilde ne kadar zaman harcadığını analiz edebilirsiniz. Aynı zamanda farklı istemcilerin tarama sıklıkları konusunda da analizler yapabilmeniz mümkündür. Bu detay diğer arama motorları açısından performansa ilişkin doğru bilgiler almanızı sağlar.
Analiz yaptığınız zaman benzersiz URL sayıları, arama motorunun sitenizde yer alan bütün URL’lerinizi taramak için ne kadar zaman harcadığını görebilirsiniz.
Yönlendirme Denetimleri
Arama motorlarının talep ettiği URL adreslerini yönlendirme sayesinde görüntüleyebilirsiniz. Yalnızca gerçek zamanlı yönlendirmeler değil, geçmiş dönemlerde yapılan yönlendirmeleri de görebilirsiniz. Böylelikle bir şekilde gözünüzden kaçma ihtimali olan veya üst üste yönlendirme yapılmış URL adreslerini ortaya çıkarabilirsiniz.
Sahte Arama Bot Talepleri ve Gerçek Bot Taleplerini Tanımlamak
IP’s adı verilen sekme, doğrulama durumu filtrelerini sahte olarak ayarlayan arama motoru botlarını takip eder. İsteklerin IP adreslerini kullanıcı aracısı bazında değil, doğrulama işlemini kullanarak hızlıca görmenize destek verir.
Sizin izleriniz ya da tarama gerçekleştiren bir ajans olabilir. Bunlar dışında engellemeyi düşündüğünüz başka detaylar da olabilir. Bu sayede kaynaklarınızı boşuna harcamamış olursunuz. Sahte görünen arama motoru botlarını sunucudan engellemek kaynakları verimli kullanmanın en iyi yolları arasındadır.
Doğrulama durumu filtresini ‘’verified’’ olarak değiştirirseniz, doğrulanan arama motoru botlarının IP’lerini görebilirsiniz. Yerel olarak uyarlanabilir sayfalara sahip siteleri incelerken ve ülkeye göre farklı içerikler sunarken bu özellikten yararlanabilirsiniz.
Büyük Sayfaları Tanımlamak
Yanıt sürelerinin yüksek olması tarama bütçesini etkiler. Bu sebeple, büyük dosyalar yanıt sürelerinin gereksiz bir şekilde yüksek olmasına sebep olabilir. URL’lerin ortalama byte’larını analiz ederseniz, optimize edilebilecek alanları tanımlayabilirsiniz.
Görsel boyutlarıyla birlikte MP4, PDF ve CSV gibi dosyaların büyük boyutlara ulaşabileceğini asla unutmamalısınız. Dosya büyüklüğüne bağlı olarak meydana gelen düşük yanıt süreleri tarama bütçenizi azaltır. Bu sebeple, arama motorlarının gerçekten karşılaşabildiği ortalama yanıt sürelerini analiz etmeniz optimizasyon için sorunlu bölümleri veya URL’leri tanımlayabilmenize imkan verir. Birtakım sayfaların yanıt sürelerinin aşırı yüksek olması, kullanıcılara ve arama motorlarına 500 sunucu hatası ve türevi hata kodlarının gelmesine sebep olabilir.
