Robots.txt Nedir Nasıl Kullanılır ?

Robots.txt dosyası arama motorlarının sitenizde erişmesini istemediğiniz yerleri arama motorlarına bildiren kök dizini dosyasıdır.

Robots.txt dosyası sitenizin ana dizininde bulunan ve Google botları sitenize geldiğinde onlara yol göstererek sitenizin hangi sayfalarının indekslenip hangilerinin indekslenmemesi gerektiğini Google botlarına bildiren bir dosyadır. Google botları sitenize geldiğinde ilk baktıkları dizin Robots.txt dosyasıdır. Böylece indekslenmesini istemediğiniz sayfaları belirleyerek o sayfalardan Google botlarının indeks almamasını sağlıyoruz.

Bir arama motoru daha önce karşılaşmadığı herhangi bir web sayfasını örümceklerden önce robots.txt alanlarında açar. Robots.txt dosyası, sitenin hangi URL'lerin dizine eklenmesine izin verdiğini arama motoruna bildirir.

Bir arama motoru, robots.txt içeriğini önbelleğine alır, genellikle günde birkaç kez yenilenir. Dolayısıyla yapılan değişiklikler oldukça hızlı bir şekilde sonuçlara yansıtılacaktır.

Robots Dosyası Komutları:

User-Agent* ( Tüm arama botlarının dikkate alması )

Disallow:  ( Engelleme komutu)

Allow: ( İzin verme komutu)

Peki robots.txt dosyamı nereye koymalıyım?

Robots.txt dosyası her zaman alan adınızın dizin kökünde olmalıdır. Alanınız www.example.com ise, http://www.example.com/robots.txt adresinde bulunması gerekir. Dikkat etmemiz gereken kısım ise eğer alanınız www olmadan yanıt veriyorsa ayrı bir robots.txt dosyasına sahip olduğunuzdan emin olun. Aynı şey http ve https için de geçerlidir. Örneğin bir arama motoru http://example.com/test URL'sini incelemek isteseydi http://example.com/robots.txt dosyasını alırdı. Aynı URL'yi “https” üzerinden incelemek istediğinde ise robots.txt dosyasını https sitenizden de görebilecektir, bu nedenle https://example.com/robots.txt. Robots.txt dosyanıza gerçekten robots.txt adı verilmesi çok önemlidir. Robots.txt büyük küçük harflere de duyarlıdır. Herhangi bir hata oluşursa çalışmaz ve işe yaramaz hale gelebilir.