Teknik SEO

Robots.txt Dosyası Nedir?

“Robots.txt” dosyası, bir web sitesinin arama motorları tarafından taranmasını isteyip istemediğini belirtmek için kullanılan bir dosyadır. Bu dosya, web sitesine erişmek isteyen arama motorları tarafından taranır ve içinde belirtilen kurallar doğrultusunda tarama yapılıp yapılmayacağına karar verilir.

Robots.txt dosyası, web sitesinin ana dizininde bulunur ve “http://www.example.com/robots.txt” gibi bir URL ile erişilebilir. Bu dosya, web sunucusu tarafından yönetilen bir metin dosyasıdır ve içinde arama motorlarına izin verilen veya yasaklanan dizinler ve dosyalar hakkında bilgi içerir. Örneğin, bir web sitesinin tüm sayfalarının taranmasını istemiyorsanız, Robots.txt dosyasının içine bu tür bir kural ekleyebilirsiniz.

Robots.txt dosyasının kullanımı, web sitesinin sahibinin kendi tercihine göre değişebilir. Örneğin, bir e-ticaret sitesinin ürünlerinin detay sayfalarının taranmasını istemeyebilir, ancak ana sayfasının taranmasını isteyebilir. Bu durumda, Robots.txt dosyasının içine ürün detay sayfalarının taranmasını yasaklayan bir kural ekleyebilir.

Robots.txt dosyası, arama motorları tarafından tarama yapılmayan bir dosyadır ve yalnızca bilgi vermek için kullanılır. Bu dosya, arama motorları tarafından zorunlu olarak uygulanması gereken bir kural değildir ve arama motorları tarafından tarama yapılmasını yasakladığınız bir sayfanın hala taranabileceğini ve dolayısıyla arama sonuçlarında görüntülenebileceğini unutmayın.

Robots.txt Dosyası Nasıl Oluşturulur?

Aşağıdaki adımları takip ederek robots.txt dosyası oluşturabilirsiniz:

  1. Web sitesinin ana dizinine bir metin dosyası oluşturun. Bu dosya “robots.txt” olarak adlandırılmalıdır.
  2. Dosyayı açın ve aşağıdaki gibi bir kural ekleyin:

User-agent: [arama motoru adı] Disallow: [taranmasını istemediğiniz dizin veya dosya]

Bu kural, belirtilen arama motorunun belirtilen dizin veya dosyanın taranmasını yasaklar. Örneğin, tüm arama motorlarının “özel” dizininin taranmasını yasaklamak istiyorsanız, aşağıdaki gibi bir kural ekleyebilirsiniz:

User-agent: * Disallow: /özel/

Bu kural, tüm arama motorlarının “özel” dizininin taranmasını yasaklar.

  1. Eğer tüm arama motorlarının tarama yapmasını istiyorsanız, aşağıdaki gibi bir kural ekleyin:

User-agent: * Disallow:

Bu kural, tüm arama motorlarının web sitesinin tüm dizinlerinin ve dosyalarının taranmasına izin verir.

  1. Oluşturduğunuz kuralları kaydedin ve dosyayı kapatın.
  2. Oluşturduğunuz “robots.txt” dosyasını, web sitesinin ana dizinine yükleyin. Örneğin, “http://www.example.com/robots.txt” gibi bir URL ile erişilebilir hale getirin.
  3. Arama motorları tarafından tarama yapılmasını istemediğiniz dizinler ve dosyalar hakkında kurallar ekledikten sonra, robots.txt dosyasını güncelleyin ve dosyayı tekrar yükleyin. Bu sayede, arama motorları tarafından tarama yapılmasını istemediğiniz dizinler ve dosyalar güncellenmiş kurallara göre taranmayacaktır.

Robots.txt dosyasının test edilmesi, arama motorları tarafından tarama yapılmasını istediğiniz veya istemediğiniz dizinler ve dosyalar hakkında emin olmak için yapılır. Bu test, web sitesinin robots.txt dosyasının doğru şekilde oluşturulduğunu ve yapılandırıldığını doğrulamak için yapılır.

Robot.txt Dosyasını Test Etmek

Robots.txt dosyasını test etmek için aşağıdaki adımları takip edebilirsiniz:

  1. Google Search Console’a giriş yapın. Bu araç, web sitenizin Google tarafından nasıl tarandığını ve görüntülendiğini gösterir.
  2. “Robots.txt Tester” sekmesine gidin.
  3. “Test robots.txt” düğmesine tıklayın. Bu araç, web sitenizin robots.txt dosyasını tarar ve tarama yapılmasını istediğiniz veya istemediğiniz dizinler ve dosyalar hakkında bilgi verir.
  4. Robots.txt dosyasının doğru şekilde oluşturulduğundan emin olmak için, tarama yapılmasını istediğiniz dizinler ve dosyaların “Allow” (İzin ver) kısmında görüntülendiğini ve tarama yapılmasını istemediğiniz dizinler ve dosyaların “Disallow” (İzin verme) kısmında görüntülendiğini doğrulayın.

Not: Google Search Console, sadece Google tarafından tarama yapılmasını yönetmenize yardımcı olur. Diğer arama motorları için robots.txt dosyasının doğru şekilde oluşturulduğundan emin olmak için, farklı arama motorlarının sağladığı benzer araçları kullanabilirsiniz.

Bir yanıt yazın

E-posta adresiniz yayınlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

6 + 2 =

Başa dön tuşu