SEO

Robots txt nedir? Nasıl Kullanılır?

Robots.txt dosyası, sitenizin kök klasöründe bulunan küçük bir metin dosyasıdır. Özellikle arama motorları botları (tarayıcıları) tarafından çok önemlidir ve iyi yapılandırılması gerekir.

Bu yazımda sizlere robots.txt dosyasının ne olduğunu ve SEO için mükemmel bir Robots.txt dosyasının nasıl oluşturulacağını anlatacağım.

Robots.txt nedir?

Robots.txt dosyası, arama motorlarının sitenizin hangi bölümünün dizine ekleneceğini ve hangi bölümünün dizine eklenmeyeceğini anlamasına yardımcı olur. Aynı zamanda, arama motoru botları sitenizi ziyaret ettiğinde sitenizdeki robots.txt dosyasını takip eder ve indekslenmesini (dizine eklenmesini) istediğiniz kısmı arama motorlarında görünür hala getirir.

Robots.txt dosyası web sitesinde nerede bulunur?

Sitenizde robots.txt dosyası olup olmadığını öğrenmek için tek yapmanız gereken site adresinizi robots.txt eki ile birlikte arama motoru adres çubuğuna yazmaktır.

Ekran görüntüsünde de görebileceğiniz gibi önünüze bir metin sayfası açılacaktır.

Bu, reklobit.com adresinin robots.txt dosyasıdır. Ayrıca böyle bir sayfa görmüyorsanız sitenizin için txt dosyası bulunmamaktadır.

Robots.txt ne için kullanılır?

Dosyanın birincil işlevi, arama motorlarında görünmesini istemediğiniz bölümleri bir emir niteliğinde arama sonuçlarında görünmesini engellemektir. Özellikle robots.txt dosyası, web sitesi ziyaretçilerine herhangi bir değer sağlamayan ve SERP sıralamalarını etkilemeyen bilgileri gizler.

Robots.txt kullanım alanları:

  1. Habersiz bir sitenin indekslenmesini önleyin. 
  2. Sonsuz bir URL alanının taranmasını önleyin. 
  3. Arama klasörünün indekslenmesini önleyin.
  4. Müşteri hesap bilgilerinin indekslenmesini engelleyin.
  5. Tüm ödeme ve ödeme ile ilgili bilgileri engelleyin.
  6. Herhangi bir kullanıcı amacına hizmet etmeyen mükerrer dosya ve klasörlerin indekslenmesini önleyin.
  7. Sitede bireysel kullanıcı incelemelerinin taranmasını engelleyin.
  8. Widget’ların ve CMS ile ilgili klasörlerin taranmasına izin vermeyin.
  9. Sitede gerçekleşen çevrimiçi sohbetlerin indekslenmesini önleyin.

Özellikle Yukarıda vermiş olduğumuz liste bir çok site tarafından kullanılan robots.txt engellemeleridir.

Robots.txt Dosyasının Faydaları Nelerdir?

Robots.txt , web tarayıcılarına veya robotlara sitenizin hangi alanlarının taranmaması ve dizine alınmaması gerektiği konusunda talimat vermek için kullanılan özel bir metin dosyasıdır. Bu dosya kök veya üst düzey dizinde bulunur ve web tarayıcılarının eriştiği ilk dosyadır. Tarayıcılar, txt dosyasında bulunan bilgileri okur ve buna göre hareket eder.

Robots.txt Dosyası Nasıl Oluşturulur?

Robots.txt, belgesi oluşturmak için herhangi bir metin düzenleyici kullanabilirsiniz. Örneğin, Sublime Text, Notepad, Not defteri gibi aracı metin editörleri ile dosyasını oluşturabilirsiniz.

Robots.txt dosyasının oluşturulması:

  • Her hangi bir metin editörünü açın.
  1. User-agent:*
  2. Disallow:/
  3. Allow:/
  4. Sitemap:
  • Parametrelerini söz dizinine ekleyin.
  • UTF-8 kodlu yani Türkçe karakter içermediğinden emin olun.
  • Dosya adını robots.txt olarak ayarlayın ve kaydedin.

Dosyanın nereye yerleştirileceği hakkında not:

Belge, web sitesi sunucusunun kök dizininde bulunmalıdır ve FTP yoluyla erişilebilir. Herhangi bir değişiklik yapmadan önce robots.txt dosyasının olup olmadığını kontrol edin.

Dizinlerin ne olduğunu anlayalım.

User-agent: *Kullanıcı aracısı: *
Disallow: /Türkçe karşılığı İzin vermemek
Allow: /Türkçe karşılığı izin vermek
Sitemap:Site haritası

Robots.txt Dosyasının kullanımı

Dosya söz dizinlerinin kullanımı ve yapılandırılması hakkında bilmeniz gereken tüm detayları açıklayıcı bir şekilde anlatacağım.

User-agent: arama motorları için kullanılan bir söz dizinidir. Google, Bing, Yandex gibi arama botlarının sitenizi taraması için talimatta bulunur.

Örneğin:

User-agent: Googlebot
Disallow: /örnekler?/

Bu kod dizini “Google botun” örnekler? adlı klasöre erişmesini engellediğinizi anlatan bir söz dizinidir. 

Ayrıca tüm botlara izin vermek için ” * ” yıldız işareti kullanılır. 

Disallow: Dizine eklemek istemediğiniz bölümleri işaretler ve arama robotları tarafından yok sayılır.

Allow: Tarayıcılar tarafından dizine eklenmesini istediğiniz yapıları belirtir.

Sitemap: sitenizde bulunan sayfaların, etiketlerin, kategorilerin ve yapısal verilerin genelini kapsar.

Sayfanın veya içeriğin arama motorunda dizine eklenmesi nasıl önlenir?

Sitenizde bulunan bölümlerin arama motorlarına eklenmesini önlemek için robots.txt dosyanızda bazı değişiklikler yapmanız gerekecektir.

Örneğin, hakkımızda sayfasının arama motorları tarafından dizine eklenmesini istemediğinizi var sayalım ve aşağıda bu bölümü SERP sonuçlarından nasıl engelleyebileceğinizi anlayalım.

User-agent: ” * ” 
Disallow: /Engellemek istediğiniz sayfayı buraya ekleyin Örneğin: URL: /hakkımızda.html
Allow: /
Sitemap:https://www.reklobit.com/sitemap.xml

Böylelikle hakkımızda sayfasını dizine eklenmesini istemediğimi tarayıcılara belirtmiş olduk.

Robots.txt aracılığıyla genellikle hangi sayfalar ve dosyalar kapatılır

1. Kişisel verileri içeren sayfalar.

Kişisel veriler, ziyaretçilerin kayıt sırasında belirttiği adları ve telefon numaralarını, kişisel gösterge tablolarını ve profil sayfalarını, ödeme kartı numaralarını içerebilir. Güvenlik nedeniyle bu bilgilere erişim ayrıca bir şifre ile korunmalıdır.

2. Yalnızca belirli kullanıcı eylemlerinden sonra görünen yardımcı sayfalar.

Bu tür eylemler genellikle müşterilerin bir siparişi başarıyla tamamladıktan sonra aldığı mesajları, müşteri formlarını, yetkilendirme veya şifre kurtarma sayfalarını içerir.

3. Yönetici panosu ve sistem dosyaları.

Web sitesi yöneticilerinin veya web yöneticisinin etkileşimde bulunduğu dahili ve hizmet dosyaları.

4. Arama ve kategori sıralama sayfaları.

Bir web sitesi ziyaretçisinin sitenin arama kutusuna bir sorgu girmesinden sonra görüntülenen sayfalar genellikle arama motoru tarayıcılarına kapatılır. Aynı şey, kullanıcıların ürünleri fiyat, derecelendirme ve diğer kriterlere göre sıralarken elde ettiği sonuçlar için de geçerlidir. Toplayıcı siteler bir istisna olabilir.

5. Sayfaları filtreleyin.

Uygulanan bir filtreyle (boyut, renk, üretici vb.) görüntülenen sonuçlar ayrı sayfalardır ve yinelenen içerik olarak görülebilir. Genel bir kural olarak, SEO uzmanları, marka anahtar kelimeleri veya diğer hedef sorgular için trafik çektikleri durumlar dışında, taranmalarını da engeller.

6. Belirli bir formattaki dosyalar.

Bu tür dosyalar, fotoğrafları, videoları, .PDF belgelerini, JS dosyalarını içerebilir. robots.txt dosyasının yardımıyla, tek tek veya uzantıya özel dosyaların taranmasını kısıtlayabilirsiniz.

Belge başlığı ve boyutu

Robots.txt dosyasının adı, büyük harf kullanılmadan tam olarak böyle görünmelidir. Google yönergelerine göre izin verilen belge boyutu 500 KiB’dir. Bu sınırın aşılması, arama robotunun belgeyi kısmen işlemesine, web sitesini hiç taramamasına veya tam tersine, bir web sitesinin içeriğini bütünüyle taramasına neden olabilir.

Genel dosya içeriği gereksinimleri

1. Her yönerge yeni bir satırda başlamalı ve şu prensibe göre oluşturulmalıdır: bir satır = bir yönerge + bir parametre.

YanlışKullanıcı aracısı: * İzin verme: /klasör-1/ İzin verme: /klasör-2/
DoğruKullanıcı aracısı: *İzin verme: /klasör-1/İzin verme: /klasör-2/

2. Latin alfabesinden farklı alfabe kullanan dosya adları, Punycode dönüştürücü kullanılarak dönüştürülmelidir.

YanlışKullanıcı aracısı: İzin verme: /φάος-με-επφές/
Doğruİzin verme: /xn—–örnekv8bgtvbb4blm8as0bi7an/

3. Parametrelerin söz dizimin de uygun kayıt defterine bağlı kalmalısınız. Bir klasör adı büyük harfle başlıyorsa, küçük harfle adlandırmak robotun yönünü şaşırtır. 

YanlışKullanıcı aracısı: İzin verme: /klasör/
Doğruİzin verme: /Klasör/

4. Yönergeler için satır başında boşluk, tırnak işareti veya noktalı virgül kullanılması kesinlikle yasaktır.

YanlışKullanıcı aracısı: İzin verme: /klasör-1/;İzin verme: /“klasör-2”/
Doğruİzin verme: /klasör-1/İzin verme: /klasör-2/

5. Boş veya erişilemeyen bir robots.txt dosyası, arama motorları tarafından tüm siteyi tarama izni olarak algılanabilir. Başarılı bir şekilde işlenebilmesi için dosyasının 200 OK HTTP yanıt durum kodunu döndürmesi gerekir.

Sonuç

Son olarak, Aklınıza takılan herhangi bir soru olursa aşağıdaki yorumlar bölümünde bize bildirin.

İlgili Makaleler

Başa dön tuşu