Robots.txt dosyası, web tarayıcılarına Googlebot gibi bir dosyaya erişip erişemeyeceklerini söyleyen web sunucunuza yerleştirilen basit bir metin dosyasıdır. Bu yazımızda sizlere robots.txt dosyası hakkında bilgi ve örnekler veriyoruz.
Neden Robots.txt Dosyasını Öğrenmelisiniz?
- Robots.txt dosyasının yanlış kullanımı, arama motoru sonuç sayfalarınızda sıralamanıza zarar verebilir.
- Robots.txt dosyası, arama motoru örümceklerinin (web crawler) web sayfalarınızı nasıl gördüğünü ve etkileşimde bulunduğunu denetler.
- Bu dosya, birkaç Google yönergesinde belirtilmiştir.
- Bu dosya ve etkileşimde bulunduğu botlar, arama motorlarının nasıl işlediğini gösteren temel kısımlardır.
Temel Robots.txt Dosyası Örnekleri
Aşağıda 4 adet genel robots.txt dosyası ve hangi işlevleri yerine getirdiklerini görebilirsiniz.
Tüm erişime izin vermek
User-agent: *
Disallow:
Tüm erişimi engellemek
User-agent: *
Disallow: /
Bir klasörü engellemek
User-agent: *
Disallow: /folder/
Bir dosyayı engellemek
User-agent: *
Disallow: /file.html
Robots.txt Dosyasının Arama Motorları İçin Önemi
Googlebot gibi bir arama motoru botu bir sayfayı ziyaret ettiğinde ilk önce Robots.txt dosyasına bakar. Sayfaya veya dosyaya erişim izninin olup olmadığını öğrenmek istediği için bunu yapar. Robots.txt dosyası girilebileceğini söylüyorsa, arama motoru botu sayfa dosyalarını taramaya devam eder. Bir arama motoru robotuyla ilgili talimatlarınız varsa, o talimatları söylemelisiniz. Robots.txt dosyasının çalışma prensibi bu şekildedir.
Mevcut Robots.txt Dosyasının Kontrolü
Herhangi bir web yöneticisinin robots.txt dosyası söz konusu olduğunda yapması gereken üç önemli şey vardır.
- Robots.txt dosyasına sahip olup olmadığınızı tespit edin.
- Eğer tobots.txt dosyanız varsa, sıralamanıza zarar vermediğinden ve içeriklerinizi engellemediğinden emin olun.
- Bir robots.txt dosyası gerekip gerekmeyeceğini belirleyin.
Robots.txt Dosyasının Varlığını Nasıl Kontrol Edersiniz?
www.websitenizinismi.com/robots.txt web sitesine girebilir, git butonunu tıkladıktan sonra sitenin bir robots.txt dosyası olup olmadığını tespit edebilirsiniz ve dosyanın ne söylediğini görüntüleyeceksiniz. Yani bu sayfada sonuçları görüntülersiniz.
Bu yolu kullanmak istemiyorsanız, herhangi bir web browser’dan bunu kontrol edebilirsiniz. Robots.txt dosyası her zaman her web sitesinde aynı yerde bulunur; bu nedenle, bir sitede yer alıp almadığını belirlemek kolaydır. Yukarıda gösterildiği gibi bir alan adının sonuna “/robots.txt” eklemeniz yeterlidir.
Eğer bu linkte bir dosya varsa bu sizin robots.txt dosyanızdır. Ya içindeki kelimeleri içeren bir dosyayı bulabilir, boş bir dosya bulabilir veya hiç bir dosya bulamazsınız.
Robots.txt’nin Önemli Dosyalarınızı Engelleyip Engellemediğini Tespit Edin
Google test aracını kullanarak(linkte yer alıyor), Google’ın sayfalarınızı anlaması gereken belirli sayfa kaynaklarını tespit edebilirsiniz. Eğer erişim ve izniniz varsa Google Search Console aracını kullanarak robots.txt dosyasını test edebilirsiniz. Test için gerekli talimatları burada bulabilirsiniz. Küçük bir hatırlatma! Google Search Console aracını kullanabilmek için üye olmanız gerekir.
Robots.txt dosyanızın engellemesini istemediğiniz şeyleri engelleyip engellemediğini tam olarak anlamak için, ne söylediğini anlamanız gerekir. Bu konuya aşağıda değindik.
Robots.txt Dosyasına İhtiyacınız Var mı?
Aslında web sitenizde bir robots.txt dosyasına ihtiyacınız bile olmayabilir. Gerçekte, çoğu zaman da gerek olmaz. Robots.txt dosyasına ihtiyaç duyma nedenleriniz şunlar olabilir:
- Arama motorlarından engellenmesini istediğiniz içeriğiniz olabilir.
- Ücretli bağlantıları veya robotlar için özel talimatlara ihtiyaç duyan reklamları kullanıyorsunuzdur.
- Aktif olan bir site geliştiriyorsanız ve arama motorlarının henüz dizine eklemesini istemiyorsanız kullanmalısınız.
- Bazı durumlarda Google yönergelerine uymanıza yardımcı olsun istiyorsanız kullanabilirsiniz.
- Yukarıdakilerin bazılarına veya tümüne ihtiyacınız var ancak web sunucunuza tam erişiminiz yok ve nasıl yapılandırıldığı bilgisi yok ise yine robots.txt’ye baş vurabilirsiniz.
Yukarıdaki durumların her biri diğer yöntemlerle kontrol edilebilir, ancak robots.txt dosyası web yöneticileri için iyi bir merkezdir ve çoğu web yöneticisinin bir robots.txt dosyası oluşturmak ve kullanmak için gereken beceriye ve erişime sahip olmalıdır.
Robots.txt Dosyası Nasıl Oluşturulur?
Eğer yazabilirseniz ya da kopyala ve yapıştır yapabilirseniz, bir robots.txt dosyasına sahip olmuş olursunuz. Dosya sadece bir metin dosyasıdır, yani not defterini veya başka herhangi bir düz metin düzenleyicisini kullanarak bir tane oluşturabilirsiniz. Ayrıca bir kod düzenleyicisinde de yapabilirsiniz. “Bir robots.txt dosyası yapıyorum” diye düşünmek yerine, “bir not yazıyorum” diye düşünün çünkü bunlar hemen hemen aynı işlemlerdir.
Robots.txt Komutları
Aşağıda temel robots.txt komutlarını görebilirsiniz.
User-agent: *
Disallow:
Yukarıdaki kodu yazdığınız zaman tüm dosyalardaki tüm botlara izin vermiş olursunuz.
User-agent: *
Disallow: /
Yukarıdaki kodu yazdığınız zaman tüm dosyalardaki tüm botlara engellemiş olursunuz.
Tüm robots.txt talimatları, aşağıdaki üç şeyden biriyle sonuçlanır:
- Tam izin verme: Tüm içerik taranabilir.
- Tam izin vermeme: Hiçbir içeriğin taranmaması anlamına gelir.
- Koşullu izin: Robots.txt dosyasındaki yönerge, belirli içeriği tarama iznini belirler.
Tam İzin Verme – Bütün İçerikler Taranabilir Olması
Çoğu kişi robotların web sitelerindeki her şeyi ziyaret etmesini ister. Sizin durumunuz buysa ve robotun sitenizin tüm bölümlerini dizine eklemesini istiyorsanız, robotların hoş karşılandıklarını bildirmesine izin veren üç seçenek vardır.
Hiçbir Robots.txt Dosyanız Olmasın
Web sitenizde bir robots.txt dosyası yoksa o zaman her şey taranabilir halde olur. Googlebot gibi bir robot ziyarete gelir, Robots.txt dosyasını arar. Ama siz dosyayı oluşturmadığınız için Robot tüm web sayfalarınızı ve içeriğinizi ziyaret etmekte özgür hissedecektir, çünkü bu durumda yapması gereken şey budur.
Boş Bir Dosya Oluşturun ve robots.txt Adını Verin
Web sitenizde hiçbir şey bulunmayan bir robots.txt dosyası varsa, bu durumda ne olur? Googlebot gibi bir robot ziyarete gelir. Robots.txt dosyasını arar. Dosyayı bulur ve okur. Okumak için bir şey olmadığını görür. bu nedenle robot bu durumda tüm web sayfalarınızı ve içeriğinizi ziyaret etmede özgür hisseder çünkü bu durumda bu şekilde yapılması için programlanmıştır.
Bir dosya oluşturup adını robots.txt koyun ve aşağıdaki iki komutu yazın.
User-agent: *
Disallow:
Web sitenizde bu talimatları içeren bir robots.txt varsa, o zaman ne olur? Googlebot gibi bir robot ziyarete gelir. Robots.txt dosyasını arar. Dosyayı bulur ve okur. İlk satırı okur. Sonra ikinci satırı okur. Robot, daha sonra tüm web sayfalarınızı ve içeriğinizi ziyaret etmekte özgür hisseder, çünkü siz bunu yapmasını söylemişsinizdir.
Tam Engel – Hiçbir İçerik Taranmaz
Uyarı: Bu, Google’ın ve diğer arama motorlarının web sayfalarınızı dizine ekleyemeyeceği veya görüntülemeyeceği anlamına gelir.
Sitenizdeki saygın arama motorları botlarını engellemek için robots.txt dosyanızdaki talimatları almanız gerekir:
User-agent: *
Disallow: /
Web sayfalarınızın hiç birinin dizine eklenmemesine neden olacağı için bunu yapmanız önerilmez.
Robots.txt Komutları ve Anlamları
Burada bir robots.txt dosyasındaki farklı kelimelerin anlamları ve açıklamalarını anlattık.
User-agent: “User-agent” kısmı, gerekirse spesifik bir robota yön belirlemek için kullanılır. Bunu dosyanızda kullanmanın iki yolu vardır.
Tüm robotlara aynı şeyi söylemek isterseniz, “User-agent” dan sonra bir “*” koyun. Bu şekilde görünecektir: User-agent: *
Yukarıdaki satır “bu yönergeler tüm robotlar için geçerlidir” demektedir.
Belli bir robota bir şeyler söylemek isterseniz (bu örnekte Googlebot) şu şekilde görünecektir: User-agent: Googlebot
Yukarıdaki satır “bu komutlar yalnızca Googlebot’a uygulanır” demektedir.
Disallow: “Disallow” kısmı robotlara hangi klasörlere bakmamaları gerektiğini söylemek için vardır. Örneğin, arama motorlarının sitenizdeki fotoğrafları dizine eklemesini istemiyorsanız, o fotoğrafları bir klasöre yerleştirebilir ve hariç tutabilirsiniz.
Diyelim ki tüm bu fotoğrafları “fotoğraflar” isimli bir klasöre koydunuz. Şimdi arama motorlarına bu klasörü dizinlememesini söylemek istiyorsunuz.
İşte robots.txt dosyası bu senaryoda şunun gibi görünmelidir:
User-agent: *
Disallow: / fotoğraflar
Robots.txt dosyanızdaki yukarıdaki iki metin satırı, robotların fotoğraf klasörünüzü ziyaret etmesini önleyecektir. “User-agent *” bölümü “bu, tüm robotlar için geçerli” yazıyor. “Disallow: / fotoğraflar” bölümü, “fotoğraflarım klasörünü ziyaret etmeyin veya dizine eklemeyin” komutu veriyor.
Googlebot Spesifik Komutlar
Google’ın arama motorunu dizinine eklemek için kullandığı robota Googlebot denir.
Allow
“Allow:” talimatları, bir robota başka talimatlar tarafından “Disallow:” bir klasördeki bir dosyayı görmek için uygun olduğunu söylemenize izin verir. Bunu göstermek için, robotun fotoğraflarınızı ziyaret etmemesini veya dizine eklenmesini söyleyen yukarıdaki örneği ele alalım. Tüm fotoğrafları “fotoğraflar” adlı bir klasöre yerleştirdik ve buna benzeyen bir robots.txt dosyası yaptık.
User-agent: *
Disallow: / fotoğraflar
Şimdi Googlebot’un dizine eklemesini istediğiniz o klasörde arabam.jpg adlı bir fotoğrafın olduğunu varsayalım. Allow: talimatıyla, Googlebot’a bunu yapmasını söyleyebiliriz, komut şu şekilde görünecektir:
User-agent: *
Disallow: / fotoğraflar
Allow: /fotoğraflar/arabam.jpg
Bu komut Googlebot’a fotoğraflar dosyasına erişemeyeceğini fakat fotoğraflar klasöründe bulunan arabam.jpg dosyasına erişebileceğini söyler.
Robots.txt Dosyanızı Test Edin
Tek bir sayfanın robots.txt tarafından engellenip engellenmediğini öğrenmek için bu teknik SEO aracını kullanabilirsiniz. Böylece Google için önemli dosyaların engellenip engellenmediğini ve ayrıca robots.txt dosyasının içeriğini görüntüleyip görüntüleyemeyeceğini söyleyecektir.
Anahtar Kavramlar
- Bir robots.txt dosyası kullanıyorsanız, dosyanın düzgün bir şekilde kullanıldığından emin olun.
- Yanlış bir robots.txt dosyası Googlebot’un sayfanızın dizine eklenmesini engelleyebilir.
- Google’ın sayfalarınızı sıralamak için ihtiyaç duyduğu sayfaları engellemediğinizden emin olun.