---

🌙 Merhaba, Novalandık Not Defteri’nin ilk sayfasına hoş geldin.💜Bu sayfada sana ezber bilgiler vermeyeceğim. Çünkü ben de bu yolculukta öğrenmeye devam ediyorum. Derslerde aldığım notları araştırıyor, anlamaya çalışıyor ve sonra kendi cümlelerimle yeniden yazıyorum. Eğer sen de SEO öğrenmeye yeni başladıysan, birlikte not alıyor gibi hissedeceğin samimi bir köşe oluşturmak istiyorum.

Bugün SEO’nun temel taşlarından biri olan Robots.txt. konusunu ele alacağız.

Haydi başlayalım!

Robots.txt Nedir?

Bir web sitesi açtığında Google kapıyı çalıp “Bu sitede nereleri inceleyebilirim?” diye sorar. İşte Robots.txt, Google’a verilen ilk talimatlardan biridir. Bu dosya sayesinde arama motorlarına hangi sayfaları tarayabileceklerini, hangilerinden uzak durmaları gerektiğini söyleyebilirsin. Kısacası Robots.txt, sitenin trafik polisi gibidir.

Robots.txt Dosyası Nerede Bulunur?
Her web sitesinin robots.txt dosyası, alan adının sonunda /robots.txt uzantısıyla görüntülenebilir.
Örneğin Novalandık için ileride şöyle bir adres olacak:
https://novalandik.com/robots.txt
Burada arama motorlarına verilen tüm tarama talimatları yer alır.

Robots.txt Ne İşe Yarar?

Robots.txt dosyasının amacı Google’ı engellemek değil, tarama bütçesini doğru kullanmasını sağlamaktır.

Örneğin;

• Yönetim paneli
• Test sayfaları
• Gereksiz Klasörler
• Geçici dosyalar

gibi kullanıcıların arama sonuçlarında görmesine gerek olmayan alanları robotlardan uzak tutabilirsin. Bu sayede Google gerçekten önemli sayfalarına daha fazla zaman ayırabilir.

Basit Bir Robots.txt Örneği

User-agent: *
Disallow: /admin/
Allow: /blog/

Bu örnekte tüm arama motorlarına;

✅ Blog sayfalarını tarayabilecekleri,

❌ Admin klasörünü ise taramamaları gerektiği söyleniyor.

Robots.txt Dosyasını Kimler Kullanmalı?
“Aslında benim küçük bir blogum var. Robots.txt kullanmama gerek var mı?” diye düşünebilirsin.
Kısa cevap: Evet.
Çünkü küçük veya büyük fark etmeksizin her web sitesi, arama motorlarının sitesini daha doğru taramasını ister.
Özellikle;
Blog siteleri
Kurumsal web siteleri
E-ticaret siteleri
Haber siteleri
robots.txt dosyasından faydalanabilir.

Robots.txt Kullanırken Yapılan Yaygın Hatalar
SEO öğrenirken beni en çok şaşırtan konulardan biri de buydu.
Yanlış yapılandırılmış bir robots.txt dosyası, farkında olmadan tüm siteni Google’a kapatabilir.
En sık yapılan hatalar şunlardır:
Yanlışlıkla tüm siteyi taramaya kapatmak.
Önemli sayfaları engellemek.
Robots.txt ile dizinden kaldırılacağını düşünmek.
Dosyada yazım hatası yapmak.
Bu yüzden robots.txt dosyasında değişiklik yapmadan önce mutlaka iki kez kontrol etmek gerekir.

Robots.txt Tek Başına SEO İçin Yeterli mi?
Hayır.
Robots.txt teknik SEO’nun yalnızca küçük bir parçasıdır.
İyi bir SEO çalışması için aynı zamanda;
XML Sitemap
Canonical Etiketi
Meta Robots
SSL Sertifikası
Site Hızı
Kaliteli İçerik
Backlink
gibi birçok unsurun birlikte çalışması gerekir.
Ben SEO öğrenmeye başladığımda bunun tek bir ayardan ibaret olduğunu sanıyordum. Fakat aslında SEO, birbirini tamamlayan onlarca küçük parçanın oluşturduğu büyük bir sistemmiş.

En Çok Karıştırılan Konu

Burada birçok kişinin yaptığı önemli bir hata var. Robots.txt bir sayfanın Google’da görünmesini garanti olarak engellemez. Sadece o sayfanın taranmasını engeller. Eğer başka siteler o sayfaya bağlantı verirse Google yine o URL’yi dizinine ekleyebilir. İşte bu yüzden dizine eklenmesini istemediğin sayfalarda Meta Robots “noindex” etiketi daha doğru bir çözümdür.

Sık Sorulan Sorular
Robots.txt dosyasını silersem ne olur?
Web siten çalışmaya devam eder. Ancak arama motorları hangi sayfaları taramaları gerektiğini daha zor anlayabilir.

Robots.txt güvenlik sağlar mı?
Hayır.
Robots.txt bir güvenlik yöntemi değildir.
Sadece arama motorlarına tavsiye niteliğinde kurallar sunar.

Robots.txt ile noindex aynı şey mi?
Hayır.
Robots.txt taramayı kontrol eder.
Noindex ise sayfanın Google dizinine eklenmesini engellemeye yardımcı olur.

Robots.txt ile Meta Robots Arasındaki Fark

Bunu aklımda şöyle canlandırıyorum:🏡 Robots.txt evin kapısındaki güvenlik görevlisidir. “Bu odaya girebilirsin, buna giremezsin. “Meta Robots ise odanın içine asılmış küçük bir nottur. “İçeri girdin ama lütfen burayı Google’da gösterme.” Bu ayrımı öğrendiğimde konu benim için çok daha anlaşılır hale gelmişti.

Robots.txt SEO İçin Neden Önemlidir?

Doğru kullanıldığında; Tarama bütçesini verimli kullanır. Gereksiz sayfaların taranmasını azaltır. Google’ın önemli içeriklere daha hızlı ulaşmasına yardımcı olur. Büyük web sitelerinde tarama performansını iyileştirebilir. Ancak yanlış yapılandırılırsa önemli sayfaların taranmasını engelleyebilir ve SEO performansına zarar verebilir. Bu nedenle Robots.txt dosyasında yapılan her değişiklik dikkatlice kontrol edilmelidir.

📝 Novalandık Notu

Bugünkü öğrendiğim en önemli bilgi şu oldu:

Robots.txt, taramayı kontrol eder. Dizine eklenmeyi değil.

Bunu ilk duyduğumda “Aa, ben bunu yanlış biliyormuşum.” dedim.

Belki senin de aklında aynı soru vardı.

Bugünkü dersten sonra kendi kendime şu cümleyi not aldım:
“SEO aslında Google’ı kandırmak değil, Google’ın işini kolaylaştırmaktır.”
Bence Robots.txt dosyası da bunun en güzel örneklerinden biri.
Google’a “Buraya bak, buraya bakma.” diyerek sitemizi daha düzenli taramasına yardımcı oluyoruz.

Bir Sonraki Not Defterinde Ne Var?
Bu yazı Novalandık SEO Not Defteri serisinin ilk sayfasıydı.
Bir sonraki yazıda Meta Robots etiketini inceleyeceğiz.
Robots.txt ile arasındaki farkı örneklerle anlatacağız ve hangi durumda hangisini kullanmamız gerektiğini birlikte öğreneceğiz.

Son Söz

SEO bazen karmaşık görünse de, her konunun arkasında oldukça mantıklı bir sistem var. Ben de bu sistemi adım adım öğrenirken tuttuğum notları burada paylaşmaya devam edeceğim. Eğer sen de SEO öğrenme yolculuğundaysan, Novalandık Not Defteri’nin yeni sayfalarında yeniden buluşalım. 💜

📚 Novalandık SEO Not Defteri Serisi
✅ #1 Robots.txt Nedir? (Şu an okuyorsunuz.)
⏳ #2 Meta Robots Nedir?
⏳ #3 Canonical Etiketi
⏳ #4 XML Sitemap
⏳ #5 301 Redirect
⏳ #6 Backlink
⏳ #7 Link Juice¹