Bir sayfayı Google’dan gizlemek isteyen site sahibinin ilk refleksi çoğu zaman robots.txt dosyasına Disallow yazmaktır. Mantıklı görünür: “Google bu sayfaya giremezse sonuçlarda da gösteremez.” Fakat tarama ile dizine ekleme aynı işlem değildir. Yanlış kural, sayfanın içeriğini Google’a kapatırken URL’nin arama sonuçlarında başlıksız veya açıklamasız biçimde kalmasına yol açabilir. Bu rehber robots.txt, noindex ve parola korumasını doğru amaçla seçmenizi sağlar.

Üç ayrı hedefi birbirinden ayırın

Önce ne istediğinizi netleştirin. Arama motorunun sayfayı ne sıklıkta ziyaret ettiğini yönetmek başka, sayfanın Google sonuçlarında görünmesini engellemek başka, yetkisiz insanların içeriği açmasını önlemek bambaşkadır.

  • Tarama yönetimi: robots.txt kullanılır.
  • Google dizininden çıkarma: erişilebilir sayfada noindex kullanılır.
  • Gerçek gizlilik: oturum, parola veya sunucu düzeyinde erişim kontrolü gerekir.

Google’ın güncel Search Central belgesi robots.txt dosyasının öncelikle tarayıcı trafiğini yönetmek için olduğunu açıkça söylüyor. Dosya bir güvenlik mekanizması değildir; sayfanın adresi başka yerden bağlantı alırsa Google, içeriği taramadan URL’yi dizine ekleyebilir.

robots.txt ne yapar, ne yapmaz?

Alan adının kökünde bulunan /robots.txt, uyumlu tarayıcılara hangi yolları isteyebileceklerini bildirir. Örneğin aşağıdaki kural Googlebot’un site içi arama sonuçlarını taramasını engeller:

User-agent: Googlebot
Disallow: /arama/

Bu, yoğun veya sonsuz sayıda benzer URL’nin sunucu kaynaklarını tüketmesini azaltabilir. Fakat iki sınır vardır. Birincisi, iyi niyetli arama motorları kurala uysa da kötü niyetli botların uyma zorunluluğu yoktur. İkincisi, Disallow “bu URL’yi arama sonucuna alma” anlamına gelmez.

Bu yüzden yönetim paneli, özel belge, test ortamı veya müşteri dosyası yalnız robots.txt ile korunmamalı. Hatta hassas yol adlarını dosyada tek tek listelemek, meraklı bir ziyaretçiye hangi adresleri denemesi gerektiğini gösterebilir.

noindex ne zaman doğru seçim?

Bir sayfa herkes tarafından açılabilsin fakat Google sonuçlarında yer almasın istiyorsanız sayfanın <head> bölümünde şu etiket kullanılabilir:

<meta name="robots" content="noindex">

PDF gibi HTML olmayan dosyalarda aynı talimat HTTP yanıt başlığıyla verilebilir:

X-Robots-Tag: noindex

Google’ın kritik uyarısı şudur: noindex kuralını görebilmesi için URL’yi tarayabilmesi gerekir. Aynı sayfayı robots.txt ile engellerseniz Google sayfaya ulaşamaz, etiketi okuyamaz ve URL arama sonuçlarında kalabilir. Yani “robots.txt + noindex daha güçlüdür” düşüncesi ters tepebilir.

Gerçekten gizli sayfa nasıl korunur?

noindex de bir erişim kontrolü değildir. Bağlantıyı bilen kişi sayfayı açabilir; Google dışındaki bir sistem kurala farklı davranabilir. Müşteri paneli, fatura, sağlık belgesi, staging sitesi ve yalnız ekibe açık doküman için kimlik doğrulama kullanın. Sunucu mümkünse yetkisiz isteğe 401 Unauthorized veya 403 Forbidden dönsün.

Geçici kampanya taslağı gibi düşük riskli sayfada parola koruması yeterli olabilir. Üretim öncesi ortamda ise IP kısıtı, VPN, tek oturum açma ya da ayrı erişim katmanı daha uygundur. Arama motorundan saklamak ile internetten saklamak arasındaki fark burada belirginleşir.

Hangi durumda hangi yöntem?

Site içi arama ve filtre sayfaları

Çok sayıda parametre üreten, kullanıcıya az değer sağlayan filtre sayfalarında önce site mimarisini düzeltin. Gereksiz bağlantıları azaltın, canonical yapısını kontrol edin. Tarama yükü gerçekten sorunsa robots.txt düşünülebilir; dizin kararı için noindex ayrı değerlendirilmelidir.

Teşekkür ve form sonucu sayfaları

Herkesçe açılabilen fakat arama sonucu olması anlamsız sayfalarda noindex uygundur. Sayfanın robots.txt ile engellenmediğini ve yanıtın 200 olduğunu kontrol edin.

PDF belgeler

PDF’de HTML meta etiketi bulunmadığı için X-Robots-Tag: noindex başlığı kullanılır. Belge özel bilgi içeriyorsa bu başlık yetmez; erişim kontrolü gerekir.

Silinen içerik

Sayfa gerçekten kaldırıldıysa sonsuza kadar noindex ile boş bir sayfa döndürmek yerine uygun 404 veya 410 yanıtı verin. Eşdeğer yeni içerik varsa anlamlı bir yönlendirme düşünülebilir; her eski URL’yi ana sayfaya göndermek iyi bir çözüm değildir.

WordPress’te güvenli uygulama sırası

  1. Önce URL’nin gizli mi, yalnız dizin dışı mı olacağına karar verin.
  2. SEO eklentisindeki “arama sonuçlarında göster” ayarını kontrol edin.
  3. Sayfa kaynağında tek ve doğru noindex etiketi oluştuğunu doğrulayın.
  4. https://alanadiniz/robots.txt dosyasında aynı yolun engellenmediğine bakın.
  5. Sunucu önbelleğini temizleyin; gizli sekmede tekrar kontrol edin.
  6. Google Search Console URL Denetleme ile Google’ın gördüğü durumu inceleyin.

SEO eklentisindeki yeşil puan, bu teknik çelişkiyi her zaman yakalamaz. Daha önce anlattığımız SEO araçlarının puanları ile Google verisi arasındaki fark burada da geçerli: kararınızı eklenti rozetine değil, üretilen HTML ve HTTP yanıtına dayandırın.

Beş dakikalık komut satırı testi

Terminal erişiminiz varsa önce başlıkları kontrol edin:

curl -I https://ornek.com/sayfa/

PDF veya başka bir dosyada X-Robots-Tag burada görünmelidir. HTML için sayfa kaynağında robots etiketini arayın:

curl -s https://ornek.com/sayfa/ | grep -i "robots"

Son olarak robots.txt dosyasını açıp ilgili yolun yanlışlıkla engellenmediğini kontrol edin. Bu test yalnız sunucunun o an verdiği yanıtı gösterir; Google’ın dizin durumunu doğrulamak için Search Console kullanın.

Kısa kontrol listesi

  • Hedefiniz taramayı mı, dizini mi, erişimi mi kontrol etmek?
  • noindex sayfası taranabilir durumda mı?
  • Hassas içerik gerçek kimlik doğrulamayla korunuyor mu?
  • PDF için X-Robots-Tag başlığı kontrol edildi mi?
  • Önbellek eski meta etiketi sunuyor olabilir mi?
  • Canlı sonuç Search Console URL Denetleme ile sınandı mı?

Kuralı seçmenin en kısa yolu şu cümledir: robots.txt kapıdaki trafik levhasıdır, noindex katalogda yer almama talimatıdır, parola ise gerçek kilittir. Üçü aynı işi yapmaz; doğru kombinasyon ancak hedefi doğru adlandırınca ortaya çıkar.

Kaynaklar