robots.txt Nedir, Nasıl Yazılır?

robots.txt, sitenizin kökünde duran ve arama motoru botlarına hangi bölümleri taramamaları gerektiğini söyleyen sade bir metin dosyasıdır. Sade olması yanıltıcıdır: tek bir yanlış satır, sitenin tamamının arama sonuçlarından silinmesine yol açabilir. Bu rehber, dosyanın nasıl yazıldığını, hangi kuralın ne anlama geldiğini, taramayı engellemek ile dizine almayı engellemek arasındaki kritik farkı ve gerçek hayatta karşılaşılan senaryoları anlatıyor.

robots.txt nedir?

robots.txt, web sitelerinin kök dizininde bulunan ve otomatik gezinen programlara (botlara) hangi adresleri talep edip etmemeleri gerektiğini bildiren düz metin dosyasıdır. Standart, otuz yılı aşkın süredir kullanılıyor ve tüm büyük arama motorları tarafından destekleniyor.

Türkiye’de “robots txt” ve yakın varyantları ayda yaklaşık 720 kez aranıyor (Google Keyword Planner, Ağustos 2026, Türkiye, Türkçe). Bu ilginin sebebi, dosyanın hem çok basit görünmesi hem de sonuçlarının çok ciddi olmasıdır: birkaç satırlık bir dosya, sitenin arama görünürlüğünü tamamen belirleyebilir.

Bir noktayı baştan netleştirelim: robots.txt bir güvenlik mekanizması değildir. Dosyanın kendisi herkese açıktır ve içindeki kurallar yalnızca kurallara uymayı seçen botlar için geçerlidir. Kötü niyetli bir tarayıcı, dosyada ne yazdığını hiç umursamaz.

Nasıl çalışır?

Bir bot bir siteyi ziyaret etmeden önce, alan adının kökündeki robots.txt dosyasını ister. Dosyada kendisine yönelik kuralları bulur ve bu kurallara göre hangi adresleri talep edeceğine karar verir.

Dosya bulunamazsa (404 yanıtı) bot, sitenin tamamının taranabilir olduğunu varsayar. Bu, çoğu durumda sorun değildir. Ancak dosya sunucu hatası döndürüyorsa (5xx yanıtı) durum farklıdır: bazı arama motorları bu durumu geçici bir sorun olarak yorumlar ve ihtiyatlı davranarak taramayı geçici olarak durdurabilir.

Bu ayrım pratikte önemlidir: robots.txt dosyanız yoksa panik yapmaya gerek yoktur, ama sunucu hatası veriyorsa acil müdahale gerekir.

Tarama engeli ile dizin engeli farkı

Bu, konunun en yanlış anlaşılan noktasıdır ve neredeyse her denetimde bir örneğine rastlanır.

robots.txt taramayı engeller: bot sayfayı hiç talep etmez. Ancak taranmayan bir sayfa, yine de dizine girebilir. Nasıl? Başka sitelerden o adrese verilmiş bağlantılar varsa, arama motoru adresin varlığını bilir ve içeriğini görmeden dizine alabilir. Sonuç, arama sonuçlarında açıklaması olmayan tuhaf bir kayıt olur.

Bir sayfanın dizinde görünmemesini istiyorsanız, doğru araç noindex etiketidir. Ancak burada bir tuzak vardır: noindex etiketi sayfanın içindedir ve arama motorunun onu görebilmesi için sayfayı taraması gerekir. Yani aynı sayfayı hem robots.txt ile engelleyip hem noindex koymak, noindex’in hiç okunmamasına yol açar.

Dosyanın konumu ve kapsamı

Dosya, alan adının tam kökünde bulunmalıdır ve adı harfi harfine robots.txt olmalıdır. Büyük harfle yazılmış bir dosya adı çalışmaz.

Kapsam kuralı da nettir: bir robots.txt dosyası yalnızca kendi protokol, alan adı ve port kombinasyonu için geçerlidir. Bu şu anlama gelir: alt alan adları kendi robots.txt dosyalarına ihtiyaç duyar; ana alan adının dosyası onları kapsamaz. Aynı şekilde http ve https sürümleri teknik olarak ayrı kabul edilir.

Çok sayıda alt alan adı kullanan kurumlarda bu ayrım sık gözden kaçar ve blog veya destek alt alanlarının hiç yönetilmemesine yol açar.

Söz dizimi: temel kurallar

Dosya, gruplardan oluşur. Her grup bir veya birden çok User-agent satırıyla başlar ve ardından o botlara uygulanacak kurallar gelir.

Temel yönergeler şunlardır: User-agent kuralın hangi bota uygulanacağını, Disallow hangi yolların talep edilmemesi gerektiğini, Allow engellenen bir alan içindeki istisnaları, Sitemap ise site haritasının adresini belirtir.

Biçim kuralları önemlidir: her yönerge kendi satırında yazılır, iki nokta üst üsteden sonra bir boşluk bırakılır, yollar büyük-küçük harfe duyarlıdır ve satır başına yalnızca bir kural yazılır. Yorum satırları diyez işaretiyle başlar ve bot tarafından yok sayılır; ancak insan okuyucular için son derece değerlidir.

User-agent kullanımı

Her botun kendini tanıttığı bir adı vardır. Google’ın ana arama botu, görsel botu, haber botu ve reklam botu farklı adlar kullanır; diğer arama motorlarının da kendi botları vardır.

Yıldız işareti, “kural tanımlanmamış tüm botlar” anlamına gelir. Pratikte çoğu site için yıldız grubu yeterlidir; bota özel kurallar ancak belirli bir gerekçe varsa yazılmalıdır.

Burada kritik bir davranış vardır: bir bot, kendisine özel bir grup bulursa yalnızca o grubu okur ve genel grubu tamamen yok sayar. Yani Googlebot için özel bir grup açtığınızda, genel gruptaki kuralların hiçbiri Googlebot’a uygulanmaz. Bu davranış bilinmediğinde, özel grup açan siteler farkında olmadan tüm genel korumaları kaldırmış olur.

Disallow ve Allow mantığı

Disallow, belirtilen yolla başlayan tüm adreslerin talep edilmemesini ister. Boş bırakılan bir Disallow satırı, hiçbir şeyin engellenmediği anlamına gelir. Tek eğik çizgi ise sitenin tamamının engellenmesi demektir.

Allow, engellenmiş bir alan içinde istisna tanımlamak için kullanılır. Örneğin bir dizin tamamen engellenirken, o dizin içindeki belirli bir alt yolun taranmasına izin verilebilir.

Yollar, alan adından sonraki kısmı ifade eder ve baştaki eğik çizgiyle yazılır. Tam adres yazmak (protokol ve alan adı dâhil) hatalıdır ve kuralın çalışmamasına yol açar. Bu, elle yazılan dosyalarda en sık görülen söz dizimi hatasıdır.

Joker karakterler

İki özel karakter desteklenir. Yıldız işareti herhangi bir karakter dizisinin yerini tutar; dolar işareti ise yolun sonunu belirtir.

Bu ikisi, parametre yönetiminde büyük kolaylık sağlar. Belirli bir parametreyi içeren tüm adresleri engellemek, veya belirli bir uzantıyla biten dosyaları hedeflemek yıldız ve dolar işaretleriyle mümkündür.

Ancak güçlü oldukları kadar risklidirler. Fazla geniş yazılmış bir joker kalıbı, engellemek istemediğiniz sayfaları da kapsayabilir. Bu yüzden joker içeren her kural, yayına alınmadan önce mutlaka test edilmelidir; tahminle yazılan kalıplar, çoğu ciddi robots.txt kazasının kaynağıdır.

Kural önceliği: hangisi kazanır?

Bir adres hem Allow hem Disallow kuralına uyuyorsa hangisi geçerli olur? Google’ın uyguladığı kural nettir: daha uzun ve daha belirgin olan yol kazanır. Uzunluk eşitse, izin veren kural tercih edilir.

Bu davranışı bilmek, karmaşık dosyalarda beklenmedik sonuçları önler. Kısa ve geniş bir Disallow kuralı yazıp, altına uzun ve belirgin bir Allow kuralı eklemek, istenen istisnayı doğru biçimde üretir.

Tersini varsayan ekipler, kuralların dosyadaki sırasına göre işlediğini düşünür; oysa sıra belirleyici değildir. Bu yanılgı, “kuralı en alta koydum ama çalışmıyor” tipindeki şikâyetlerin ana kaynağıdır.

Sitemap bildirimi

Site haritasının adresi, dosyanın herhangi bir yerinde Sitemap: satırıyla belirtilebilir. Bu satır bir gruba ait değildir; tüm botlar için geçerlidir.

Burada tam adres yazılır: protokol ve alan adı dâhil. Birden çok harita varsa, her biri ayrı satırda belirtilebilir; ancak bir dizin dosyası kullanılıyorsa yalnızca dizin adresini yazmak yeterlidir.

Bu bildirim, Search Console’a harita göndermenin alternatifi değildir. İkisini birlikte yapmak en sağlıklısıdır; ayrıntı için site haritası rehberimize bakabilirsiniz.

Crawl-delay ve diğer eski yönergeler

Bazı kaynaklarda geçen Crawl-delay yönergesi, botun istekler arasında beklemesini isteyen bir kuraldır. Google bu yönergeyi desteklemez; bazı diğer arama motorları destekler.

Google tarafında tarama hızıyla ilgili bir sorun varsa doğru yol, sunucu kapasitesini iyileştirmek veya Search Console üzerinden ilgili ayarları kullanmaktır. Dosyaya desteklenmeyen yönergeler yazmak, işe yaramadığı gibi dosyayı okumayı da zorlaştırır.

Aynı şekilde, geçmişte kullanılan Noindex yönergesi de robots.txt içinde desteklenmez. Dizin dışı bırakma yalnızca sayfa düzeyindeki etiket veya sunucu başlığıyla yapılır.

Neyi engellemeli?

Engellemenin amacı, botun zamanını değer üretmeyen adreslerde harcamasını önlemektir. Tipik adaylar şunlardır:

• Site içi arama sonuç sayfaları. Sonsuz sayıda kombinasyon üretir ve dizine girmeleri istenmez.
• Sepet, ödeme ve hesap sayfaları. Kullanıcıya özel ve dizine girmesi anlamsız adresler.
• Sıralama ve görünüm parametreleri. Aynı listenin farklı sıralamalarını üreten adresler.
• Yönetim panelleri. Tarama açısından değersiz alanlar.
• Filtre kombinasyonlarının denetimsiz kısmı. Yalnızca arama hacmi olan kombinasyonlar açık bırakılmalıdır.
• Yazdırma sürümleri ve tekrarlı çıktı biçimleri.

Neyi asla engellememeli?

Bazı engellemeler, faydadan çok zarar üretir ve sonuçları geç fark edilir.

CSS ve JavaScript dosyaları. Arama motorları sayfayı kullanıcının gördüğü gibi işlemeye çalışır. Stil ve betik dosyaları engellenirse sayfa bozuk görünür ve değerlendirmesi olumsuz etkilenir. Bu, eski kurulumlarda hâlâ sık rastlanan bir kalıntıdır.

Görseller. Görsel aramadan trafik alan sitelerde bu engelleme doğrudan trafik kaybıdır.

Dizine girmesini istemediğiniz ama noindex koyduğunuz sayfalar. Yukarıda anlatıldığı gibi, etiketin okunabilmesi için taramanın açık kalması gerekir.

Kanonik hedef sayfalar. Bir sayfa başka bir sayfayı kanonik olarak işaret ediyorsa, hedefin taranabilir olması gerekir.

E-ticaret için tipik kurgu

E-ticaret siteleri, filtre ve sıralama parametreleri nedeniyle çok sayıda adres üretir. Buradaki denge hassastır: fazla engelleme değerli kategori sayfalarını kapatır, az engelleme tarama bütçesini eritir.

Pratik yaklaşım şudur. Sıralama, görünüm ve sayfa boyutu gibi kullanıcı tercihi parametreleri engellenir; bunların hiçbiri arama talebi karşılamaz. Sepet, ödeme, hesap ve karşılaştırma adresleri engellenir. Site içi arama sonuçları engellenir.

Buna karşılık, arama hacmi olan filtre kombinasyonları (örneğin belirli bir renk veya beden) engellenmez; bunlar kendi başlığı ve metni olan sayfalara dönüştürülüp dizine açılır. Bu ayrımın nasıl kurulacağını e-ticaret SEO rehberimizde ele alıyoruz.

WordPress için tipik kurgu

WordPress kurulumlarında varsayılan dosya genellikle yeterlidir ve gereksiz müdahale sorun üretir. Yaygın bir hata, tüm eklenti dizinini engellemektir; bu, sayfanın düzgün işlenmesi için gereken stil ve betik dosyalarını da kapatabilir.

Anlamlı engellemeler şunlardır: site içi arama sonuçları, yazdırma sürümleri ve varsa özel amaçlı geçici dizinler. Yönetim paneli zaten büyük ölçüde erişime kapalıdır ve ek engelleme genellikle gereksizdir.

Etiket ve tarih arşivleri gibi ince içerikli sayfalar için robots.txt yanlış araçtır; bunlar için doğru yöntem, ilgili arşiv türlerini noindex yapmaktır.

En tehlikeli hata: tüm siteyi kapatmak

Tek eğik çizgiyle yazılmış bir Disallow kuralı, sitenin tamamının taranmasını durdurur. Bu satır, geliştirme ortamında son derece yaygın kullanılır ve yayına alma sırasında silinmesi unutulduğunda felakete yol açar.

Belirtiler birkaç gün içinde başlar: yeni içerikler dizine girmez, mevcut sayfaların açıklamaları kaybolur ve organik trafik hızla düşer. Sorun fark edildiğinde çoğunlukla haftalar geçmiş olur.

Bu kazayı önlemenin tek güvenilir yolu otomasyondur: yayın sürecine, canlı ortamdaki robots.txt dosyasının kritik satırlar içermediğini kontrol eden bir adım eklemek. İnsan hafızasına bırakılan bu kontrol, er ya da geç atlanır.

Gizlilik için kullanmayın

robots.txt dosyası herkese açıktır: adresin sonuna dosya adını ekleyen herkes içeriğini okuyabilir. Dolayısıyla gizli kalmasını istediğiniz bir dizini buraya yazmak, o dizinin adresini herkese duyurmak anlamına gelir.

Gerçekten korunması gereken içerikler için doğru araçlar farklıdır: kimlik doğrulama, sunucu düzeyinde erişim kısıtı veya içeriğin yayında olmaması. Bu araçlar botları değil, herkesi engeller.

Aynı mantık kişisel veri içeren sayfalar için de geçerlidir; bu tür adreslerin robots.txt ile “gizlenmesi”, uyum açısından hiçbir koruma sağlamaz.

Test ortamı yönetimi

Geliştirme ve hazırlık ortamlarının arama sonuçlarında görünmesi, hem yinelenen içerik hem de itibar sorunudur. Yaygın çözüm olan robots.txt engellemesi ise yeterli değildir: engellenen adresler yine de dizine girebilir.

Daha güvenilir yöntemler şunlardır: ortamı kullanıcı adı ve parola arkasına almak, sunucu düzeyinde IP kısıtı uygulamak, veya tüm sayfalara sunucu başlığı üzerinden noindex vermek. Bu yöntemler tek başına da kullanılabilir, birlikte de.

Kritik olan bir başka nokta, canlıya geçiş sırasında bu koruma katmanlarının kaldırılmasını hatırlamaktır. Yayına alınan ama noindex başlığı temizlenmemiş siteler, robots.txt kazası kadar sık görülür.

Yapay zekâ botları ve yeni tartışma

Son yıllarda içerik toplayan yeni bot türleri ortaya çıktı ve bunların bir kısmı robots.txt üzerinden yönetilebiliyor. Bu, site sahipleri için yeni bir karar alanı açtı: içeriğinizin dil modelleri tarafından kullanılmasını istiyor musunuz?

Kararın iki tarafı da var. Engelleme, içeriğin izinsiz kullanımını sınırlamayı amaçlar. Buna karşılık, yapay zekâ destekli arama deneyimlerinde görünürlük giderek önem kazanıyor ve engellenen içerikler bu ortamlarda referans gösterilemiyor.

Pratik öneri, kararı toptan değil ayrıştırarak vermektir: hangi bot türünün ne amaçla içeriği kullandığını ayırt etmek, bazı botlara izin verip bazılarını engellemeyi mümkün kılar. Ayrıca bu alan hızla değişiyor; yılda bir kez gözden geçirilmesi gereken bir konu olarak ele alınmalıdır.

Dosyayı test etmek

Dosya değişikliği yayına alınmadan önce mutlaka test edilmelidir. Search Console’daki robots.txt raporu, Google’ın dosyayı nasıl okuduğunu ve belirli bir adresin engellenip engellenmediğini gösterir.

Test ederken yalnızca engellemek istediğiniz adresleri değil, engellemek istemediğiniz adresleri de kontrol edin. Joker karakter içeren kurallarda asıl risk buradadır: kural, hedeflenenden çok daha geniş bir kümeyi kapsayabilir.

İkinci bir kontrol, sayfanın işlenmiş hâlini görmektir. Stil ve betik dosyalarının engellenip engellenmediğini anlamanın en pratik yolu, arama motorunun sayfayı nasıl gördüğünü inceleyen araçları kullanmaktır.

Değişiklikleri izlemek

robots.txt, birden çok ekibin dokunabildiği bir dosyadır: geliştiriciler, altyapı ekibi, eklentiler ve bazen barındırma sağlayıcısı. Bu yüzden habersiz değişiklikler sık yaşanır.

Basit ve etkili bir önlem, dosyanın içeriğini düzenli olarak kontrol eden bir izleme kurmaktır. İçerik değiştiğinde bildirim alan ekipler, sorunu günler yerine dakikalar içinde fark eder.

Aynı izlemenin ikinci bileşeni, dosyanın yanıt kodudur. 200 dışında bir yanıt, özellikle sunucu hatası, taramayı doğrudan etkileyebileceği için acil müdahale gerektirir.

Site taşımasında robots.txt

Alan adı değişikliği veya kapsamlı yenileme sırasında robots.txt sık atlanan bir kalemdir. Yeni ortamda dosyanın var olduğundan, doğru içeriği taşıdığından ve geliştirme kalıntısı içermediğinden emin olunmalıdır.

Ayrıca eski alan adının robots.txt dosyası, geçiş süresince taramaya açık kalmalıdır. Eski adresler engellenirse, arama motorları kurduğunuz yönlendirmeleri göremez ve yeni adreslere geçiş belirgin biçimde yavaşlar.

Geçiş kontrol listesine iki satır eklemek yeterlidir: yeni ortamda dosyanın içeriği doğrulandı mı, eski ortamda tarama açık bırakıldı mı?

Denetim kontrol listesi

• Dosya kökte ve tam olarak robots.txt adıyla mı duruyor?
• 200 yanıt veriyor mu, sunucu hatası var mı?
• Sitenin tamamını engelleyen bir kural var mı?
• CSS, JavaScript ve görseller taranabilir durumda mı?
• noindex koyduğunuz sayfalar taramaya açık mı?
• Joker içeren kurallar test edildi mi?
• Bota özel gruplar, genel grubu istemeden devre dışı bırakıyor mu?
• Site haritası adresi tam adres olarak yazılmış mı?
• Alt alan adlarının kendi dosyaları var mı?
• Test ortamı adresleri veya kalıntı kurallar var mı?

Sık yapılan 12 hata

• Yayına geliştirme kuralıyla çıkmak. Tüm siteyi kapatan tek satır.
• noindex ile birlikte engelleme. Etiket hiç okunmaz.
• CSS ve JS engellemek. Sayfanın bozuk işlenmesine yol açar.
• Tam adres yazmak. Yollar yalnızca kök sonrası kısımla yazılır.
• Bota özel grup açıp genel kuralları kaybetmek. Sık ve fark edilmesi zor bir hata.
• Joker kalıbı test etmeden yayınlamak. Beklenenden geniş kapsama yol açar.
• Gizlilik amacıyla kullanmak. Dosya herkese açıktır.
• Desteklenmeyen yönerge yazmak. İşe yaramaz, dosyayı karmaşıklaştırır.
• Alt alan adlarını unutmak. Her alt alan kendi dosyasına ihtiyaç duyar.
• Büyük harfle dosya adı. Dosya bulunamaz.
• Sunucu hatası döndürmesini fark etmemek. Taramayı durdurabilir.
• Değişiklikleri izlememek. Habersiz değişiklikler haftalar sonra fark edilir.

Sıkça sorulan sorular

robots.txt dosyası olmazsa ne olur?

Dosya bulunamadığında botlar sitenin tamamının taranabilir olduğunu varsayar ve normal şekilde çalışmaya devam eder. Çoğu küçük site için bu bir sorun değildir. Asıl risk dosyanın olmaması değil, sunucu hatası döndürmesidir: bazı arama motorları 5xx yanıtını geçici bir sorun olarak yorumlayıp taramayı ihtiyatla azaltabilir. Bu nedenle dosyanın yanıt kodunu izlemek, içeriğini izlemek kadar önemlidir.

robots.txt ile engellediğim sayfa neden Google’da görünüyor?

Çünkü robots.txt taramayı engeller, dizine almayı değil. Başka sitelerden o adrese bağlantı verilmişse, arama motoru adresin varlığını bilir ve içeriğini hiç görmeden dizine alabilir; sonuçta açıklaması olmayan bir kayıt oluşur. Sayfanın dizinde görünmemesini istiyorsanız taramaya izin verip noindex etiketi kullanmalısınız. Sayfa dizinden düştükten sonra dilerseniz taramayı da engelleyebilirsiniz.

CSS ve JavaScript dosyalarını engellemeli miyim?

Hayır. Arama motorları sayfayı kullanıcının gördüğü gibi işlemeye çalışır ve bunun için stil ile betik dosyalarına erişmeleri gerekir. Bu dosyalar engellendiğinde sayfa bozuk işlenir, mobil uyumluluk ve düzenle ilgili değerlendirmeler olumsuz etkilenir. Eski kurulumlarda kalıntı olarak duran bu tür engellemeler, denetimlerde sık karşılaşılan ve kolayca düzeltilebilen bir sorundur.

Alt alan adları için ayrı robots.txt gerekir mi?

Evet. Bir robots.txt dosyası yalnızca kendi protokol, alan adı ve port kombinasyonu için geçerlidir. Blog, destek veya mağaza gibi alt alan adları kendi kök dizinlerinde ayrı dosyaya ihtiyaç duyar; ana alan adının dosyası onları kapsamaz. Çok sayıda alt alan kullanan kurumlarda bu ayrım sık gözden kaçar ve bazı alt alanların hiç yönetilmemesine yol açar.

Aynı adres için hem Allow hem Disallow varsa hangisi geçerli olur?

Google’ın uyguladığı kural, daha uzun ve daha belirgin olan yolun kazanmasıdır; uzunluk eşitse izin veren kural tercih edilir. Kuralların dosyadaki sırası belirleyici değildir. Bu davranış bilinmediğinde “kuralı en alta koydum ama çalışmıyor” tipinde yanılgılar oluşur. Karmaşık dosyalarda her kritik adresi test aracıyla kontrol etmek en güvenilir yoldur.

Test ortamımı robots.txt ile gizleyebilir miyim?

Güvenilir biçimde hayır. Engellenen adresler yine de dizine girebilir ve dosyanın kendisi herkese açık olduğu için engellediğiniz yolları duyurmuş olursunuz. Test ortamları için doğru yöntemler kimlik doğrulama, sunucu düzeyinde IP kısıtı veya tüm sayfalara sunucu başlığı üzerinden noindex verilmesidir. Canlıya geçişte bu koruma katmanlarının kaldırılmasını da kontrol listesine eklemek gerekir.

Terimler sözlüğü

• robots.txt: Botlara hangi yolların talep edilmemesi gerektiğini bildiren kök dizindeki metin dosyası.
• User-agent: Kuralın hangi bota uygulanacağını belirten tanımlayıcı.
• Disallow: Belirtilen yolla başlayan adreslerin talep edilmemesini isteyen yönerge.
• Allow: Engellenmiş bir alan içinde istisna tanımlayan yönerge.
• noindex: Sayfanın dizine alınmamasını isteyen sayfa düzeyi etiket veya sunucu başlığı.
• Tarama: Botun sayfa adresini talep edip içeriğini alması.
• Dizine alma: Taranan sayfanın arama veri tabanına eklenmesi.
• Tarama bütçesi: Arama motorunun bir siteye ayırdığı tarama kaynağı.
• Kanonik: Bir içeriğin asıl sürümü olarak belirlenen adres.

Özet

robots.txt, birkaç satırlık ama sonuçları çok büyük bir dosyadır. En kritik kavram, taramayı engellemek ile dizine almayı engellemek arasındaki farktır: birincisi botun sayfayı hiç görmemesini, ikincisi sayfanın arama sonuçlarında yer almamasını sağlar ve bunlar birbirinin yerine geçmez.

Pratik yaklaşım sadedir: değer üretmeyen ve sonsuz kombinasyon doğuran adresleri engelleyin, sayfanın işlenmesi için gereken kaynakları asla engellemeyin, dizin dışı bırakmak istediğiniz sayfaları taramaya açık tutup noindex kullanın.

Son olarak bu dosyayı izlenen bir varlık hâline getirin. İçeriğini ve yanıt kodunu düzenli kontrol eden bir kurulum, sektörün en pahalı ve en sık tekrarlanan kazalarından birini baştan önler.

İlgili içerikler: Site haritası rehberi, teknik SEO kontrol listesi, Search Console rehberi, e-ticaret SEO.