Arama motorları sitenizi keşfetmek için botlar kullanır ve bu botların işini iki dosya doğrudan yönlendirir: XML site haritası (sitemap) ve robots.txt. Biri Google’a “işte önemli sayfalarım” derken, diğeri “buraya girme, şurayı tara” talimatı verir. Bu iki dosyayı doğru yapılandırmak, sitenizin verimli taranıp indekslenmesinin temelidir.

Bu rehberde her iki dosyanın ne işe yaradığını ve nasıl kurulacağını ele alıyoruz. Konunun teknik bağlamını Teknik SEO Rehberi yazımızda, indeksleme takibini ise Google Search Console Rehberi yazımızda bulabilirsiniz.

Site Haritası (Sitemap) Nedir?

XML site haritası, sitenizdeki önemli sayfaların bir listesini arama motorlarına sunan bir dosyadır. Botlara hangi sayfaların var olduğunu ve keşfedilmeyi beklediğini bildirir. Özellikle yeni, büyük veya karmaşık yapıdaki siteler için keşfi hızlandırır.

Sitemap Neden Önemlidir?

Bir sitemap, botların sitenizdeki tüm önemli sayfalara ulaşmasını garantiye alır; özellikle iç linklerle zayıf bağlanmış sayfalar için kritiktir. Sitemap doğrudan bir sıralama faktörü değildir, ancak indekslemeyi kolaylaştırarak dolaylı bir avantaj sağlar.

Basit Bir Sitemap Yapısı

Bir XML sitemap, her URL için adres ve isteğe bağlı ek bilgiler içerir:

<?xml version=”1.0″ encoding=”UTF-8″?>
<urlset xmlns=”http://www.sitemaps.org/schemas/sitemap/0.9″>
  <url>
    <loc>https://siteniz.com/</loc>
    <lastmod>2026-01-15</lastmod>
  </url>
  <url>
    <loc>https://siteniz.com/blog/seo-nedir-rehberi</loc>
    <lastmod>2026-01-10</lastmod>
  </url>
</urlset>

WordPress kullanıyorsanız, Rank Math veya Yoast gibi eklentiler sitemap’i otomatik oluşturur ve günceller; bu dosyayı elle hazırlamanıza gerek kalmaz.

Robots.txt Nedir?

Robots.txt, sitenizin kök dizininde bulunan ve arama motoru botlarına hangi bölümleri tarayıp taramayacaklarını bildiren bir metin dosyasıdır. Botlar bir siteyi taramadan önce bu dosyayı okur ve talimatlara uyar.

Robots.txt Neden Önemlidir?

Robots.txt, tarama bütçenizi verimli kullanmanızı sağlar. Yönetim panelleri, sepet sayfaları veya değer taşımayan filtre URL’leri gibi bölümleri tarama dışı bırakarak, botların önemli içeriğe odaklanmasına yardımcı olursunuz. Ancak dikkatli olun: yanlış bir kural, tüm sitenizi aramaya kapatabilir.

Basit Bir Robots.txt Örneği

User-agent: *
Disallow: /wp-admin/
Disallow: /sepet/
Disallow: /arama/
Allow: /

Sitemap: https://siteniz.com/sitemap.xml

Bu örnekte tüm botlara yönetim, sepet ve arama sayfaları kapatılırken, geri kalan her şeye izin verilir ve sitemap adresi belirtilir.

Robots.txt ile Noindex Arasındaki Fark

Sık karışan bu iki kavram farklı işler yapar:

Önemli bir incelik: Robots.txt ile engellenen bir sayfa yine de indekslenebilir (başka sitelerden link alıyorsa). Bir sayfayı kesinlikle aramadan çıkarmak istiyorsanız, robots.txt yerine noindex etiketi kullanın.

Sitemap’i Google’a Bildirmek

Sitemap’inizi oluşturduktan sonra, Google Search Console üzerinden gönderin. Bu, Google’ın site haritanızı düzenli kontrol etmesini ve yeni sayfaları hızlıca keşfetmesini sağlar. Ayrıca robots.txt dosyanıza sitemap adresini eklemek, diğer arama motorlarının da onu bulmasına yardımcı olur.

Sık Yapılan Hatalar

• Robots.txt ile önemli sayfaları engellemek: En yaygın ve en ciddi hata.
• Sitemap’i güncellememek: Silinmiş veya taşınmış URL’ler içeren eski sitemap.
• Noindex ve disallow’u karıştırmak: İkisini aynı sayfada birlikte kullanmak çelişki yaratır.
• Sitemap’e gereksiz sayfalar eklemek: Değersiz veya yönlendirilmiş URL’ler eklemek.
• Sitemap’i göndermemeyi unutmak: Search Console’a bildirmeyi atlamak.

Sıkça Sorulan Sorular

Küçük bir sitenin sitemap’e ihtiyacı var mı?

Küçük ve iyi bağlantılı siteler sitemap olmadan da taranabilir. Ancak sitemap oluşturmak kolaydır ve zarar vermez; hatta yeni içeriklerin daha hızlı keşfedilmesine yardımcı olur. Bu yüzden her boyuttaki site için önerilir.

Robots.txt’i yanlış yapılandırırsam ne olur?

Yanlış bir Disallow kuralı, sayfalarınızın ya da tüm sitenizin taranmasını engelleyerek sıralamalarınızı kaybettirebilir. Bu yüzden robots.txt her değişiklikten sonra dikkatle kontrol edilmeli ve Search Console’daki test araçlarıyla doğrulanmalıdır.

Sonuç: Botlarla Doğru Konuşmak

Sitemap ve robots.txt, arama motorlarıyla kurduğunuz teknik iletişimin dilidir. Doğru yapılandırıldıklarında, botlar sitenizi verimli tarar, önemli sayfalarınızı hızlıca keşfeder ve tarama kaynağını boşa harcamaz. Basit görünen bu iki dosya, ihmal edildiğinde ciddi indeksleme sorunlarına yol açabildiği için, teknik SEO’nun temel ve vazgeçilmez bir parçasıdır.

Sitenizin teknik altyapısından emin misiniz? Kreativa’nın SEO ekibi, sitemap ve robots.txt yapılandırmasından kapsamlı teknik denetime kadar sitenizin arama motorlarıyla kusursuz konuşmasını sağlar. Kreativa SEO hizmetlerini keşfedin