Yapay zeka botları ve robots.txt: neye izin vermeli?

Yapay zeka şirketleri web'i üç farklı amaçla tarar: modellerini eğitmek, kendi arama dizinlerini kurmak ve bir kullanıcının isteği üzerine bir sayfayı anlık açmak. Her amaç için genellikle ayrı bir bot kullanılır ve her biri robots.txt dosyanızda ayrı bir adla yönetilir.

Bu ayrım önemlidir, çünkü her botun engellenmesinin sonucu farklıdır. Eğitim botunu engellemek, içeriğinizin gelecekteki modellerin eğitiminde kullanılmamasını ister. Arama botunu engellemek ise sitenizin yapay zeka cevaplarında kaynak olarak gösterilmesini engelleyebilir.

Aşağıdaki tablo, sağlayıcıların kendi belgelerine dayanır:

Kaynaklar: OpenAI, Perplexity, Anthropic, Google.

OpenAI, ayarların birbirinden bağımsız olduğunu belirtiyor: OAI-SearchBot'a izin verip GPTBot'u engelleyebilirsiniz. OpenAI ayrıca robots.txt değişikliğinin arama sonuçlarına yansımasının yaklaşık 24 saat sürebileceğini söylüyor (OpenAI).

Bu bir iş kararıdır ve tek doğru cevabı yoktur. GPTBot'u engellemek, içeriğinizin OpenAI'ın gelecekteki modellerinin eğitiminde kullanılmamasını ister. Bu, ChatGPT arama cevaplarında kaynak gösterilmenizi doğrudan engellemez, çünkü onu OAI-SearchBot yönetir.

Kararı verirken iki şeyi tartın:

• İçeriğinizin değeri. Özgün araştırma, ücretli içerik veya lisanslı veri yayımlıyorsanız eğitimde kullanılmasını istemeyebilirsiniz.
• Marka hafızası. Model hafızasından gelen cevaplar, eğitim verisinde yer alan markaları daha kolay anar. Eğitimden tamamen çekilmek, uzun vadede modelin markanızı tanımasını zayıflatabilir.

Çoğu ticari marka için makul denge şudur: arama ve kullanıcı botlarına izin verin, eğitim botları için kararı içeriğinizin türüne göre verin. Haber yayıncıları ve özgün veri üreten şirketler farklı bir denge seçebilir.

Evet, çoğu zaman farklıdır. Haber siteleri, dergiler ve özgün araştırma yayımlayan şirketler için içerik, satılan ürünün kendisidir. Bu kurumlar eğitim botlarını engelleyip lisans görüşmelerini tercih edebilir. Cloudflare'in 2025'teki değişikliği de bu tartışmanın bir parçası olarak duyuruldu (Cloudflare).

Bir e-ticaret sitesi, bir yazılım şirketi veya bir hizmet markası için durum farklıdır. Bu şirketlerin sitesindeki içerik, ürünü satmak için vardır. Ürün bilgilerinin, fiyatların ve SSS'lerin yapay zeka cevaplarında doğru yer alması doğrudan satışa hizmet eder. Bu yüzden bu markalar için arama botlarını açık tutmak neredeyse her zaman doğru karardır.

Yapay zeka cevaplarında kaynak olmak istiyorsanız, arama botlarına izin vermeniz gerekir. OpenAI, OAI-SearchBot'u engelleyen sitelerin ChatGPT arama cevaplarında gösterilmeyeceğini açıkça yazıyor (OpenAI). Perplexity için de PerplexityBot aynı rolü üstlenir (Perplexity).

Bu, GEO çalışmasının en temel adımıdır. İçeriğiniz ne kadar iyi olursa olsun, botlar sayfaya erişemiyorsa kaynak olamazsınız. Perplexity'nin Türkçe sorularda kaynakları nasıl seçtiğini Perplexity Türkçe kaynaklar yazısında anlattık.

Google-Extended ayrı bir tarayıcı değil, robots.txt'de kullanılan bir kontrol adıdır. Google'a göre bu ayar, içeriğinizin Gemini modellerinin eğitiminde ve temellendirmesinde kullanılıp kullanılmayacağını yönetir. Google, bu ayarın sitenizin Google Arama'daki yerini veya sıralamasını etkilemediğini belirtiyor (Google).

Google Arama'daki yapay zeka özelliklerinde, yani AI Bakışı ve AI Modu'nda nasıl kullanılacağınız ise klasik arama ayarlarına bağlıdır. Google, bu özelliklerde kaynak olmak için sayfanın indekslenmiş ve snippet ile gösterilebilir olmasını şart koşar. Ayrıntıları Google AI Bakışı Türkiye'de yazısında bulabilirsiniz.

robots.txt dosyanız botlara izin verse bile, CDN veya güvenlik duvarınız onları engelliyor olabilir. Bu, en sık gözden kaçan sorundur.

Cloudflare, 1 Temmuz 2025'te yeni eklenen alan adları için yapay zeka tarayıcılarını varsayılan olarak engelleyen bir değişiklik duyurdu ve site sahiplerine yapay zeka tarayıcılarına izin verip vermeyeceklerini seçme imkânı sundu (Cloudflare). Cloudflare, 1 Temmuz 2026'daki ikinci duyurusunda botları arama, ajan ve eğitim olarak üçe ayırdı; 15 Eylül 2026'dan itibaren yeni alan adlarında eğitim ve ajan botları reklam gösteren sayfalarda varsayılan olarak engelleniyor, arama botları ise açık kalıyor (Cloudflare). Bu tür varsayılan ayarlar, siteniz ilk kurulduğunda farkında olmadan seçilmiş olabilir.

Kontrol listesi:

1. CDN panelinizde yapay zeka botlarıyla ilgili bir ayar olup olmadığına bakın.
2. Güvenlik duvarı ve bot yönetimi kurallarınızın bu botları "şüpheli" diye işaretlemediğini kontrol edin.
3. Sunucu kayıtlarında bu botların isteklerine hangi durum kodunun döndüğünü inceleyin. 403 veya 429 görüyorsanız erişim engelleniyor olabilir.
4. Önemli sayfalarınızın içeriğinin yalnızca JavaScript ile yüklenmediğinden emin olun.

Aşağıdaki örnek, arama ve kullanıcı botlarına izin veren, eğitim botlarını engelleyen bir yapıdır. Bu bir şablondur; kendi kararınıza göre uyarlayın.

# Yapay zeka arama ve kullanıcı botları: izin
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: PerplexityBot
User-agent: Claude-SearchBot
Allow: /
Disallow: /hesabim/
Disallow: /sepet/

# Model eğitimi: engelle (isteğe bağlı)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# Diğer tüm botlar
User-agent: *
Disallow: /hesabim/
Disallow: /sepet/

Bir bot kendi adıyla bir gruba yazıldığında User-agent: * grubundaki kuralları uygulamaz (RFC 9309); bu yüzden kapalı alanları bu grupta da tekrar edin.

Dosyayı yayımladıktan sonra tarayıcınızda alanadiniz.com/robots.txt adresini açarak doğru dosyanın yayında olduğunu kontrol edin. Birden fazla alt alan adınız varsa, her birinin kendi robots.txt dosyası olduğunu unutmayın.

Eğitim botlarına da izin vermek istiyorsanız, ilgili Disallow: / satırlarını kaldırmanız yeterlidir. Sepet, hesap ve ödeme gibi kişisel alanları her durumda kapalı tutun.

Bot erişimi "her şey açık" ya da "her şey kapalı" olmak zorunda değildir. Arama botlarına izin verirken bazı alanları her durumda kapalı tutun:

• Kişisel alanlar. Hesabım, sepet, ödeme ve sipariş takip sayfaları.
• Arama ve filtre sonuçları. Site içi arama sayfaları ve sonsuz filtre kombinasyonları, botların zamanını boşa harcar.
• Test ve hazırlık ortamları. Yayında olmayan sürümler hiçbir botla paylaşılmamalı.
• Kopya içerik. Yazdırma sürümleri veya aynı içeriğin parametreli kopyaları.

Buna karşılık şu sayfalar mutlaka açık olmalı: ürün ve hizmet sayfaları, fiyat sayfası, SSS, karşılaştırma sayfaları, blog ve rehberler, hakkımızda ve iletişim sayfaları. Yapay zeka motorlarının markanızı doğru anlatması için en çok bu sayfalara ihtiyacı vardır.

Her "GPTBot" isteği gerçekten OpenAI'dan gelmez. User-agent bilgisi kolayca taklit edilebilir. Bu yüzden bot trafiğini yorumlarken dikkatli olun.

Sağlayıcıların çoğu, botlarının kullandığı IP aralıklarını yayımlar. OpenAI, OAI-SearchBot için hem robots.txt'de izin verilmesini hem de yayımlanan IP aralıklarından gelen isteklerin kabul edilmesini öneriyor (OpenAI). Güvenlik ekibiniz, bot kurallarını bu listelere göre yazarsa hem sahte botları dışarıda tutar hem de gerçek arama botlarını yanlışlıkla engellemez.

Anthropic ise IP engellemenin, şirketin robots.txt dosyanızı okumasını zorlaştırabileceği için güvenilir bir tercih yöntemi olmayabileceğini belirtiyor (Anthropic). Yani tercihinizi önce robots.txt ile ifade edin, IP kurallarını ikinci katman olarak kullanın.

Bot kararı yalnızca SEO ekibinin işi değildir. Üç ekip birlikte karar vermelidir:

Kararı yazılı hale getirin ve robots.txt dosyasının başına kısa bir yorum satırı olarak ekleyin. Böylece bir yıl sonra dosyayı açan kişi neden bu ayarın seçildiğini bilir.

Hayır. robots.txt, botlara neyi tarayabileceklerini söyler; bir erişim dosyasıdır. llms.txt ise yapay zeka sistemlerine sitenizdeki en önemli içeriği özetleyen, isteğe bağlı bir rehber dosyadır. İkisi birbirinin yerini tutmaz. llms.txt'nin nasıl hazırlandığını llms.txt nedir yazısında anlattık.

En az üç ayda bir. Yapay zeka şirketleri yeni botlar ekliyor, mevcut botların görevlerini değiştiriyor ve belgelerini güncelliyor. CDN ve güvenlik sağlayıcıları da varsayılan ayarlarını zaman zaman değiştiriyor.

Kısa bir kontrol rutini yeterlidir: sağlayıcıların bot sayfalarını açın, robots.txt dosyanızı güncel listeyle karşılaştırın, CDN panelinizdeki yapay zeka ayarlarına bakın ve sunucu kayıtlarında beklenmeyen engellemeler olup olmadığını kontrol edin.

Bot ayarını değiştirdikten sonra iki şeyi izleyin. Birincisi sunucu kayıtları: botlar sitenize gelmeye başladı mı? İkincisi görünürlük: sayfalarınız yapay zeka cevaplarında kaynak gösterilmeye başladı mı?

İkincisi daha önemlidir, çünkü erişim yalnızca ön koşuldur. Hedef sorularınızda kaynak gösterilen sayfaları kaynak takibi ile izleyebilirsiniz. Aksiyon önerileri, bot erişimi gibi teknik engelleri diğer eksiklerle birlikte etkisine göre sıralar.

Yapay zeka botları eğitim, arama ve kullanıcı isteği için ayrı ayrı çalışır. GPTBot ve ClaudeBot gibi eğitim botlarını engellemek bir içerik politikası kararıdır. OAI-SearchBot ve PerplexityBot gibi arama botlarını engellemek ise yapay zeka cevaplarında kaynak olmanızı engelleyebilir. robots.txt dosyanızı, CDN ve güvenlik ayarlarınızı birlikte kontrol edin ve değişikliğin görünürlüğe etkisini ölçün.