Üç tür bot
OpenAI’nin belgesi ayrımı en açık yapan. GPTBot, üretken yapay zekâ modellerini eğitmek için içerik topluyor; onu engellemek içeriğinizin eğitimde kullanılmamasını istediğinizi söylüyor. OAI-SearchBot ise ChatGPT’nin arama özelliklerinde siteleri göstermek için çalışıyor. Belgedeki cümle şu: OAI-SearchBot’a kapalı siteler ChatGPT’nin arama cevaplarında gösterilmez, yalnızca gezinme bağlantısı olarak görünebilir. Üçüncüsü ChatGPT-User: bir kullanıcı ChatGPT’den belirli bir sayfayı açmasını istediğinde çalışıyor ve belge, robots.txt kurallarının bu durumda geçerli olmayabileceğini yazıyor.
Perplexity’de iki bot var. PerplexityBot arama sonuçlarında siteleri gösterip bağlantı vermek için tarıyor; şirket bunun temel modelleri eğitmek için kullanılmadığını belirtiyor. Perplexity-User kullanıcının sorusuna cevap verirken sayfayı açıyor ve belgedeki ifadeyle, isteği kullanıcı yaptığı için robots.txt kurallarını genellikle yok sayıyor.
Anthropic üç bot sayıyor: eğitim için ClaudeBot, arama kalitesi için Claude-SearchBot ve kullanıcı istekleri için Claude-User. Şirket botlarının robots.txt’teki taramama yönergelerine uyduğunu ve Crawl-delay alanını desteklediğini yazıyor.
Buradan çıkan kural: bir botu engellemeden önce hangi türden olduğuna bakın. Eğitim botunu engellemek aramadaki görünürlüğünüzü etkilemez. Arama botunu engellemek ise o asistanın cevaplarından çıkmanız demektir.
Google’da durum farklı
Google’da AI Overviews ve AI Mode ayrı bir botla değil, bildiğiniz Googlebot’un taradığı arama diziniyle çalışıyor. Bu yüzden robots.txt’te onlar için ayrı bir satır yok.
Google-Extended sık karıştırılıyor. Google’ın tarayıcı listesindeki tanıma göre bu, yayıncıların sitelerinden taranan içeriğin gelecekteki Gemini modellerinin eğitiminde kullanılıp kullanılmayacağını yönetmesi için bir belirteç. Ayrı bir kullanıcı aracısı bile yok; tarama mevcut Google botlarıyla yapılıyor. Belge iki şeyi açıkça yazıyor: Google-Extended bir sitenin Google Arama’ya dahil edilmesini etkilemez ve sıralama sinyali olarak kullanılmaz.
AI Overviews ve AI Mode’da görünüp görünmemeyi yöneten ayar Search Console’da. Yardım sayfasına göre 31 Ağustos 2026’dan beri bütün sitelere açık ve üç seçeneği var: dahil et (varsayılan), hariç tut ve üst mülkten devral. Hariç tuttuğunuzda sitenize verilen bağlantılar ve içeriğiniz bu özelliklerde görünmüyor; değişikliğin yansıması genellikle birkaç gün sürüyor. Ayar yapay zekâ eğitimini etkilemiyor ve noindex’ten farklı: siteniz normal arama sonuçlarında kalıyor.
llms.txt: iddia ve veri
llms.txt, sitenizin içeriğini dil modelleri için özetleyen bir metin dosyası önerisi. Çevresinde bir hizmet pazarı oluştu: dosyayı hazırlayan eklentiler, denetleyen araçlar, satan ajanslar. Biz iddiayı üç kaynakla sınıyoruz.
Google’dan John Mueller 17 Haziran 2025’te şunu yazdı: şu anda hiçbir yapay zekâ sistemi llms.txt kullanmıyor. Google’ın Temmuz 2026 tarihli rehberi de aynı yerde: Google Arama’da görünmek için yeni makine okunur dosyalar, yapay zekâ metin dosyaları ya da Markdown oluşturmanız gerekmiyor.
Üçüncü kaynak veri. Ahrefs 15 Haziran 2026’da 137.210 alan adının Mayıs 2026 sunucu kayıtlarını inceledi. Alan adlarının yüzde 28’i geçerli bir llms.txt yayınlıyordu. Yaklaşık 38.000 dosyanın yüzde 97’si ay boyunca tek bir istek almadı. İstek alan az sayıdaki dosyada da tablo umut verici değil: dosyayı isteyen botların yüzde 77’si yapay zekâ aracı değildi; en büyük grup yüzde 21,7 ile SEO denetim araçlarıydı. Yani dosyayı en çok, dosyanın var olup olmadığını denetleyen araçlar okuyor.
Hükmümüz şu: dosyayı koymanın bir zararı yok, satmanın ise dürüst bir yanı yok.
Kimi kaynak gösteriyorlar?
Semrush 10 Kasım 2025’te yayımladığı çalışmada 13 hafta boyunca 230 bin promptun cevaplarındaki 100 milyondan fazla atıfı izledi. ChatGPT’de Ağustos başında cevapların yüzde 60’a yakınında Reddit, yüzde 55 kadarında Wikipedia kaynak gösteriliyordu. Eylül ortasında Reddit yüzde 10 civarına, Wikipedia yüzde 20’nin altına indi. Aynı haftalarda Google AI Mode ve Perplexity’de tablo neredeyse hiç değişmedi.
Bu veriden “Reddit’e yazın” ya da “Reddit öldü” sonucu çıkmıyor. Çıkan sonuç şu: atıf dağılımı platforma göre değişiyor ve bir platformda birkaç hafta içinde altüst olabiliyor. Bir rakamı ezberlemek yerine ölçmeyi öğreniyoruz; gelecek saatte kendi prompt setinizi kuracaksınız.
