Top

Siteniz AI Botlarını Farkında Olmadan Engelliyor mu?

Siteniz AI botlarını farkında olmadan engelliyor mu? kapak görseli

Siteniz AI Botlarını Farkında Olmadan Engelliyor mu?

Şöyle bir tablo düşünün: ChatGPT’ye sektörünüzle ilgili bir soru soruyorsunuz. Rakiplerinizin üçü cevapta var, siz yoksunuz. İçeriğiniz iyi, siteniz hızlı, markanız bilinen bir marka. Sorunun cevabı çoğu zaman çok daha sıkıcı bir yerde saklı olabilir: aylar önce “güvenlik için” açılmış bir bot engelleme ayarı, yapay zekânın arama botunu kapıda bekletiyor olabilir.

Bu yazı tam olarak o sessiz kayıp hakkında. Yapay zekâ tarayıcılarını farkında olmadan engelleyen sitelerin sayısı sandığınızdan fazla olabilir ve Cloudflare’in Eylül 2026’da yaptığı değişiklikle hata payı biraz daha büyüdü. Neyin değiştiğini, hangi botun ne işe yaradığını ve yarın sabah kendi sitenizde neye bakmanız gerektiğini anlatacağım. Daha fazla dijital pazarlama içeriği için ana sayfamıza da göz atabilirsiniz.

İçindekiler

Cloudflare'de eğitim için Block seçmek Googlebot'u da engeller alıntı görseli

Bu Konu Neden Şimdi Gündemde?

SEO danışmanı Matthew Woodward bu hafta abonelerine “Siteniz gizlice yapay zekâyı mı engelliyor?” başlıklı bir e-posta gönderdi ve 33 farklı yapay zekâ tarayıcısına karşı siteyi test eden ücretsiz bir araç duyurdu (Woodward, 2026). E-postadaki iki cümle aklımda kaldı. Birincisi şu: ChatGPT sitenizi açamazsa, soruyu rakiplerinizin içeriğiyle cevaplıyor. İkincisi daha da sert: tek bir yanlış Cloudflare ayarı artık Google, Bing ve Apple’ı da dışarıda bırakabiliyor.

Woodward ayrıca yapay zekâ aramasından gelen bir ziyaretçinin klasik arama ziyaretçisinden 4,4 kat değerli olduğunu yazıyor. Bu rakamın kaynağını e-postada belirtmiyor, o yüzden ben de buna yaslanmayacağım. Ama ikinci iddia, yani Cloudflare kısmı, doğrudan Cloudflare’in kendi duyurusuyla doğrulanabiliyor. Asıl mesele de orada.

Cloudflare’de “Block” Artık Ne Anlama Geliyor?

Cloudflare 15 Eylül 2026’da bot kontrollerini yeniden düzenledi. Artık üç ayrı davranış için ayrı ayar var: Search (arama dizini oluşturmak için tarama), Training (model eğitmek için tarama) ve Agent (bir insan adına sayfayı ziyaret eden ajanlar). Eğitim tarafına da yeni bir seçenek eklendi: Disallow AI Training (Cloudflare, 2026).

Kritik nokta şu. Daha önce “Block” seçeneği Googlebot, Bingbot ve Applebot gibi “karma kullanımlı” tarayıcılara dokunmuyordu, çünkü bu botlar hem arama hem eğitim için aynı kimlikle geziyor. 15 Eylül’den itibaren “Block” ve “Block on pages with ads” seçenekleri bu üç botu da kapsıyor. Yani eğitim ayarında “Block” seçerseniz, Google aramasından da çıkmayı göze almış oluyorsunuz (Cloudflare, 2026).

İyi haber de var: Eski ayarlar otomatik taşındı. Eskiden “Block AI Bots” açık olan siteler yeni sistemde arama için “Allow”, eğitim için “Disallow AI Training” ayarına geçirildi. Yani mevcut kullanıcıların çoğu korunmuş durumda. Risk, bundan sonra panele girip “şu yapay zekâ botlarını bir kapatayım” diyen birinin en sert seçeneği işaretlemesinde.

Cloudflare’in paylaştığı bir veri de durumu iyi özetliyor: Cloudflare’deki sitelerin yüzde 1’inden azı arama botlarını engelliyor, ama yüzde 17’si eğitim botlarına karşı bir engel açmış (Cloudflare, 2026). Yani niyet çoğunlukla “aramada kalayım, eğitime veri vermeyeyim”. Doğru araç da bunun için tasarlanmış Disallow AI Training seçeneği. Bir not: Bing, robots.txt üzerinden “eğitime izin yok” tercihini okumayı 2027 başı için hedefliyor; o tarihe kadar bu ayar Bing’e eğitim tercihi iletmiyor.

Hangi Bot Ne Yapar? Eğitim, Arama ve Kullanıcı Botları

Çoğu yanlış karar, “yapay zekâ botu” denen şeyi tek bir şey sanmaktan doğuyor. Oysa aynı şirketin bile birkaç farklı botu var ve her biri farklı bir kapıyı açıyor. OpenAI örneği bunu çok net gösteriyor (OpenAI, t.y.):

  • OAI-SearchBot: ChatGPT’nin arama özelliklerinde sitenizin görünmesini sağlıyor. Bu botu engellerseniz siteniz ChatGPT arama cevaplarında gösterilmiyor (yalnızca gezinme linki olarak çıkabiliyor).
  • GPTBot: Model eğitimi için içerik topluyor. Engellemek, “içeriğim eğitimde kullanılmasın” demek. Aramadaki görünürlüğünüzü bu bot belirlemiyor.
  • ChatGPT-User: Bir kullanıcı soru sorduğunda sayfanızı anlık ziyaret ediyor. Kullanıcı başlattığı için robots.txt kuralları bu bota uygulanmayabiliyor.

OpenAI bir detayı daha not ediyor: robots.txt’i güncelledikten sonra arama sonuçlarına yansıması yaklaşık 24 saat sürebiliyor. Yani bir değişiklik yapıp hemen sonuç beklemeyin.

Google ve Apple tarafında mantık benzer. Google eğitimden çıkmak için ayrı bir “Google-Extended” kimliği sunuyor; Apple da “Applebot-Extended” ile aynısını yapıyor ve eğitimden çıkmanın arama sıralamasını etkilemediğini açıkça belirtiyor (Cloudflare, 2026). Kısacası: eğitim kapısını kapatmak, arama kapısını kapatmak zorunda olduğunuz anlamına gelmiyor. Ama ikisini karıştırırsanız ikisi birden kapanıyor.

Markaların yapay zekâ cevaplarında neden öne çıktığını AI Neden Bazı Markaları Öneriyor? yazımızda ayrıntılı ele almıştık. O yazıdaki hiçbir öneri, bot sitenize giremiyorsa işe yaramaz.

robots.txt’teki Kopyala-Yapıştır Tuzağı

Search Engine Journal’ın robots.txt rehberi, yapay zekâ botlarını engellemek isteyenler için örnek bir liste veriyor. Listede GPTBot, ClaudeBot, Google-Extended, Applebot-Extended gibi eğitim botlarının yanında PerplexityBot da var (Search Engine Journal, 2026). Rehber kendisi de uyarıyor: bu karar, yapay zekâ sohbet botlarındaki görünürlüğü azaltabileceği için paydaşlarla konuşularak verilmeli.

Ben buradaki tehlikenin rehberde değil, kopyala-yapıştır alışkanlığında olduğunu düşünüyorum. Bir forumdan ya da bir eklentinin hazır şablonundan alınan “AI botlarını engelle” bloğu, eğitim botlarıyla arama botlarını aynı satıra koyuyorsa, siz sadece eğitimi kapattığınızı sanırken Perplexity’deki görünürlüğünüzü de kapatmış oluyorsunuz.

Bir şeyi daha hatırlatayım: robots.txt bir rica, kilit değil. Kötü niyetli bir tarayıcıyı durdurmaz (Search Engine Journal, 2026). Yani güvenlik için robots.txt’e güvenmek de, robots.txt’i güvenlik duvarı gibi kullanıp iyi niyetli botları kovmak da yanlış. Gerçek güvenlik tarafını, WordPress sitelerin nasıl ele geçirildiğini anlattığımız SEO zehirlenmesi yazımızda konuştuk.

Türkiye’deki KOBİ’ler İçin 6 Maddelik Kontrol Listesi

Bir KOBİ sitesi aynı anda Cloudflare’in ücretsiz planının arkasında, bir güvenlik eklentisiyle ve hosting firmasının kendi koruma katmanıyla çalışıyor olabilir. Üç katman, üç ayrı yerde bot engeli demek. Ve hangisini kimin, ne zaman açtığı çoğu zaman unutuluyor. Şu sırayla bakmanızı öneririm:

  1. robots.txt’i açın ve okuyun. alanadiniz.com/robots.txt adresine gidin. OAI-SearchBot, PerplexityBot, Claude-SearchBot gibi arama botlarına “Disallow: /” verilmiş mi? Verilmişse ve bu bilinçli bir karar değilse kaldırın.
  2. Cloudflare panelinde Security Settings’e girin. Search, Training ve Agent ayarlarına tek tek bakın. Amacınız “aramada kal, eğitime verme” ise Training için Block değil, Disallow AI Training seçili olmalı.
  3. Güvenlik eklentisini kontrol edin. Wordfence gibi eklentilerin “kötü bot” listeleri ya da ülke bazlı engeller, ABD’deki veri merkezlerinden gelen yapay zekâ botlarını da kesebiliyor.
  4. Sunucu kayıtlarına bakın. Hosting panelinizdeki erişim kayıtlarında OAI-SearchBot veya PerplexityBot için 403 hatası görüyorsanız, bir yerde bir engel var demektir.
  5. Elle test edin. ChatGPT ve Perplexity’de markanızla ve ana hizmetinizle ilgili birkaç soru sorun. Kaynak olarak hiç görünmüyorsanız ve rakipleriniz görünüyorsa, ilk şüpheli erişim.
  6. Kararı yazıya dökün. “Eğitime izin vermiyoruz ama aramada kalıyoruz” gibi tek cümlelik bir politika belirleyin ve ajansınızla, yazılımcınızla paylaşın. Bir sonraki “güvenlik iyileştirmesi” bu kararı bozmasın.

Bu kontrolleri teknik ekibiniz olmadan yapmak zor geliyorsa, SEO & SEM danışmanlığı kapsamında birlikte bakabiliriz. Teknik SEO ve yapay zekâ görünürlüğüyle ilgili diğer yazılar için SEO kategorimize göz atabilirsiniz.

Sıkça Sorulan Sorular

GPTBot’u engellersem ChatGPT’de görünmez olur muyum?

Hayır, tek başına GPTBot engeli bunu yapmaz. GPTBot eğitim için içerik topluyor. ChatGPT aramasında görünürlüğü OAI-SearchBot belirliyor. Aramada kalmak istiyorsanız OAI-SearchBot’a izin vermeniz yeterli.

Cloudflare kullanıyorum ama hiçbir ayara dokunmadım. Etkilenir miyim?

Büyük ihtimalle hayır. Cloudflare eski ayarları yeni sisteme taşıdı ve varsayılan durumda Googlebot’u engellemiyor. Risk, bundan sonra Training ayarında “Block” seçilmesi. Yine de panele bir kez girip mevcut durumu görmekte fayda var.

Google-Extended’ı engellemek Google sıralamamı düşürür mü?

Google-Extended, Google’ın eğitim tercihi için kullandığı ayrı bir kimlik. Arama taramasını Googlebot yapıyor. Google-Extended’a “Disallow” vermek, içeriğinizin eğitimde kullanılmamasını istediğinizi belirtir; arama taramasını kapatmaz.

robots.txt değişikliği ne kadar sürede etkili olur?

Bota göre değişiyor. OpenAI, arama tarafında yaklaşık 24 saat dediği bir süre veriyor. Diğer botlar için değişikliği yaptıktan sonra birkaç gün sunucu kayıtlarını izlemek en sağlıklısı.

Kapıda Kimi Bekletiyorsunuz?

Yapay zekâ aramasında görünür olmak için yapılacak işlerin çoğu emek istiyor: iyi içerik, net marka bilgisi, güvenilir kaynaklarda anılmak. Ama listenin en başındaki madde neredeyse bedava: botun içeri girebilmesi. Bunu atlayan bir site, geri kalan her şeyi yapsa bile oyunun dışında kalabiliyor.

Bu hafta bir kahve molasında robots.txt dosyanızı ve Cloudflare panelinizi açın. On dakikanızı alır. Sitenizin altyapısıyla ilgili kapsamlı bir destek isterseniz WordPress danışmanlığı sayfamızdan bize ulaşabilirsiniz.

Kaynakça

Cloudflare. (2026, 15 Eylül). Have it both ways: Stay discoverable in search while disallowing AI training. The Cloudflare Blog. https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/

OpenAI. (t.y.). Overview of OpenAI crawlers. OpenAI Platform. Erişim tarihi 20 Kasım 2026, https://platform.openai.com/docs/bots

Search Engine Journal. (2026, 19 Kasım). Robots.txt guide: Best practices for search & AI crawlers. https://www.searchenginejournal.com/robots-txt-guide/452513/

Woodward, M. (2026, 19 Kasım). Is your website secretly blocking AI? [E-posta bülteni]. MatthewWoodward.co.uk / LinksThatRank. https://linksthatrank.com/ai-visibility-checker/


Hasan Yasin TÜRKYILMAZ sitesinden daha fazla şey keşfedin

Son gönderilerin e-postanıza gönderilmesi için abone olun.

No Comments

Post a Comment