Küçük, gözden kaçmış bir metin dosyasının web sitenizin SEO'sunu sessizce sabote edebileceğini fark ettiğinizde içinize bir sıkıntı düşer. Birçok site sahibi, robots.txt dosyalarındaki basit bir hatanın Google'ın en önemli içeriklerini bulmasını engelleyebileceğinin farkında değildir.
Binlerce WordPress sitesini denetledikten sonra, bunu sayamayacağımız kadar çok kez gördük. İyi haber şu ki, bunu düzeltmek düşündüğünüzden daha kolay.
Bu kılavuzda, bir WordPress robots.txt dosyasını optimize etmek için kullandığımız kesin, savaşta test edilmiş adımları size adım adım anlatacağız. Doğru yapmayı ve arama motorlarının sitenizi verimli bir şekilde taramasını sağlamayı öğreneceksiniz.
Bunalmış mı hissediyorsunuz? Bu kılavuzda ele alacağımız her şeyin hızlı bir özeti aşağıdadır. Sizi en çok ilgilendiren bölüme atlamaktan çekinmeyin.
- Robots.txt Dosyası Nedir?
- WordPress Siteniz İçin Robots.txt Dosyasına İhtiyacınız Var mı?
- İdeal Bir Robots.txt Dosyası Nasıl Görünür?
- WordPress'te Robots.txt Dosyası Nasıl Oluşturulur
- Robots.txt Dosyanızı Nasıl Test Edersiniz
- Son Düşünceler
- WordPress Robots.txt Hakkında Sıkça Sorulan Sorular
- WordPress'te Robots.txt Kullanımı Hakkında Ek Kaynaklar
Robots.txt Dosyası Nedir?
Robots.txt, web sitesi sahiplerinin arama motoru botlarına sitelerindeki sayfaları nasıl tarayacaklarını ve indeksleyeceklerini bildirmek için oluşturabilecekleri bir metin dosyasıdır.
Genellikle web sitenizin kök dizininde (ana klasör olarak da bilinir) saklanır. Bir robots.txt dosyasının temel biçimi şöyledir:
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]
Belirli URL'lere izin vermek veya engellemek için birden fazla talimat satırına sahip olabilir ve birden fazla site haritası ekleyebilirsiniz. Bir URL'yi engellemezseniz, arama motoru botları onu tarayabileceklerini varsayar.
Bir robots.txt örnek dosyası şöyle görünebilir:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml
Yukarıdaki robots.txt örneğinde, arama motorlarının WordPress yüklemeler klasörümüzdeki dosyalara göz atmasına ve bunları indekslemesine izin verdik.
Bundan sonra, arama botlarının eklentileri ve WordPress yönetici klasörlerini taramasını ve indekslemesini engelledik.
Son olarak, XML site haritamızın URL'sini sağladık.
WordPress Siteniz İçin Robots.txt Dosyasına İhtiyacınız Var mı?
robots.txt dosyanız olmadan siteniz işlevsel olsa da, optimize edilmiş robots.txt dosyalarına sahip sitelerin arama sonuçlarında daha iyi performans gösterdiğini sürekli olarak bulduk.
Çeşitli sektörlerdeki müşterilerimizle yaptığımız çalışmalar sayesinde, robots.txt aracılığıyla doğru tarama bütçesi yönetiminin önemli içeriğin daha hızlı indekslenmesine ve genel SEO performansının artmasına yol açabileceğini gördük.
Bu, bir blog başlattığınızda ve çok fazla içeriğiniz olmadığında pek bir etkiye sahip olmayacaktır.
Ancak, web siteniz büyüdükçe ve daha fazla içerik ekledikçe, web sitenizin nasıl taranıp indeksleneceği konusunda daha iyi bir kontrol isteyeceksiniz.
İşte nedeni.
Search engines allocate what Google calls a ‘crawl budget’ to each website. This is the number of pages they’ll crawl within a given timeframe.
Binlerce WordPress sitesi üzerindeki testlerimizde, daha büyük sitelerin, stratejik robots.txt yapılandırması yoluyla bu bütçeyi optimize etmekten özellikle fayda sağladığını gördük.
Örneğin, kurumsal müşterilerimizden biri, önerdiğimiz robots.txt optimizasyonlarını uyguladıktan sonra tarama verimliliğinde %40'lık bir iyileşme gördü.
Arama botlarının WordPress yönetici sayfalarınız, eklenti dosyalarınız ve temalar klasörünüz gibi gereksiz sayfaları tarama girişimlerini engelleyebilirsiniz.
Gereksiz sayfaları reddederek tarama kotanızı kaydedersiniz. Bu, arama motorlarının sitenizdeki daha fazla sayfayı taramasına ve bunları mümkün olduğunca hızlı bir şekilde indekslemesine yardımcı olur.
Bir robots.txt dosyası kullanmanın bir diğer iyi nedeni de, arama motorlarının web sitenizdeki bir gönderiyi veya sayfayı indekslemesini durdurmak istediğiniz zamandır.
Ancak, robots.txt'nin içeriği gizlemenin en iyi yolu olmadığını bilmek önemlidir. Yasaklanmış bir sayfa, diğer web sitelerinden bağlantı verilmişse arama sonuçlarında görünebilir.
Bir sayfanın Google'da görünmesini güvenilir bir şekilde durdurmak istiyorsanız, bunun yerine 'noindex' meta etiketini kullanmalısınız. Bu, arama motorlarına sayfayı hiç dizine eklememelerini söyler.
İdeal Bir Robots.txt Dosyası Nasıl Görünür?
Birçok popüler blog çok basit bir robots.txt dosyası kullanır. İçerikleri, belirli sitenin ihtiyaçlarına göre değişebilir:
User-agent: *
Disallow:
Sitemap: https://www.example.com/post-sitemap.xml
Sitemap: https://www.example.com/page-sitemap.xml
Bu robots.txt dosyası, tüm botların tüm içeriği indekslemesine izin verir ve onlara web sitesinin XML site haritalarına bir bağlantı sağlar.
WordPress siteleri için robots.txt dosyasında aşağıdaki kuralları öneriyoruz:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Sitemap: https://www.example.com/post-sitemap.xml
Sitemap: https://www.example.com/page-sitemap.xml
Bu, arama botlarına WordPress resimlerinizi ve yüklenen dosyalarınızı, Google gibi arama motorlarının anladığı yararlı bir komut olan Allow yönergesini kullanarak dizine eklemelerini söyler.
Ardından, arama botlarının WordPress yönetici alanını, varsayılan readme.html dosyasını (WordPress sürümünüzü ortaya çıkarabilir) ve gizlenmiş affiliate bağlantıları için /refer/ gibi yaygın dizinleri indekslemesini engeller.
Robots.txt dosyasına site haritaları ekleyerek, Google botlarının sitenizdeki tüm sayfaları bulmasını kolaylaştırırsınız.
İdeal bir robots.txt dosyasının nasıl göründüğünü artık bildiğinize göre, WordPress'te bir robots.txt dosyasını nasıl oluşturabileceğinize bakalım.
WordPress'te Robots.txt Dosyası Nasıl Oluşturulur
WordPress'te robots.txt dosyası oluşturmanın iki yolu vardır. Sizin için en iyi çalışan yöntemi seçebilirsiniz.
Yöntem 1: All in One SEO Kullanarak Robots.txt Dosyasını Düzenleme
All in One SEO, AIOSEO olarak da bilinir, piyasadaki en iyi WordPress SEO eklentisidir ve 3 milyondan fazla web sitesi tarafından kullanılmaktadır. Kullanımı kolaydır ve bir robots.txt dosya oluşturucu ile birlikte gelir.
Daha fazla bilgi edinmek için ayrıntılı AIOSEO incelememize bakın.
AIOSEO eklentisini henüz yüklemediyseniz, WordPress eklentisinin nasıl kurulacağına dair adım adım kılavuzumuzu inceleyebilirsiniz.
Not: AIOSEO'nun ücretsiz bir sürümü de mevcuttur ve bu özelliğe sahiptir.
Eklenti kurulup etkinleştirildikten sonra, robots.txt dosyanızı doğrudan WordPress yönetim alanınızdan oluşturmak ve düzenlemek için kullanabilirsiniz.
robots.txt dosyanızı düzenlemek için Tüm SEO Araçları » Araçlar bölümüne gidin.
İlk olarak, 'Özel Robots.txt Etkinleştir' geçişini maviye tıklayarak düzenleme seçeneğini açmanız gerekecek.
Bu geçişi etkinleştirerek WordPress'te özel bir robots.txt dosyası oluşturabilirsiniz.
All in One SEO, mevcut robots.txt dosyanızı ekranınızın altındaki 'Robots.txt Önizleme' bölümünde gösterecektir.
Bu sürüm, WordPress tarafından eklenen varsayılan kuralları gösterecektir.
Bu varsayılan kurallar, arama motorlarına temel WordPress dosyalarınızı taramamalarını, botların tüm içeriği indekslemelerine izin vermelerini ve onlara sitenizin XML site haritalarına bir bağlantı sağlamalarını söyler.
Artık SEO için robots.txt dosyanızı iyileştirmek üzere kendi özel kurallarınızı ekleyebilirsiniz.
Bir kural eklemek için, ‘Kullanıcı Aracısı’ alanına bir kullanıcı aracısı girin. * kullanmak, kuralı tüm kullanıcı aracılarında geçerli kılacaktır.
Ardından, arama motorlarının taramasına 'İzin Ver' veya 'Engelle' seçeneğini belirleyin.
Ardından, ‘Dizin Yolu’ alanına dosya adını veya dizin yolunu girin.
Kural otomatik olarak robots.txt dosyanıza uygulanacaktır. Başka bir kural eklemek için 'Kural Ekle' düğmesine tıklamanız yeterlidir.
Yukarıda paylaştığımız ideal robots.txt formatını oluşturana kadar kurallar eklemenizi öneririz.
Özel kurallarınız şu şekilde görünecektir.
İşiniz bittiğinde, değişikliklerinizi kaydetmek için 'Değişiklikleri Kaydet' düğmesine tıklamayı unutmayın.
Yöntem 2: WPCode Kullanarak Robots.txt Dosyasını Düzenleme
WPCode, özel kodu web sitenize kolayca ve güvenli bir şekilde eklemenizi sağlayan güçlü bir kod parçacığı eklentisidir.
Ayrıca robots.txt dosyasını hızlı bir şekilde düzenlemenizi sağlayan kullanışlı bir özellik de içerir.
Not: Ayrıca bir WPCode Ücretsiz Eklentisi de bulunmaktadır, ancak dosya düzenleyici özelliğini içermez.
Yapmanız gereken ilk şey WPCode eklentisini kurmaktır. Adım adım talimatlar için, bir WordPress eklentisinin nasıl kurulacağına dair başlangıç rehberimize bakın.
Etkinleştirme sırasında WPCode » Dosya Düzenleyici sayfasına gitmeniz gerekir. Oradayken, dosyayı düzenlemek için 'robots.txt' sekmesine tıklamanız yeterlidir.
Artık robots.txt dosyasının içeriğini yapıştırabilir veya yazabilirsiniz.
İşiniz bittiğinde, ayarları kaydetmek için sayfanın altındaki 'Değişiklikleri Kaydet' düğmesine tıkladığınızdan emin olun.
Yöntem 3: FTP Kullanarak Robots.txt Dosyasını Manuel Olarak Düzenleme
Bu yöntem için, robots.txt dosyasını düzenlemek üzere bir FTP istemcisi kullanmanız gerekecektir. Alternatif olarak, WordPress barındırma hizmetinizin sağladığı dosya yöneticisini kullanabilirsiniz.
Profesyonel İpucu: Düzenlemeden önce, orijinal robots.txt dosyanızın bir yedeğini (varsa) bilgisayarınıza indirmenizi öneririz. Böylece bir şeyler ters giderse kolayca yeniden yükleyebilirsiniz.
Yalnızca FTP istemcisi kullanarak WordPress web sitenizin dosyalarına bağlanın.
İçeri girdikten sonra, web sitenizin kök klasöründeki robots.txt dosyasını görebileceksiniz.
Eğer bir tane görmüyorsanız, muhtemelen bir robots.txt dosyanız yoktur.
In that case, you can just go ahead and create one.
Robots.txt, bilgisayarınıza indirip Not Defteri veya TextEdit gibi herhangi bir düz metin düzenleyici ile düzenleyebileceğiniz düz metin dosyasıdır.
Değişikliklerinizi kaydettikten sonra, robots.txt dosyasını web sitenizin kök klasörüne geri yükleyebilirsiniz.
Robots.txt Dosyanızı Nasıl Test Edersiniz
robots.txt dosyanızı oluşturduktan veya düzenledikten sonra, hatalarını kontrol etmek harika bir fikirdir. Küçük bir yazım hatası, önemli sayfaların arama motorları tarafından yanlışlıkla engellenmesine neden olabilir, bu nedenle bu adım süper önemlidir! 👍
Google'ın eskiden özel bir test aracı vardı, ancak bu özelliği artık ana Google Search Console raporlarına entegre ettiler.
Öncelikle, sitenizin Google Search Console'a bağlı olduğundan emin olun. Henüz yapmadıysanız, WordPress sitenizi Google Search Console'a nasıl ekleyeceğiniz hakkındaki basit kılavuzumuzu izleyin.
Kurulumunuz tamamlandıktan sonra, Google Search Console kontrol panelinize gidin. Sol alttaki menüden Ayarlar'a gidin.
Ardından, 'Tarama' bölümünü bulun ve 'robots.txt' yanındaki 'Raporu Aç'ı tıklayın.
Listelenen dosyanın mevcut sürümüne tıklamanız yeterlidir.
Bu rapor, Google'ın bulduğu robots.txt dosyanızın en son sürümünü gösterecektir. Tespit ettiği herhangi bir sözdizimi hatasını veya mantıksal sorunu vurgulayacaktır.
Dosyanızı yeni güncellediyseniz ve değişikliklerin burada hemen görünmemesi konusunda endişelenmeyin. Google, robots.txt dosyanızın yeni bir sürümünü günde yaklaşık bir kez otomatik olarak kontrol eder.
Google'ın en son değişikliklerinizi aldığını ve her şeyin yolunda göründüğünü doğrulamak için bu raporu daha sonra tekrar kontrol edebilirsiniz.
Son Düşünceler
robots.txt dosyanızı optimize etmenin amacı, arama motorlarının herkese açık olmayan sayfaları taramasını önlemektir. Örneğin, wp-plugins klasörünüzdeki sayfalar veya WordPress yönetici klasörünüzdeki sayfalar.
SEO uzmanları arasında yaygın bir yanılgı, WordPress kategorilerini, etiketlerini ve arşiv sayfalarını engellemenin tarama oranını artıracağı ve daha hızlı indeksleme ve daha yüksek sıralamalarla sonuçlanacağıdır.
Bu doğru değil. Aslında, bu uygulama Google tarafından şiddetle tavsiye edilmez ve sitenizi anlamalarına yardımcı olmak için en iyi uygulama yönergelerine aykırıdır.
Web siteniz için bir robots.txt dosyası oluşturmak üzere yukarıdaki robots.txt biçimini izlemenizi öneririz.
WordPress Robots.txt Hakkında Sıkça Sorulan Sorular
WordPress'te robots.txt dosyasını optimize etmekle ilgili en sık sorulan sorulardan bazıları şunlardır.
1. robots.txt dosyasının temel amacı nedir?
robots.txt dosyasının temel amacı, web sitenizin tarama bütçesini yönetmektir. Arama motorlarına hangi sayfaları yok sayacaklarını (yönetici sayfaları veya eklenti dosyaları gibi) söyleyerek, kaynaklarını en önemli içeriğinizi daha verimli bir şekilde taramak ve indekslemek için harcamalarına yardımcı olursunuz.
2. WordPress'te robots.txt dosyası nerede bulunur?
robots.txt dosyanız web sitenizin kök dizininde bulunur. Genellikle web tarayıcınızda alanadiniz.com/robots.txt adresine giderek görüntüleyebilirsiniz.
3. robots.txt kullanmak sitemin güvenliğini artırabilir mi?
Hayır, robots.txt bir güvenlik önlemi değildir. Dosya herkese açıktır, bu nedenle listelediğiniz URL'lere erişimi aslında kimseyi engellemez. Sadece iyi huylu arama motoru tarayıcıları için yönergeler sağlar.
4. WordPress kategori ve etiket sayfalarını robots.txt'de engellemeli miyim?
Hayır, kategori ve etiket sayfalarını engellememelisiniz. Bu arşiv sayfaları SEO için faydalıdır çünkü arama motorlarının sitenizin yapısını anlamasına ve içeriğinizi keşfetmesine yardımcı olur. Bunları engellemek arama sıralamalarınızı olumsuz etkileyebilir.
WordPress'te Robots.txt Kullanımı Hakkında Ek Kaynaklar
robots.txt dosyanızı nasıl optimize edeceğinizi artık bildiğinize göre, WordPress'te robots.txt kullanmayla ilgili diğer bazı makaleleri de görmek isteyebilirsiniz.
- Sözlük: Robots.txt
- Bir WordPress Sayfasını Google'dan Gizleme
- Arama Motorlarının Bir WordPress Sitesini Taramasını Nasıl Durdurursunuz
- Bir WordPress Sitesini İnternetten Kalıcı Olarak Silme
- WordPress'te PDF Dosyalarını Kolayca Gizleme (Noindex)
- WordPress'te “Googlebot CSS ve JS dosyalarına erişemiyor” Hatasını Düzeltme
- llms.txt Nedir? WordPress'e llms.txt Nasıl Eklenir
- How to Setup All in One SEO for WordPress Correctly (Ultimate Guide)
We hope this article helped you learn how to optimize your WordPress robots.txt file for SEO. You may also want to see our ultimate WordPress SEO guide and our expert picks for the best WordPress SEO tools to grow your website.
Bu makaleyi beğendiyseniz, lütfen WordPress video eğitimleri için YouTube Kanalımıza abone olun. Bizi ayrıca Twitter ve Facebook'ta da bulabilirsiniz.
Steve
Bunun için teşekkürler - peki bu WP Multisite'da nasıl çalışıyor?
WPBeginner Desteği
For a multisite, you would need to have a robots.txt file in the root folder of each site.
Yönetici
Pacifique Ndanyuzwe
WordPress sitem yeni ve varsayılan robot.txt dosyam şu şekilde:
user-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Google'ın içeriğimi tarayıp indekslemesini istiyorum. Bu robots.txt uygun mu?
WPBeginner Desteği
İsterseniz kesinlikle bunu kullanabilirsiniz
Yönetici
Ritesh Seth
Harika Makale…
Günlerdir Robots.txt dosyası ve Disallow bağlantıları hakkında kafam karışıktı. Robots dosyası için etiketleri kopyaladım. Umarım bu sitemin sorununu çözecektir.
WPBeginner Desteği
We hope our article will help as well
Yönetici
Kurt
Ana klasörünüzün ekran görüntülerindeki dosyalar aslında ana klasörüm altındaki public_html klasöründe bulunuyor.
public_html klasörümün altında bir /refer klasörüm yoktu.
WP hesabımda herhangi bir yerde gönderi veya sayfa xml dosyalarım yoktu.
Oluşturduğum robots.txt dosyasına, sandbox sitemin taranmasını engellemek için bir girdi ekledim. WP'de sandbox sitemin taranmamasını isteyen seçeneği zaten seçtiğim için bunun gerekli olduğundan emin değilim, ancak girdinin olmasının zarar vereceğini sanmıyorum.
WPBeginner Desteği
Some hosts do rename public_html to home which is why you see it there. You would want to ensure Yoast is active for the XML files to be available. The method in this article is an additional precaution to help with preventing crawling your site
Yönetici
Ahmed
Harika makale
WPBeginner Desteği
Thank you
Yönetici
ASHOK KUMAR JADON
Merhaba, ne kadar güzel bir makale, sorunumu çözdünüz. Çok teşekkür ederim
WPBeginner Desteği
Glad our article could help
Yönetici
Elyn Ashton
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php <– Bu benim robot.txt kodum ama /wp-admin neden indeksleniyor diye kafam karıştı? Nasıl indekslenmemesini sağlayabilirim?
WPBeginner Desteği
Daha önce dizine eklenmişse, arama motorunun önbelleğinin temizlenmesi için biraz zaman tanımanız gerekebilir
Yönetici
Ashish kumar
Bu web sitesi beni gerçekten bir blog başlatmaya teşvik ediyor. Çok teşekkürler. Bu web sitesindeki her makale zengin bilgi ve açıklamalarla dolu. Bir sorunum olduğunda ilk olarak bu blogu ziyaret ediyorum. Teşekkürler
WPBeginner Desteği
Glad our articles can be helpful
Yönetici
Anna
Yoast kullanarak web sitem için robotları optimize etmeye çalışıyorum. Ancak Yoast'taki Araçlar bölümünde 'Dosya Düzenleyici' seçeneği bulunmuyor.
Sadece iki seçenek var:
(i) İçe Aktar ve Dışa Aktar
(ii) Toplu Düzenleyici
Bu sorunun nasıl çözülebileceği konusunda bana yardımcı olabilir misiniz? Acaba Yoast'ın ücretsiz sürümünü mü kullanıyorum?
WPBeginner Desteği
Yoast'un ücretsiz sürümünde hala seçenek mevcut, ancak kurulumunuz dosya düzenlemeyi engelliyor olabilir, bu durumda FTP yöntemini kullanmanız gerekebilir.
Yönetici
Emmanuel Husseni
Bu makaleyi gerçekten faydalı buluyorum çünkü robot.txt'nin nasıl çalıştığı hakkında pek bir şey bilmiyordum ama şimdi biliyorum.
Anlamadığım şey, sitem için en iyi robot.txt formatını nasıl bulacağım (genel olarak çalışan bir format demek istiyorum)?
Kontrol ettiğim birçok büyük blogun arama motorlarında üst sıralarda yer aldığını ve farklı robot.txt formatları kullandığını fark ettim.
Sizden veya yardımcı olabilecek herhangi birinden bir yanıt görmekten memnuniyet duyarım.
Yayın Kadrosu
Bir site haritasına sahip olmak ve izin verilmesi gereken alanlara izin vermek en önemli kısımdır. İzin verilmeyen kısım her siteye göre değişecektir. Blog yazımızda bir örnek paylaştık ve bu çoğu WordPress sitesi için yeterli olmalıdır.
Yönetici
WPBeginner Desteği
Merhaba Emmanuel,
Lütfen ideal robots.txt dosyası ile ilgili bölüme bakın. Kendi gereksinimlerinize bağlıdır. Çoğu blog yazarı, WordPress yönetici ve eklenti klasörlerini taramadan hariç tutar.
Yönetici
Emmanuel Husseni
Çok teşekkür ederim.
şimdi anladım. Sanırım şimdilik genel formatla başlayacağım.
jack
İyi yazılmış makale, kullanıcıların ROBOTS metinlerini oluşturup etkinleştirmeden önce site haritası yapmalarını tavsiye ederim, bu sitenizin daha hızlı taranmasına ve kolayca indekslenmesine yardımcı olacaktır.
Jack
Connie S Owens
I would like to stop the search engines from indexing my archives during their crawl.
Emmanuel Nonye
Bu makale için çok teşekkürler, gerçekten yardımcı oldu.
Cherisa
Google webmaster'da aşağıdaki hata mesajını almaya devam ediyorum. Temelde takıldım. Bu eğitimde benim için net olmayan birkaç şey, sitemin kök dosyalarını nerede bulacağım, "robots.txt" dosyamın olup olmadığını nasıl belirlerim ve onu nasıl düzenlerim?
WPBeginner Desteği
Merhaba Cherisa,
Sitenizin kök klasörü, wp-admin, wp-includes, wp-content gibi klasörleri içeren klasördür. Ayrıca wp-config.php, wp-cron.php, wp-blogheader.php gibi dosyaları da içerir.
Bu klasörde bir robots.txt dosyası göremiyorsanız, dosyanız yok demektir. Yeni bir tane oluşturmaya devam edebilirsiniz.
Yönetici
Cherisa
Yanıtınız için teşekkürler. Bahsettiğiniz kök dosyaları bulamadım. Ayarlar altında vb. gibi bu klasöre giden bir yol dizini var mı?
Devender
Web siteme iyi bir trafik geliyordu. Mayıs ayında aniden sıfıra düştü. Şu ana kadar bu sorunla karşılaşıyorum. Lütfen web sitemi kurtarmama yardım edin.
Haris Aslam
Merhaba, Bu Bilgi İçin Teşekkür Ederim, Ancak Bir Sorun Var
Sitemap.xml ve Robots.txt Dosyasını Yeni Oluşturdum ve İyi Taranıyor. Ancak "Product-Sitemap.xml" Nasıl Oluşturabilirim?
Sitemap.xml dosyasında tüm ürünlerin listesi var. Product-sitemap.xml'i ayrı mı oluşturmam gerekiyor?
ve tekrar google veya bing'e gönder mi?
Bana yardım edebilir misin...
Teşekkürler
Mahadi Hassan
robots.txt dosya ayarlarımda bir sorunum var. Tüm web siteleri için yalnızca bir robots.txt gösteriliyor. Lütfen tüm web sitelerinin ayrı robots.txt dosyalarını göstermeme yardım edin. Tüm bireysel web sitelerinin ayrı robots.txt dosyalarına sahibim. Ancak tüm web siteleri için tarayıcıda yalnızca bir robots.txt dosyası gösteriliyor.
Debu Majumdar
Başlangıç seviyesi Robots.txt örneğine neden
Disallow: /refer/
koyduğunuzu açıklar mısınız? Bu satırın etkilerini anlamıyorum. Bu başlangıç seviyesi için önemli mi? Diğer iki Yasaklanmış olanı açıkladınız.
Teşekkürler.
WPBeginner Desteği
Merhaba Debu,
Bu örnek WPBeginner'ın robots.txt dosyasından alınmıştır. WPBeginner'da bağlı kuruluş bağlantılarını yönetmek ve URL'leri gizlemek için ThirstyAffiliates kullanıyoruz. Bu URL'ler /refer/ içeriyor, bu yüzden onları robots.txt dosyamızda engelliyoruz.
Yönetici
Evaristo
Tüm etiketleri/mydomain.Com'u nofollow'a nasıl yerleştirebilirim? Bağlantı Suyunu yoğunlaştırmak için robots.txt'de? Teşekkürler.
harsh kumar
merhaba,, yoast seo'da site haritası ile ilgili bir hata alıyorum.. düzelt'e tıkladığımda,,, tekrar geliyor.. sitemin html'i düzgün yüklenmiyor
Tom
Google Webmaster Tools hesabımı yeni gözden geçirdim ve Arama Konsolu'nu kullanarak şunları buldum:
Sayfa kısmen yüklendi
Sayfanın tüm kaynakları yüklenemedi. Bu, Google'ın sayfanızı nasıl gördüğünü ve anladığını etkileyebilir. Google'ın sayfanızı nasıl anladığını etkileyebilecek herhangi bir kaynağın kullanılabilirlik sorunlarını düzeltin.
This is because all CSS stylesheets associated with Plugins are disallowed by the default robots.txt.
Bunu sadece izin verilebilir hale getirmemem için iyi nedenler anlıyorum, ancak alternatif ne olurdu, çünkü Google algoritmalarının bunları görmediği için siteyi düşürdüğünü sanıyorum.
Suren
Merhaba,
Sitemi Google'da aradığımda, bağlantının altında şu metin görünüyor: “Bu sitenin robots.txt dosyası nedeniyle bu sonuç için bir açıklama mevcut değil.”
Bu sorunu nasıl çözebilirim?
Saygılarımla
WPBeginner Desteği
Merhaba Suren,
Görünüşe göre biri sitenizin gizlilik ayarlarını yanlışlıkla değiştirmiş. Ayarlar » Okuma sayfasına gidin ve 'Arama motoru görünürlüğü' bölümüne aşağı kaydırın. Yanındaki kutunun işaretli olmadığından emin olun.
Yönetici
Divyesh
Merhaba
Webmaster aracında gördüğüm gibi, aşağıdakine benzer bir robot.txt dosyam var:
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php
bana bunun uygun olup olmadığını bildirin? veya başka bir şey kullanmalı mıyım?
John Cester
Merhaba, robots.txt dosyasında “/wp-content/plugins/” yolunu engellemek (izin vermemek) iyi bir fikir mi? Bir eklentiyi her kaldırdığımda, o eklentinin bazı sayfalarında 404 hatası alıyorum.
Himanshu singh
Bu açıklamayı çok sevdim. Bir başlangıç seviyesinde biri olarak robot.txt dosyası ve kullanımları hakkında çok kafam karışıktı. Ama şimdi amacını biliyorum.
rahul
Bazı robot.txt dosyalarında index.php engellenmiş. Nedenini açıklayabilir misiniz? İyi bir uygulama mı?
Waleed Barakat
Bu değerli bilgiyi paylaştığınız için teşekkürler.
Awais Ahmed
Webmaster aracında neden bunun olduğunu söyler misiniz:
Ağ ulaşılamıyor: robots.txt ulaşılamıyorSite Haritanızı tarayamadık çünkü sitenizin kök dizininde bir robots.txt dosyası bulduk ancak indiremedik. Lütfen erişilebilir olduğundan emin olun veya tamamen kaldırın.
robots.txt dosyası mevcut ama hala
Dozza
Yoast ekibinden bu konuda ilginç bir güncelleme
Alıntı: “robots.txt dosyanızın wp-includes dizininize ve eklentiler dizininize erişimi engellemesi yönündeki eski en iyi uygulamalar artık geçerli değil.”
natveimaging
Allow: /wp-content/uploads/
Böyle olmamalı mı?
İzin Verme: /wp-content/uploads/
Çünkü google'ın yüklediğiniz tüm sayfaları genel URL'ler olarak indeksleyeceğini biliyorsunuz, değil mi? Ve sonra sayfanın kendisi için hatalarla karşılaşırsınız. Burada eksik olduğum bir şey mi var?
nativeimaging
Genel olarak, google'ın resim haritaları oluşturmak için taradığı sayfalar, YÜKLEME klasörleri DEĞİLDİR. O zaman tüm küçük resim boyutları ve kullanıcı arayüzü için olan diğer resimlerin de indeksleneceği bir sorun yaşarsınız.
Bu en iyi seçenek gibi görünüyor:
Disallow: /wp-content/uploads/
Yanlışsam, lütfen bana açıklayın ki buradaki açınızı anlayabileyim.
Jason
Blog URL'm indekslenmiyor, robots.txt dosyamı değiştirmem gerekir mi? Bu robots.txt dosyasını kullanıyorum
iyan
YALNIZCA sayfa ve Gönderi indekslemesine izin veren robot txt nasıl oluşturulur.. teşekkürler
Simaran Singh
Sorunun ne olduğundan emin değilim ama robots.txt dosyamın iki sürümü var. Biri http://www.example.com/robots.txt adresinde, diğeri ise example.com/robots.txt adresinde.
Lütfen yardım edin! Olası nedenleri ve nasıl düzeltebileceğimi bilen var mı?
WPBeginner Desteği
Büyük olasılıkla, web barındırıcınız sitenize hem www hem de www olmayan URL'lerle erişilmesine izin veriyor. Robots.txt dosyasını bir FTP istemcisi kullanarak değiştirmeyi deneyin. Ardından, değişikliklerinizi her iki URL'de de görüp göremediğinizi görmek için her iki URL'den de inceleyin, bu da aynı dosya olduğu anlamına gelir.
Yönetici
Simaran Singh
Hızlı yanıtınız için teşekkürler. Zaten yaptım ama herhangi bir değişiklik göremiyorum. Bunu çözmenin başka bir yolu var mı?
Martin conde
Yoasts blogpost about this topic was right above yours in my search so of course I checked them both. They are contradicting each other a little bit.. For example yoast said that disallowing plugin directories and others, might hinder the Google crawlers when fetching your site since plugins may output css or js. Also mentioned (and from my own experience), yoast doesn’t add anything sitemap related to the robots.txt, rather generates it so that you can add it to your search console. Here is the link to his post, maybe you can re-check because it is very hard to choose whose word to take for it
MM Nauman
Bu robots.txt dosyasını oluşturmakta iyi olmadığım için, sitenin url ve sitemap gibi parametrelerini değiştirerek sizin Robots.txt dosyanızı kullanabilir miyim, bu iyi midir? yoksa farklı bir tane mi oluşturmalıyım?
Mohit Chauhan
Merhaba,
Bugün Google'dan şu e-postayı aldım: “Googlebot CSS ve JS dosyalarına erişemiyor”… Çözümü ne olabilir?
Teşekkürler
Parmod
Tahmin edeyim... CSS ve JS dosyalarını içe aktarmak için CDN hizmetleri kullanıyorsunuz. veya Bu dosyalarda yanlış sözdizimi yazmış olabilirsiniz.
Rahul
Site Haritaları ekleme hakkında bir sorum var. Yahoo ve Bing Site Haritasını Robots dosyasına ve WordPress Dizinine nasıl ekleyebilirim?
Gerbrand Petersen
Robotlar dosyasının kullanımına ilişkin ayrıntılı özet için teşekkürler. Yahoo'nun da bu robots.txt dosyasını kullanıp kullanmadığını ve dosyadaki kurallara uyup uymadığını bilen var mı? Bunu soruyorum çünkü dosyamda belirli bir sayfa için bir "Yasakla" talimatı var, ancak Yahoo'dan o sayfaya trafik alıyorum. Google'dan değil, olması gerektiği gibi. Şimdiden teşekkürler.
Erwin
düzeltme…
"Yoast'ın WordPress SEO eklentisini veya XML site haritanızı oluşturmak için başka bir eklentiyi kullanıyorsanız, eklentiniz site haritasıyla ilgili satırları otomatik olarak robots.txt dosyasına eklemeye çalışacaktır."
Doğru değil. WordPress SEO, site haritasını robots.txt'ye eklemez
“XML site haritanıza robots.txt dosyanızdan bağlantı vermenin biraz anlamsız olduğunu her zaman hissettim. Bunları manuel olarak Google ve Bing Webmaster Araçlarınıza eklemeli ve XML site haritanız hakkındaki geri bildirimlerine bakmalısınız. WordPress SEO eklentimizin bunu robots.txt dosyanıza eklememesinin nedeni budur.”
https://yoast.com/wordpress-robots-txt-example/
wp-plugins dizinine izin vermemek de daha çok tavsiye edilir (nedenleri için Yoast'ın gönderisine bakın)
Ve şahsen ben readme.txt dosyasını basitçe kaldırmayı tercih ediyorum...
hyma
robots.txt dosyasını ve robots dosyasının kullanımını anladım. Site haritası nedir, sitem için nasıl site haritası oluşturabilirim?
Rick R. Duncan
Google'ın belgelerini okuduktan sonra, robots.txt dosyasında kullanılması gereken yönergenin yalnızca botların neyi tarayabileceğini ve neyi tarayamayacağını söyleyen yasaklama (disallow) olduğu izlenimine kapıldım. Nelerin dizine eklenebileceğini ve nelerin eklenemeyeceğini söylemez. Bir sayfanın dizine eklenmemesi için noindex robot meta etiketini kullanmanız gerekir.
Nitin
SEO optimize edilmiş robots.txt dosyası için gerçekten iyi bir makale. Ancak, robots.txt dosyasını sunucuya nasıl yükleyeceğiniz konusunda bir eğitim vermeniz gerekiyor. Başlangıç seviyesinde biri için bu dosyayı yüklemek büyük bir sorun gibi görünüyor.
Bu arada bu kadar faydalı bilgiyi paylaştığınız için teşekkürler.
-Nitin
Parmod
Sunucunuza/public_hmtl/(Sitenizin-adı) ... bu klasöre yükleyin
Jenny
URL ve IP adresi verilmeyen birden çok spam bot yönlendirmesini engellemek için kodu HTTacess'e eklemenin en iyi yolu nedir?
Htaccess ile yanlış sözdizimi kullanırsanız sitenizin çevrimdışı olabileceğini biliyorum. Ben acemiyim ve Rusya, Çin, Ukrayna vb. gibi yerlerden gelen bu sinir bozucu birden fazla URL'yi engellemem gerekiyor.
Çok teşekkürler
Hazel Andrews
Bu ipuçları için teşekkürler... robot txt dosyaları şimdi düzenlendi! yaşasın!
Rahat
Neden İzin Ver: !!!
Eğer sadece Neye İzin Verilmeyeceğini belirtmem yeterliyse eklemem gerekiyor. İzin Ver için kod yazmama gerek yok çünkü Googlebot veya Bingbot diğer her şeyi otomatik olarak tarayacaktır.
Öyleyse neden tekrar İzin Ver kullanmalıyım?
Connor Rickett
Robots.txt dosyası olmaması sitenin taranmasını engellemediği için merak ediyorum: Dosyanın SEO performansını tam olarak ne kadar iyileştireceğine dair herhangi bir somut veri var mı?
Hızlı bir Google araması yaptım ve bu konuda nicel verilere rastlamadım. "Hey, bu SEO'yu daha iyi hale getiriyor!" diyen yarım milyon makale var, ancak ne hakkında konuştuğumuzu, hatta genel olarak bilmek istiyorum.
Bu %5'lik bir artış mı? 50 mi? 500 mü?
WPBeginner Desteği
Arama motorları bu tür verileri paylaşmaz. robots.txt dosyasına sahip olmamak, arama motorlarının bir web sitesini taramasını veya indekslemesini engellemez. Ancak, önerilen en iyi uygulamadır.
Yönetici
Connor Rickett
Bana geri döndüğünüz için teşekkürler, minnettarım!
JD Myers
Bunun zamanlaması iyi oldu. Dün tam da bu bilgiyi arıyordum.
Bunu aramamın nedeni, Google Webmaster araçlarının, sayfanın düzgün oluşturulması için gereken çeşitli kaynakları engellediğim için sitemi düzgün bir şekilde tarayamadıklarını söylemesiydi.
Bu kaynaklar arasında /wp-content/plugins/ içinde bulunanlar da vardı.
Bu klasöre izin verdikten sonra uyarı kayboldu.
Bu konuda bir fikriniz var mı?
WPBeginner Desteği
Bu uyarıları güvenle göz ardı edebilirsiniz. Dizine eklenmesini istediğiniz bir içerik olsaydı bu sadece bir uyarı olurdu. Bazen kullanıcılar arama botlarını kısıtlamış olabilir ve bunu unutmuş olabilirler. Bu uyarılar bu durumlarda işe yarar.
Yönetici
Chetan jadhav
Bir sorum var, birçok insan statik site haritası kullanıyor ve wordpress siteleri olduğunu biliyorsunuz. Statik mi yoksa wordpress tarafından oluşturulan site haritasını mı kullanmalıyız?
Wilton Calderon
Güzel, Wpbeginner'ın sahip olduğu yolu seviyorum ve alexa'daki sıralamasıyla, bana robots.txt'yi kullanmanın en iyi yollarından biri gibi görünüyor..
Brigitte Burke
robots.txt dosyam böyle görünüyorsa ne anlama gelir?
User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /xmlrpc.php
Yayın Kadrosu
Bu sadece arama motorlarının wp-admin klasörünüzü, wp-includes klasörünüzü ve xml-rpc dosyasını indekslememesi gerektiğini söylüyor. Bazen /wp-includes/ dosyasını engellemek, siteniz bu betikleri kullanıyorsa, arama motorları için belirli betikleri engelleyebilir. Bu SEO'nuza zarar verebilir.
Yapılacak en iyi şey Google Web Yöneticisi Araçları'na gidip web sitenizi orada bir bot olarak getirmektir. Her şey yolunda yüklenirse, endişelenecek bir şeyiniz yoktur. Betiklerin engellendiğini söylerse, wp-includes satırını kaldırmak isteyebilirsiniz.
Yönetici
hercules
Bir tarayıcı / robot tarafından kullanılabilecek, includes dizini içinde bir betiğe sahip olma fikrinizdeki mantığı göremiyorum .. ve diğeri, eğer izole bir durum varsa, varsayılan wordpress bu dosyayı izin verdikten sonra belirtmek daha iyidir, arama motorlarının betiklerini kullandığını hayal ediyorsunuz! Sonuçta, wordpress kesinlikle varsayılan olarak arama motorlarına karşı bir robots.txt'ye sahip değil!!!!