Küçük, gözden kaçmış bir metin dosyasının web sitenizin SEO'sunu sessizce sabote edebileceğini fark ettiğinizde içinize bir sıkıntı düşer. Birçok site sahibi, robots.txt dosyalarındaki basit bir hatanın Google'ın en önemli içeriklerini bulmasını engelleyebileceğinin farkında değildir.
Binlerce WordPress sitesini denetledikten sonra, bunu sayamayacağımız kadar çok kez gördük. İyi haber şu ki, bunu düzeltmek düşündüğünüzden daha kolay.
Bu kılavuzda, bir WordPress robots.txt dosyasını optimize etmek için kullandığımız kesin, savaşta test edilmiş adımları size adım adım anlatacağız. Doğru yapmayı ve arama motorlarının sitenizi verimli bir şekilde taramasını sağlamayı öğreneceksiniz.
Bunalmış mı hissediyorsunuz? Bu kılavuzda ele alacağımız her şeyin hızlı bir özeti aşağıdadır. Sizi en çok ilgilendiren bölüme atlamaktan çekinmeyin.
- Robots.txt Dosyası Nedir?
- WordPress Siteniz İçin Robots.txt Dosyasına İhtiyacınız Var mı?
- İdeal Bir Robots.txt Dosyası Nasıl Görünür?
- WordPress'te Robots.txt Dosyası Nasıl Oluşturulur
- Robots.txt Dosyanızı Nasıl Test Edersiniz
- Son Düşünceler
- WordPress Robots.txt Hakkında Sıkça Sorulan Sorular
- WordPress'te Robots.txt Kullanımı Hakkında Ek Kaynaklar
Robots.txt Dosyası Nedir?
Robots.txt, web sitesi sahiplerinin arama motoru botlarına sitelerindeki sayfaları nasıl tarayacaklarını ve indeksleyeceklerini bildirmek için oluşturabilecekleri bir metin dosyasıdır.
Genellikle web sitenizin kök dizininde (ana klasör olarak da bilinir) saklanır. Bir robots.txt dosyasının temel biçimi şöyledir:
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]
Belirli URL'lere izin vermek veya engellemek için birden fazla talimat satırına sahip olabilir ve birden fazla site haritası ekleyebilirsiniz. Bir URL'yi engellemezseniz, arama motoru botları onu tarayabileceklerini varsayar.
Bir robots.txt örnek dosyası şöyle görünebilir:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml
Yukarıdaki robots.txt örneğinde, arama motorlarının WordPress yüklemeler klasörümüzdeki dosyalara göz atmasına ve bunları indekslemesine izin verdik.
Bundan sonra, arama botlarının eklentileri ve WordPress yönetici klasörlerini taramasını ve indekslemesini engelledik.
Son olarak, XML site haritamızın URL'sini sağladık.
WordPress Siteniz İçin Robots.txt Dosyasına İhtiyacınız Var mı?
robots.txt dosyanız olmadan siteniz işlevsel olsa da, optimize edilmiş robots.txt dosyalarına sahip sitelerin arama sonuçlarında daha iyi performans gösterdiğini sürekli olarak bulduk.
Çeşitli sektörlerdeki müşterilerimizle yaptığımız çalışmalar sayesinde, robots.txt aracılığıyla doğru tarama bütçesi yönetiminin önemli içeriğin daha hızlı indekslenmesine ve genel SEO performansının artmasına yol açabileceğini gördük.
Bu, bir blog başlattığınızda ve çok fazla içeriğiniz olmadığında pek bir etkiye sahip olmayacaktır.
Ancak, web siteniz büyüdükçe ve daha fazla içerik ekledikçe, web sitenizin nasıl taranıp indeksleneceği konusunda daha iyi bir kontrol isteyeceksiniz.
İşte nedeni.
Search engines allocate what Google calls a ‘crawl budget’ to each website. This is the number of pages they’ll crawl within a given timeframe.
Binlerce WordPress sitesi üzerindeki testlerimizde, daha büyük sitelerin, stratejik robots.txt yapılandırması yoluyla bu bütçeyi optimize etmekten özellikle fayda sağladığını gördük.
Örneğin, kurumsal müşterilerimizden biri, önerdiğimiz robots.txt optimizasyonlarını uyguladıktan sonra tarama verimliliğinde %40'lık bir iyileşme gördü.
Arama botlarının WordPress yönetici sayfalarınız, eklenti dosyalarınız ve temalar klasörünüz gibi gereksiz sayfaları tarama girişimlerini engelleyebilirsiniz.
Gereksiz sayfaları reddederek tarama kotanızı kaydedersiniz. Bu, arama motorlarının sitenizdeki daha fazla sayfayı taramasına ve bunları mümkün olduğunca hızlı bir şekilde indekslemesine yardımcı olur.
Bir robots.txt dosyası kullanmanın bir diğer iyi nedeni de, arama motorlarının web sitenizdeki bir gönderiyi veya sayfayı indekslemesini durdurmak istediğiniz zamandır.
Ancak, robots.txt'nin içeriği gizlemenin en iyi yolu olmadığını bilmek önemlidir. Yasaklanmış bir sayfa, diğer web sitelerinden bağlantı verilmişse arama sonuçlarında görünebilir.
Bir sayfanın Google'da görünmesini güvenilir bir şekilde durdurmak istiyorsanız, bunun yerine 'noindex' meta etiketini kullanmalısınız. Bu, arama motorlarına sayfayı hiç dizine eklememelerini söyler.
İdeal Bir Robots.txt Dosyası Nasıl Görünür?
Birçok popüler blog çok basit bir robots.txt dosyası kullanır. İçerikleri, belirli sitenin ihtiyaçlarına göre değişebilir:
User-agent: *
Disallow:
Sitemap: https://www.example.com/post-sitemap.xml
Sitemap: https://www.example.com/page-sitemap.xml
Bu robots.txt dosyası, tüm botların tüm içeriği indekslemesine izin verir ve onlara web sitesinin XML site haritalarına bir bağlantı sağlar.
WordPress siteleri için robots.txt dosyasında aşağıdaki kuralları öneriyoruz:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Sitemap: https://www.example.com/post-sitemap.xml
Sitemap: https://www.example.com/page-sitemap.xml
Bu, arama botlarına WordPress resimlerinizi ve yüklenen dosyalarınızı, Google gibi arama motorlarının anladığı yararlı bir komut olan Allow yönergesini kullanarak dizine eklemelerini söyler.
Ardından, arama botlarının WordPress yönetici alanını, varsayılan readme.html dosyasını (WordPress sürümünüzü ortaya çıkarabilir) ve gizlenmiş affiliate bağlantıları için /refer/ gibi yaygın dizinleri indekslemesini engeller.
Robots.txt dosyasına site haritaları ekleyerek, Google botlarının sitenizdeki tüm sayfaları bulmasını kolaylaştırırsınız.
İdeal bir robots.txt dosyasının nasıl göründüğünü artık bildiğinize göre, WordPress'te bir robots.txt dosyasını nasıl oluşturabileceğinize bakalım.
WordPress'te Robots.txt Dosyası Nasıl Oluşturulur
WordPress'te robots.txt dosyası oluşturmanın iki yolu vardır. Sizin için en iyi çalışan yöntemi seçebilirsiniz.
Yöntem 1: All in One SEO Kullanarak Robots.txt Dosyasını Düzenleme
All in One SEO, AIOSEO olarak da bilinir, piyasadaki en iyi WordPress SEO eklentisidir ve 3 milyondan fazla web sitesi tarafından kullanılmaktadır. Kullanımı kolaydır ve bir robots.txt dosya oluşturucu ile birlikte gelir.
Daha fazla bilgi edinmek için ayrıntılı AIOSEO incelememize bakın.
AIOSEO eklentisini henüz yüklemediyseniz, WordPress eklentisinin nasıl kurulacağına dair adım adım kılavuzumuzu inceleyebilirsiniz.
Not: AIOSEO'nun ücretsiz bir sürümü de mevcuttur ve bu özelliğe sahiptir.
Eklenti kurulup etkinleştirildikten sonra, robots.txt dosyanızı doğrudan WordPress yönetim alanınızdan oluşturmak ve düzenlemek için kullanabilirsiniz.
robots.txt dosyanızı düzenlemek için Tüm SEO Araçları » Araçlar bölümüne gidin.
İlk olarak, 'Özel Robots.txt Etkinleştir' geçişini maviye tıklayarak düzenleme seçeneğini açmanız gerekecek.
Bu geçişi etkinleştirerek WordPress'te özel bir robots.txt dosyası oluşturabilirsiniz.
All in One SEO, mevcut robots.txt dosyanızı ekranınızın altındaki 'Robots.txt Önizleme' bölümünde gösterecektir.
Bu sürüm, WordPress tarafından eklenen varsayılan kuralları gösterecektir.
Bu varsayılan kurallar, arama motorlarına temel WordPress dosyalarınızı taramamalarını, botların tüm içeriği indekslemelerine izin vermelerini ve onlara sitenizin XML site haritalarına bir bağlantı sağlamalarını söyler.
Artık SEO için robots.txt dosyanızı iyileştirmek üzere kendi özel kurallarınızı ekleyebilirsiniz.
Bir kural eklemek için, ‘Kullanıcı Aracısı’ alanına bir kullanıcı aracısı girin. * kullanmak, kuralı tüm kullanıcı aracılarında geçerli kılacaktır.
Ardından, arama motorlarının taramasına 'İzin Ver' veya 'Engelle' seçeneğini belirleyin.
Ardından, ‘Dizin Yolu’ alanına dosya adını veya dizin yolunu girin.
Kural otomatik olarak robots.txt dosyanıza uygulanacaktır. Başka bir kural eklemek için 'Kural Ekle' düğmesine tıklamanız yeterlidir.
Yukarıda paylaştığımız ideal robots.txt formatını oluşturana kadar kurallar eklemenizi öneririz.
Özel kurallarınız şu şekilde görünecektir.
İşiniz bittiğinde, değişikliklerinizi kaydetmek için 'Değişiklikleri Kaydet' düğmesine tıklamayı unutmayın.
Yöntem 2: WPCode Kullanarak Robots.txt Dosyasını Düzenleme
WPCode, özel kodu web sitenize kolayca ve güvenli bir şekilde eklemenizi sağlayan güçlü bir kod parçacığı eklentisidir.
Ayrıca robots.txt dosyasını hızlı bir şekilde düzenlemenizi sağlayan kullanışlı bir özellik de içerir.
Not: Ayrıca bir WPCode Ücretsiz Eklentisi de bulunmaktadır, ancak dosya düzenleyici özelliğini içermez.
Yapmanız gereken ilk şey WPCode eklentisini kurmaktır. Adım adım talimatlar için, bir WordPress eklentisinin nasıl kurulacağına dair başlangıç rehberimize bakın.
Etkinleştirme sırasında WPCode » Dosya Düzenleyici sayfasına gitmeniz gerekir. Oradayken, dosyayı düzenlemek için 'robots.txt' sekmesine tıklamanız yeterlidir.
Artık robots.txt dosyasının içeriğini yapıştırabilir veya yazabilirsiniz.
İşiniz bittiğinde, ayarları kaydetmek için sayfanın altındaki 'Değişiklikleri Kaydet' düğmesine tıkladığınızdan emin olun.
Yöntem 3: FTP Kullanarak Robots.txt Dosyasını Manuel Olarak Düzenleme
Bu yöntem için, robots.txt dosyasını düzenlemek üzere bir FTP istemcisi kullanmanız gerekecektir. Alternatif olarak, WordPress barındırma hizmetinizin sağladığı dosya yöneticisini kullanabilirsiniz.
Profesyonel İpucu: Düzenlemeden önce, orijinal robots.txt dosyanızın bir yedeğini (varsa) bilgisayarınıza indirmenizi öneririz. Böylece bir şeyler ters giderse kolayca yeniden yükleyebilirsiniz.
Yalnızca FTP istemcisi kullanarak WordPress web sitenizin dosyalarına bağlanın.
İçeri girdikten sonra, web sitenizin kök klasöründeki robots.txt dosyasını görebileceksiniz.
Eğer bir tane görmüyorsanız, muhtemelen bir robots.txt dosyanız yoktur.
In that case, you can just go ahead and create one.
Robots.txt, bilgisayarınıza indirip Not Defteri veya TextEdit gibi herhangi bir düz metin düzenleyici ile düzenleyebileceğiniz düz metin dosyasıdır.
Değişikliklerinizi kaydettikten sonra, robots.txt dosyasını web sitenizin kök klasörüne geri yükleyebilirsiniz.
Robots.txt Dosyanızı Nasıl Test Edersiniz
robots.txt dosyanızı oluşturduktan veya düzenledikten sonra, hatalarını kontrol etmek harika bir fikirdir. Küçük bir yazım hatası, önemli sayfaların arama motorları tarafından yanlışlıkla engellenmesine neden olabilir, bu nedenle bu adım süper önemlidir! 👍
Google'ın eskiden özel bir test aracı vardı, ancak bu özelliği artık ana Google Search Console raporlarına entegre ettiler.
Öncelikle, sitenizin Google Search Console'a bağlı olduğundan emin olun. Henüz yapmadıysanız, WordPress sitenizi Google Search Console'a nasıl ekleyeceğiniz hakkındaki basit kılavuzumuzu izleyin.
Kurulumunuz tamamlandıktan sonra, Google Search Console kontrol panelinize gidin. Sol alttaki menüden Ayarlar'a gidin.
Ardından, 'Tarama' bölümünü bulun ve 'robots.txt' yanındaki 'Raporu Aç'ı tıklayın.
Listelenen dosyanın mevcut sürümüne tıklamanız yeterlidir.
Bu rapor, Google'ın bulduğu robots.txt dosyanızın en son sürümünü gösterecektir. Tespit ettiği herhangi bir sözdizimi hatasını veya mantıksal sorunu vurgulayacaktır.
Dosyanızı yeni güncellediyseniz ve değişikliklerin burada hemen görünmemesi konusunda endişelenmeyin. Google, robots.txt dosyanızın yeni bir sürümünü günde yaklaşık bir kez otomatik olarak kontrol eder.
Google'ın en son değişikliklerinizi aldığını ve her şeyin yolunda göründüğünü doğrulamak için bu raporu daha sonra tekrar kontrol edebilirsiniz.
Son Düşünceler
robots.txt dosyanızı optimize etmenin amacı, arama motorlarının herkese açık olmayan sayfaları taramasını önlemektir. Örneğin, wp-plugins klasörünüzdeki sayfalar veya WordPress yönetici klasörünüzdeki sayfalar.
SEO uzmanları arasında yaygın bir yanılgı, WordPress kategorilerini, etiketlerini ve arşiv sayfalarını engellemenin tarama oranını artıracağı ve daha hızlı indeksleme ve daha yüksek sıralamalarla sonuçlanacağıdır.
Bu doğru değil. Aslında, bu uygulama Google tarafından şiddetle tavsiye edilmez ve sitenizi anlamalarına yardımcı olmak için en iyi uygulama yönergelerine aykırıdır.
Web siteniz için bir robots.txt dosyası oluşturmak üzere yukarıdaki robots.txt biçimini izlemenizi öneririz.
WordPress Robots.txt Hakkında Sıkça Sorulan Sorular
WordPress'te robots.txt dosyasını optimize etmekle ilgili en sık sorulan sorulardan bazıları şunlardır.
1. robots.txt dosyasının temel amacı nedir?
robots.txt dosyasının temel amacı, web sitenizin tarama bütçesini yönetmektir. Arama motorlarına hangi sayfaları yok sayacaklarını (yönetici sayfaları veya eklenti dosyaları gibi) söyleyerek, kaynaklarını en önemli içeriğinizi daha verimli bir şekilde taramak ve indekslemek için harcamalarına yardımcı olursunuz.
2. WordPress'te robots.txt dosyası nerede bulunur?
robots.txt dosyanız web sitenizin kök dizininde bulunur. Genellikle web tarayıcınızda alanadiniz.com/robots.txt adresine giderek görüntüleyebilirsiniz.
3. robots.txt kullanmak sitemin güvenliğini artırabilir mi?
Hayır, robots.txt bir güvenlik önlemi değildir. Dosya herkese açıktır, bu nedenle listelediğiniz URL'lere erişimi aslında kimseyi engellemez. Sadece iyi huylu arama motoru tarayıcıları için yönergeler sağlar.
4. WordPress kategori ve etiket sayfalarını robots.txt'de engellemeli miyim?
Hayır, kategori ve etiket sayfalarını engellememelisiniz. Bu arşiv sayfaları SEO için faydalıdır çünkü arama motorlarının sitenizin yapısını anlamasına ve içeriğinizi keşfetmesine yardımcı olur. Bunları engellemek arama sıralamalarınızı olumsuz etkileyebilir.
WordPress'te Robots.txt Kullanımı Hakkında Ek Kaynaklar
robots.txt dosyanızı nasıl optimize edeceğinizi artık bildiğinize göre, WordPress'te robots.txt kullanmayla ilgili diğer bazı makaleleri de görmek isteyebilirsiniz.
- Sözlük: Robots.txt
- Bir WordPress Sayfasını Google'dan Gizleme
- Arama Motorlarının Bir WordPress Sitesini Taramasını Nasıl Durdurursunuz
- Bir WordPress Sitesini İnternetten Kalıcı Olarak Silme
- WordPress'te PDF Dosyalarını Kolayca Gizleme (Noindex)
- WordPress'te “Googlebot CSS ve JS dosyalarına erişemiyor” Hatasını Düzeltme
- llms.txt Nedir? WordPress'e llms.txt Nasıl Eklenir
- How to Setup All in One SEO for WordPress Correctly (Ultimate Guide)
We hope this article helped you learn how to optimize your WordPress robots.txt file for SEO. You may also want to see our ultimate WordPress SEO guide and our expert picks for the best WordPress SEO tools to grow your website.
Bu makaleyi beğendiyseniz, lütfen WordPress video eğitimleri için YouTube Kanalımıza abone olun. Bizi ayrıca Twitter ve Facebook'ta da bulabilirsiniz.
Dennis Muthomi
İtiraf etmeliyim ki, AIOSEO eklentisini kullanıyorum ama hiçbir şeyi bozmak istemediğim için her zaman "Özel Robots.txt'yi Etkinleştir" seçeneğini görmezden geldim.
Ancak bu makaleyi okudum ve sitemin robots.txt dosyasını optimize etmek için zaman ayırmaya değer olduğuna ikna oldum.
Amit Banerjee
robots.txt'in tüm şablonu verilseydi yardımcı olurdu.
WPBeginner Desteği
We did include the entire robots.txt
Yönetici
Michael
Yanıtınızı değiştirmeniz gerektiğini düşünüyorum. http yerine https olmalı. Eklenti dosyalarını da engellemek doğru mu?
WPBeginner Desteği
Bunu belirttiğiniz için teşekkür ederiz, örneğimiz güncellenmiştir. Eklentileri engellemek için güvenli olmak adına belirli eklentiyle görüşmeniz gerekir.
Moinuddin Waheed
Robot.txt dosyası hakkındaki bu bilgilendirici yazı için teşekkürler. Web sitelerinin, Google botlarının sayfalarımızı ve gönderilerimizi nasıl tarayacağı konusunda kontrol sahibi olmak için bu dosyayı tutması gerektiğini bilmiyordum. Yeni başlayan web siteleri için robots.txt dosyasına sahip olmak gerekli midir yoksa web sitemiz için robots.txt dosyası oluşturabilen bir eklenti gibi bir yol var mı?
WPBeginner Desteği
Çoğu SEO eklentisi, botların girmemeleri gereken bölümleri taramasını önlemek için yeni bir site için robots.txt kurulumuna yardımcı olur.
Yönetici
Jiří Vaněk
Bu makale sayesinde robots.txt dosyasını kontrol ettim ve site haritalı URL adresleri ekledim. Aynı zamanda, doğrulayıcı tarafından ortaya çıkarılan başka sorunlu satırlarım da vardı. Şu ana kadar robots.txt'deki site haritalarına aşina değildim. Teşekkürler.
WPBeginner Desteği
Rica ederim, rehberimizin yardımcı olabildiğine sevindik!
Yönetici
Stéphane
Merhaba,
Bu gönderi için teşekkürler, robots.txt dosyasının nasıl kullanılacağı daha netleşti. robots.txt dosyasıyla ilgili tavsiye ararken bulduğunuz çoğu web sitesinde, aşağıdaki klasörlerin (WordPress için) taramadan açıkça hariç tutulduğunu görebilirsiniz:
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Bu klasörleri hariç tutmanın nedenlerini gerçekten anlamıyorum (gerçekten bir neden var mı?). Bu konuda ne düşünürsünüz?
WPBeginner Desteği
Bunun temel amacı, bir kullanıcı sitenizi aradığında o klasörlerdeki herhangi bir şeyin sonuç olarak görünmesini engellemektir. Bu sizin içeriğiniz olmadığı için, çoğu insanın sitenin sonuçlarında görünmesini istemeyeceği bir şeydir.
Yönetici
zaid haris
Engelle: /wp-admin/
İzin ver: /wp-admin/admin-ajax.php
GSC, "Disallow: /wp-admin/" için kapsam hatası gösteriyor. Bu yanlış mı?
WPBeginner Desteği
Çoğu site için wp-admin'inizden herhangi birinin arama sonucu olarak görünmesini istemezsiniz, bu nedenle wp-admin'inizi tarama yeteneğini Google'a reddettiğinizde kapsam alanını almak normal ve beklenendir.
Yönetici
Hansini
WordPress sitem için talimat verdiğiniz gibi robots.txt dosyamı manuel olarak oluşturuyorum.
Bir şüphem var. User-Agent: * yazdığımda başka bir spam robotunun siteme erişmesine izin vermez mi?
User-Agent: * mi yoksa User-Agent: Googlebot mu yazmalıyım.?
WPBeginner Desteği
User-Agent satırı, sitenizde tüm robotların uyması gereken kuralları belirler; eğer o satırda belirli bir bot belirtirseniz, kurallar yalnızca o belirli bot için geçerli olur ve diğerleri için olmaz.
Yönetici
Nishant
Google'ın gönderimi indekslemesi için ne yazmalıyım?
WPBeginner Desteği
Sitenizin listelenmesi için aşağıdaki makalemize göz atmak isteyebilirsiniz:
https://www.wpbeginner.com/beginners-guide/how-do-i-get-my-wordpress-site-listed-on-google-beginners-guide/
Yönetici
Sanjeev Pandey
/wp-content/themes/ dizinini de reddetmeli miyiz?
site:abcdef.com komutunu google'da çalıştırdığımda arama sonucunda görünüyor
WPBeginner Desteği
Tema klasörünüzü engelleme konusunda endişelenmek istemezsiniz ve SEO dostu içerik yazdıkça temaları artık bir arama sonucu olarak görmemelisiniz.
Yönetici
Salem
MERHABA, ” Disallow: /readme.html & Disallow: /refer/ ” ne anlama geliyor?
WPBeginner Desteği
Bu, arama motorlarına herhangi bir yönlendirme bağlantısına veya readme.html dosyasına bakmamalarını söylediğiniz anlamına gelir.
Yönetici
sean
Merhaba, wp-content/uploads'u engellemenin artıları ve eksileri nelerdir?
Teşekkürler
WPBeginner Desteği
Yüklemeler klasörünüzü engellerseniz, arama motorları normalde yüklediğiniz resimler gibi içerikleri taramaz.
Yönetici
Piyush
sorunumu çözdüğünüz için teşekkürler
WPBeginner Desteği
You’re welcome
Yönetici
Ravi kumar
Beyefendi, robot.txt konusunda çok kafam karıştı, birçok kez blogger'a site haritası gönderdim ama 3-4 gün sonra aynı sorun geliyor, robot.txt tam olarak nedir.. & Nasıl gönderilir, lütfen bana rehberlik eder misiniz?
WPBeginner Desteği
Bu, özel sorununuzla ilgili olacaktır, aşağıdaki sayfamıza göz atmak isteyebilirsiniz:
https://www.wpbeginner.com/glossary/robots-txt/
Yönetici
Prem
Robots.txt dosyasını kullanarak bir URL'yi veya sayfayı indekslemezsem, Google arama konsolunda herhangi bir hata gösterir mi?
WPBeginner Desteği
Hayır, Google sayfayı listelemeyecek ancak sayfa listelenmişse hata göstermeyecektir.
Yönetici
Bharat
Merhaba
Bir sorum var
robots.txt tarafından engellendiği için Google Search Console'dan kapsam uyarısı aldım
/wp-admin/widgets.php
Soruma gelince, wp-admin/widgets.php'yi robots.txt'ye izin verebilir miyim ve bu güvenli midir?
WPBeginner Desteği
İsterseniz yapabilirsiniz ancak bu, Google'ın taraması gereken bir dosya değildir.
Yönetici
Anthony
Merhaba, /wp-admin/admin-ajax.php'ye izin vermeli miyim diye merak ediyorum?
WPBeginner Desteği
Normally, yes you should.
Yönetici
Jaira
Neden /wp-admin/admin-ajax.php'ye izin vermeniz gerektiğini öğrenebilir miyim?
WPBeginner Desteği
Farklı tema ve eklentilerin arama motorlarında doğru görünmesi için kullanılır.
Amila
Hello! I really like this article and as I’m a beginner with all this crawling stuff I would like to ask something in this regard. Recently, Google has crawled and indexed one of my websites on a really terrible way, showing the pages in search results which are deleted from the website. The website didn’t have discouraged search engine from indexing in the settings of WordPress at the beginning, but it did later after Google showed even 3 more pages in the search results (those pages also doesn’t exist) and I really don’t understand how it could happen with “discourage search engine from indexing” option on. So, can the Yoast method be helpful and make a solution for my website to Google index my website on the appropriate way this time? Thanks in advance!
WPBeginner Desteği
Yoast eklentisi, sayfalarınızın düzgün bir şekilde indekslendiğinden emin olmanıza yardımcı olmalıdır; arama motorlarını sitenizi taramaktan caydırmadan önce sayfanızın önbelleğe alınmış olma ihtimali vardır.
Yönetici
Amila
Well yes and from all pages, it cached the once who doesn’t exist anymore. Anyway, as the current page is on “discourage” setting on, is it better to keep it like that for now or to uncheck the box and leave the Google to crawl and index it again with Yoast help? Thanks! With your articles, everything became easier!
WPBeginner Desteği
Kurulumu istediğiniz gibi yaptıktan sonra Google'ın sitenizi yeniden taramasını istersiniz.
Pradhuman Kumar
Merhaba, makaleyi çok beğendim, çok net ve mükemmel.
Küçük bir önerim var, lütfen ROBOTS.TXT test aracının görselini güncelleyin, çünkü Google Console değişti ve Google'dan robots.txt'yi kontrol etmek için bağlantı eklemeniz harika olurdu.
WPBeginner Desteği
Geri bildiriminiz için teşekkür ederiz, makaleyi mümkün olan en kısa sürede güncellemeye bakacağız.
Yönetici
Kamaljeet Singh
Blogumun robots.txt dosyası şuydu:
User-Agent: *
crawl-delay: 10
Bu gönderiyi okuduktan sonra, önerdiğiniz robots.txt dosyasına değiştirdim. crawl-delay'i kaldırmam sorun olur mu?
WPBeginner Desteği
Sorun olmaz, crawl-delay arama motorlarına sitenizi ne kadar hızlı tarayacaklarını yavaşlatmalarını söyler.
Yönetici
reena
Robot.text hakkında çok güzel açıklama, çok mutluyum Sen çok iyi bir yazarsın
WPBeginner Desteği
Thank you, glad you liked our article
Yönetici
JJ
Disallow: /refer/ sayfası nedir? 404 alıyorum, bu gizli bir wp dosyası mı?
Yayın Kadrosu
Web sitemizdeki çeşitli bağlı kuruluş bağlantılarına yönlendirmek için /refer/ kullanıyoruz. Bunlar yalnızca yönlendirme oldukları ve gerçek içerik olmadıkları için indekslenmelerini istemiyoruz.
Yönetici
Sagar Arakh
Paylaştığınız için teşekkür ederim. Bu, robots.txt'yi anlamamda benim için gerçekten çok yardımcı oldu.
robots.txt dosyamı önerdiğiniz ideal hale güncelledim. Şimdi sonuçları bekleyeceğim.
WPBeginner Desteği
You’re welcome, glad you’re willing to use our recommendations
Yönetici
Akash Gogoi
Çok yardımcı bir makale. Çok teşekkür ederim.
WPBeginner Desteği
Glad our article was helpful
Yönetici
Zingylancer
Thanks for share this useful information about us.
WPBeginner Desteği
Glad we could share this information about the robots.txt file
Yönetici
Jasper
Güncelleme bilgisi için teşekkürler. Makaleniz Robot txt. dosyası için iyiydi. Bana yeni bir bilgi verdi. Teşekkürler ve yeni fikirlerle beni güncel tutun.
WPBeginner Desteği
Glad our guide was helpful
Yönetici
Imran
Teşekkürler, WordPress'e robots.txt ekledim. Çok iyi bir makale.
WPBeginner Desteği
Thank you, glad our article was helpful
Yönetici
Steve
Bunun için teşekkürler - peki bu WP Multisite'da nasıl çalışıyor?
WPBeginner Desteği
For a multisite, you would need to have a robots.txt file in the root folder of each site.
Yönetici
Pacifique Ndanyuzwe
WordPress sitem yeni ve varsayılan robot.txt dosyam şu şekilde:
user-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Google'ın içeriğimi tarayıp indekslemesini istiyorum. Bu robots.txt uygun mu?
WPBeginner Desteği
İsterseniz kesinlikle bunu kullanabilirsiniz
Yönetici
Ritesh Seth
Harika Makale…
Günlerdir Robots.txt dosyası ve Disallow bağlantıları hakkında kafam karışıktı. Robots dosyası için etiketleri kopyaladım. Umarım bu sitemin sorununu çözecektir.
WPBeginner Desteği
We hope our article will help as well
Yönetici
Kurt
Ana klasörünüzün ekran görüntülerindeki dosyalar aslında ana klasörüm altındaki public_html klasöründe bulunuyor.
public_html klasörümün altında bir /refer klasörüm yoktu.
WP hesabımda herhangi bir yerde gönderi veya sayfa xml dosyalarım yoktu.
Oluşturduğum robots.txt dosyasına, sandbox sitemin taranmasını engellemek için bir girdi ekledim. WP'de sandbox sitemin taranmamasını isteyen seçeneği zaten seçtiğim için bunun gerekli olduğundan emin değilim, ancak girdinin olmasının zarar vereceğini sanmıyorum.
WPBeginner Desteği
Some hosts do rename public_html to home which is why you see it there. You would want to ensure Yoast is active for the XML files to be available. The method in this article is an additional precaution to help with preventing crawling your site
Yönetici
Ahmed
Harika makale
WPBeginner Desteği
Thank you
Yönetici
ASHOK KUMAR JADON
Merhaba, ne kadar güzel bir makale, sorunumu çözdünüz. Çok teşekkür ederim
WPBeginner Desteği
Glad our article could help
Yönetici
Elyn Ashton
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php <– Bu benim robot.txt kodum ama /wp-admin neden indeksleniyor diye kafam karıştı? Nasıl indekslenmemesini sağlayabilirim?
WPBeginner Desteği
Daha önce dizine eklenmişse, arama motorunun önbelleğinin temizlenmesi için biraz zaman tanımanız gerekebilir
Yönetici
Ashish kumar
Bu web sitesi beni gerçekten bir blog başlatmaya teşvik ediyor. Çok teşekkürler. Bu web sitesindeki her makale zengin bilgi ve açıklamalarla dolu. Bir sorunum olduğunda ilk olarak bu blogu ziyaret ediyorum. Teşekkürler
WPBeginner Desteği
Glad our articles can be helpful
Yönetici
Anna
Yoast kullanarak web sitem için robotları optimize etmeye çalışıyorum. Ancak Yoast'taki Araçlar bölümünde 'Dosya Düzenleyici' seçeneği bulunmuyor.
Sadece iki seçenek var:
(i) İçe Aktar ve Dışa Aktar
(ii) Toplu Düzenleyici
Bu sorunun nasıl çözülebileceği konusunda bana yardımcı olabilir misiniz? Acaba Yoast'ın ücretsiz sürümünü mü kullanıyorum?
WPBeginner Desteği
Yoast'un ücretsiz sürümünde hala seçenek mevcut, ancak kurulumunuz dosya düzenlemeyi engelliyor olabilir, bu durumda FTP yöntemini kullanmanız gerekebilir.
Yönetici
Emmanuel Husseni
Bu makaleyi gerçekten faydalı buluyorum çünkü robot.txt'nin nasıl çalıştığı hakkında pek bir şey bilmiyordum ama şimdi biliyorum.
Anlamadığım şey, sitem için en iyi robot.txt formatını nasıl bulacağım (genel olarak çalışan bir format demek istiyorum)?
Kontrol ettiğim birçok büyük blogun arama motorlarında üst sıralarda yer aldığını ve farklı robot.txt formatları kullandığını fark ettim.
Sizden veya yardımcı olabilecek herhangi birinden bir yanıt görmekten memnuniyet duyarım.
Yayın Kadrosu
Bir site haritasına sahip olmak ve izin verilmesi gereken alanlara izin vermek en önemli kısımdır. İzin verilmeyen kısım her siteye göre değişecektir. Blog yazımızda bir örnek paylaştık ve bu çoğu WordPress sitesi için yeterli olmalıdır.
Yönetici
WPBeginner Desteği
Merhaba Emmanuel,
Lütfen ideal robots.txt dosyası ile ilgili bölüme bakın. Kendi gereksinimlerinize bağlıdır. Çoğu blog yazarı, WordPress yönetici ve eklenti klasörlerini taramadan hariç tutar.
Yönetici
Emmanuel Husseni
Çok teşekkür ederim.
şimdi anladım. Sanırım şimdilik genel formatla başlayacağım.
jack
İyi yazılmış makale, kullanıcıların ROBOTS metinlerini oluşturup etkinleştirmeden önce site haritası yapmalarını tavsiye ederim, bu sitenizin daha hızlı taranmasına ve kolayca indekslenmesine yardımcı olacaktır.
Jack
Connie S Owens
I would like to stop the search engines from indexing my archives during their crawl.
Emmanuel Nonye
Bu makale için çok teşekkürler, gerçekten yardımcı oldu.
Cherisa
Google webmaster'da aşağıdaki hata mesajını almaya devam ediyorum. Temelde takıldım. Bu eğitimde benim için net olmayan birkaç şey, sitemin kök dosyalarını nerede bulacağım, "robots.txt" dosyamın olup olmadığını nasıl belirlerim ve onu nasıl düzenlerim?
WPBeginner Desteği
Merhaba Cherisa,
Sitenizin kök klasörü, wp-admin, wp-includes, wp-content gibi klasörleri içeren klasördür. Ayrıca wp-config.php, wp-cron.php, wp-blogheader.php gibi dosyaları da içerir.
Bu klasörde bir robots.txt dosyası göremiyorsanız, dosyanız yok demektir. Yeni bir tane oluşturmaya devam edebilirsiniz.
Yönetici
Cherisa
Yanıtınız için teşekkürler. Bahsettiğiniz kök dosyaları bulamadım. Ayarlar altında vb. gibi bu klasöre giden bir yol dizini var mı?
Devender
Web siteme iyi bir trafik geliyordu. Mayıs ayında aniden sıfıra düştü. Şu ana kadar bu sorunla karşılaşıyorum. Lütfen web sitemi kurtarmama yardım edin.
Haris Aslam
Merhaba, Bu Bilgi İçin Teşekkür Ederim, Ancak Bir Sorun Var
Sitemap.xml ve Robots.txt Dosyasını Yeni Oluşturdum ve İyi Taranıyor. Ancak "Product-Sitemap.xml" Nasıl Oluşturabilirim?
Sitemap.xml dosyasında tüm ürünlerin listesi var. Product-sitemap.xml'i ayrı mı oluşturmam gerekiyor?
ve tekrar google veya bing'e gönder mi?
Bana yardım edebilir misin...
Teşekkürler
Mahadi Hassan
robots.txt dosya ayarlarımda bir sorunum var. Tüm web siteleri için yalnızca bir robots.txt gösteriliyor. Lütfen tüm web sitelerinin ayrı robots.txt dosyalarını göstermeme yardım edin. Tüm bireysel web sitelerinin ayrı robots.txt dosyalarına sahibim. Ancak tüm web siteleri için tarayıcıda yalnızca bir robots.txt dosyası gösteriliyor.
Debu Majumdar
Başlangıç seviyesi Robots.txt örneğine neden
Disallow: /refer/
koyduğunuzu açıklar mısınız? Bu satırın etkilerini anlamıyorum. Bu başlangıç seviyesi için önemli mi? Diğer iki Yasaklanmış olanı açıkladınız.
Teşekkürler.
WPBeginner Desteği
Merhaba Debu,
Bu örnek WPBeginner'ın robots.txt dosyasından alınmıştır. WPBeginner'da bağlı kuruluş bağlantılarını yönetmek ve URL'leri gizlemek için ThirstyAffiliates kullanıyoruz. Bu URL'ler /refer/ içeriyor, bu yüzden onları robots.txt dosyamızda engelliyoruz.
Yönetici
Evaristo
Tüm etiketleri/mydomain.Com'u nofollow'a nasıl yerleştirebilirim? Bağlantı Suyunu yoğunlaştırmak için robots.txt'de? Teşekkürler.
harsh kumar
merhaba,, yoast seo'da site haritası ile ilgili bir hata alıyorum.. düzelt'e tıkladığımda,,, tekrar geliyor.. sitemin html'i düzgün yüklenmiyor
Tom
Google Webmaster Tools hesabımı yeni gözden geçirdim ve Arama Konsolu'nu kullanarak şunları buldum:
Sayfa kısmen yüklendi
Sayfanın tüm kaynakları yüklenemedi. Bu, Google'ın sayfanızı nasıl gördüğünü ve anladığını etkileyebilir. Google'ın sayfanızı nasıl anladığını etkileyebilecek herhangi bir kaynağın kullanılabilirlik sorunlarını düzeltin.
This is because all CSS stylesheets associated with Plugins are disallowed by the default robots.txt.
Bunu sadece izin verilebilir hale getirmemem için iyi nedenler anlıyorum, ancak alternatif ne olurdu, çünkü Google algoritmalarının bunları görmediği için siteyi düşürdüğünü sanıyorum.
Suren
Merhaba,
Sitemi Google'da aradığımda, bağlantının altında şu metin görünüyor: “Bu sitenin robots.txt dosyası nedeniyle bu sonuç için bir açıklama mevcut değil.”
Bu sorunu nasıl çözebilirim?
Saygılarımla
WPBeginner Desteği
Merhaba Suren,
Görünüşe göre biri sitenizin gizlilik ayarlarını yanlışlıkla değiştirmiş. Ayarlar » Okuma sayfasına gidin ve 'Arama motoru görünürlüğü' bölümüne aşağı kaydırın. Yanındaki kutunun işaretli olmadığından emin olun.
Yönetici
Divyesh
Merhaba
Webmaster aracında gördüğüm gibi, aşağıdakine benzer bir robot.txt dosyam var:
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php
bana bunun uygun olup olmadığını bildirin? veya başka bir şey kullanmalı mıyım?
John Cester
Merhaba, robots.txt dosyasında “/wp-content/plugins/” yolunu engellemek (izin vermemek) iyi bir fikir mi? Bir eklentiyi her kaldırdığımda, o eklentinin bazı sayfalarında 404 hatası alıyorum.