Küçük, gözden kaçmış bir metin dosyasının web sitenizin SEO'sunu sessizce sabote edebileceğini fark ettiğinizde içinize bir sıkıntı düşer. Birçok site sahibi, robots.txt dosyalarındaki basit bir hatanın Google'ın en önemli içeriklerini bulmasını engelleyebileceğinin farkında değildir.
Binlerce WordPress sitesini denetledikten sonra, bunu sayamayacağımız kadar çok kez gördük. İyi haber şu ki, bunu düzeltmek düşündüğünüzden daha kolay.
Bu kılavuzda, bir WordPress robots.txt dosyasını optimize etmek için kullandığımız kesin, savaşta test edilmiş adımları size adım adım anlatacağız. Doğru yapmayı ve arama motorlarının sitenizi verimli bir şekilde taramasını sağlamayı öğreneceksiniz.
Bunalmış mı hissediyorsunuz? Bu kılavuzda ele alacağımız her şeyin hızlı bir özeti aşağıdadır. Sizi en çok ilgilendiren bölüme atlamaktan çekinmeyin.
- Robots.txt Dosyası Nedir?
- WordPress Siteniz İçin Robots.txt Dosyasına İhtiyacınız Var mı?
- İdeal Bir Robots.txt Dosyası Nasıl Görünür?
- WordPress'te Robots.txt Dosyası Nasıl Oluşturulur
- Robots.txt Dosyanızı Nasıl Test Edersiniz
- Son Düşünceler
- WordPress Robots.txt Hakkında Sıkça Sorulan Sorular
- WordPress'te Robots.txt Kullanımı Hakkında Ek Kaynaklar
Robots.txt Dosyası Nedir?
Robots.txt, web sitesi sahiplerinin arama motoru botlarına sitelerindeki sayfaları nasıl tarayacaklarını ve indeksleyeceklerini bildirmek için oluşturabilecekleri bir metin dosyasıdır.
Genellikle web sitenizin kök dizininde (ana klasör olarak da bilinir) saklanır. Bir robots.txt dosyasının temel biçimi şöyledir:
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]
Belirli URL'lere izin vermek veya engellemek için birden fazla talimat satırına sahip olabilir ve birden fazla site haritası ekleyebilirsiniz. Bir URL'yi engellemezseniz, arama motoru botları onu tarayabileceklerini varsayar.
Bir robots.txt örnek dosyası şöyle görünebilir:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml
Yukarıdaki robots.txt örneğinde, arama motorlarının WordPress yüklemeler klasörümüzdeki dosyalara göz atmasına ve bunları indekslemesine izin verdik.
Bundan sonra, arama botlarının eklentileri ve WordPress yönetici klasörlerini taramasını ve indekslemesini engelledik.
Son olarak, XML site haritamızın URL'sini sağladık.
WordPress Siteniz İçin Robots.txt Dosyasına İhtiyacınız Var mı?
robots.txt dosyanız olmadan siteniz işlevsel olsa da, optimize edilmiş robots.txt dosyalarına sahip sitelerin arama sonuçlarında daha iyi performans gösterdiğini sürekli olarak bulduk.
Çeşitli sektörlerdeki müşterilerimizle yaptığımız çalışmalar sayesinde, robots.txt aracılığıyla doğru tarama bütçesi yönetiminin önemli içeriğin daha hızlı indekslenmesine ve genel SEO performansının artmasına yol açabileceğini gördük.
Bu, bir blog başlatmaya başladığınızda ve çok fazla içeriğiniz olmadığında ilk başta pek bir etki yaratmayacaktır.
Ancak, web siteniz büyüdükçe ve daha fazla içerik ekledikçe, web sitenizin nasıl taranıp indeksleneceği konusunda daha iyi bir kontrol isteyeceksiniz.
İşte nedeni.
Arama motorları, Google'ın 'tarama bütçesi' dediği şeyi her web sitesine ayırır. Bu, belirli bir zaman diliminde tarayacakları sayfa sayısıdır.
Binlerce WordPress sitesi üzerindeki testlerimizde, daha büyük sitelerin, stratejik robots.txt yapılandırması yoluyla bu bütçeyi optimize etmekten özellikle fayda sağladığını gördük.
Örneğin, kurumsal müşterilerimizden biri, önerdiğimiz robots.txt optimizasyonlarını uyguladıktan sonra tarama verimliliğinde %40'lık bir iyileşme gördü.
Arama botlarının WordPress yönetici sayfalarınız, eklenti dosyalarınız ve temalar klasörünüz gibi gereksiz sayfaları tarama girişimlerini engelleyebilirsiniz.
Gereksiz sayfaları reddederek tarama kotanızı kaydedersiniz. Bu, arama motorlarının sitenizdeki daha fazla sayfayı taramasına ve bunları mümkün olduğunca hızlı bir şekilde indekslemesine yardımcı olur.
Bir robots.txt dosyası kullanmanın bir diğer iyi nedeni, arama motorlarının web sitenizdeki bir gönderiyi veya sayfayı indekslemesini durdurmak istediğiniz zamandır.
Ancak, robots.txt'nin içeriği gizlemenin en iyi yolu olmadığını bilmek önemlidir. Yasaklanmış bir sayfa, diğer web sitelerinden bağlantı verilmişse arama sonuçlarında görünebilir.
Bir sayfanın Google'da görünmesini güvenilir bir şekilde durdurmak istiyorsanız, bunun yerine 'noindex' meta etiketini kullanmalısınız. Bu, arama motorlarına sayfayı hiç dizine eklememelerini söyler.
İdeal Bir Robots.txt Dosyası Nasıl Görünür?
Birçok popüler blog çok basit bir robots.txt dosyası kullanır. İçerikleri, belirli sitenin ihtiyaçlarına göre değişebilir:
User-agent: *
Disallow:
Sitemap: https://www.example.com/post-sitemap.xml
Sitemap: https://www.example.com/page-sitemap.xml
Bu robots.txt dosyası, tüm botların tüm içeriği indekslemesine izin verir ve onlara web sitesinin XML site haritalarına bir bağlantı sağlar.
WordPress siteleri için robots.txt dosyasında aşağıdaki kuralları öneriyoruz:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Sitemap: https://www.example.com/post-sitemap.xml
Sitemap: https://www.example.com/page-sitemap.xml
Bu, arama botlarına WordPress resimlerinizi ve yüklenen dosyalarınızı, Google gibi arama motorlarının anladığı yararlı bir komut olan Allow yönergesini kullanarak dizine eklemelerini söyler.
Ardından, arama botlarının WordPress yönetici alanını, varsayılan readme.html dosyasını (WordPress sürümünüzü ortaya çıkarabilir) ve gizlenmiş bağlı kuruluş bağlantıları için yaygın dizinleri (/refer/ gibi) indekslemesini engeller.
robots.txt dosyasına site haritaları ekleyerek, Google botlarının sitenizdeki tüm sayfaları bulmasını kolaylaştırırsınız.
İdeal bir robots.txt dosyasının nasıl göründüğünü artık bildiğinize göre, WordPress'te bir robots.txt dosyasını nasıl oluşturabileceğinize bakalım.
WordPress'te Robots.txt Dosyası Nasıl Oluşturulur
WordPress'te robots.txt dosyası oluşturmanın iki yolu vardır. Sizin için en iyi çalışan yöntemi seçebilirsiniz.
Yöntem 1: All in One SEO Kullanarak Robots.txt Dosyasını Düzenleme
All in One SEO (AIOSEO olarak da bilinir), piyasadaki en iyi WordPress SEO eklentisidir ve 3 milyondan fazla web sitesi tarafından kullanılmaktadır. Kullanımı kolaydır ve bir robots.txt dosya oluşturucu ile birlikte gelir.
Daha fazla bilgi edinmek için ayrıntılı AIOSEO incelememize bakın.
Henüz AIOSEO eklentisini yüklemediyseniz, bir WordPress eklentisinin nasıl kurulacağına dair adım adım kılavuzumuza bakabilirsiniz.
Not: AIOSEO'nun ücretsiz sürümü de mevcuttur ve bu özelliğe sahiptir.
Eklenti kurulup etkinleştirildikten sonra, robots.txt dosyanızı doğrudan WordPress yönetim alanınızdan oluşturmak ve düzenlemek için kullanabilirsiniz.
robots.txt dosyanızı düzenlemek için Tüm SEO Araçları » Araçlar bölümüne gidin.
İlk olarak, 'Özel Robots.txt Etkinleştir' geçişini maviye tıklayarak düzenleme seçeneğini açmanız gerekecek.
Bu geçişi etkinleştirerek WordPress'te özel bir robots.txt dosyası oluşturabilirsiniz.
All in One SEO, mevcut robots.txt dosyanızı ekranınızın altındaki 'Robots.txt Önizleme' bölümünde gösterecektir.
Bu sürüm, WordPress tarafından eklenen varsayılan kuralları gösterecektir.
Bu varsayılan kurallar, arama motorlarına temel WordPress dosyalarınızı taramamalarını, botların tüm içeriği indekslemelerine izin vermelerini ve onlara sitenizin XML site haritalarına bir bağlantı sağlamalarını söyler.
Artık SEO için robots.txt dosyanızı iyileştirmek üzere kendi özel kurallarınızı ekleyebilirsiniz.
Bir kural eklemek için, ‘Kullanıcı Aracısı’ alanına bir kullanıcı aracısı girin. * kullanmak, kuralı tüm kullanıcı aracılarında geçerli kılacaktır.
Ardından, arama motorlarının taramasına 'İzin Ver' veya 'Engelle' seçeneğini belirleyin.
Ardından, ‘Dizin Yolu’ alanına dosya adını veya dizin yolunu girin.
Kural otomatik olarak robots.txt dosyanıza uygulanacaktır. Başka bir kural eklemek için 'Kural Ekle' düğmesine tıklamanız yeterlidir.
Yukarıda paylaştığımız ideal robots.txt formatını oluşturana kadar kurallar eklemenizi öneririz.
Özel kurallarınız şu şekilde görünecektir.
İşiniz bittiğinde, değişikliklerinizi kaydetmek için 'Değişiklikleri Kaydet' düğmesine tıklamayı unutmayın.
Yöntem 2: WPCode Kullanarak Robots.txt Dosyasını Düzenleme
WPCode, web sitenize özel kod eklemenizi kolay ve güvenli bir şekilde sağlayan güçlü bir kod parçacıkları eklentisidir.
Ayrıca robots.txt dosyasını hızlı bir şekilde düzenlemenizi sağlayan kullanışlı bir özellik de içerir.
Not: Ayrıca WPCode Ücretsiz Eklentisi de bulunmaktadır, ancak dosya düzenleyici özelliğini içermez.
Yapmanız gereken ilk şey WPCode eklentisini yüklemektir. Adım adım talimatlar için, bir WordPress eklentisinin nasıl kurulacağına dair başlangıç kılavuzumuza bakın.
Etkinleştirme sırasında WPCode » Dosya Düzenleyici sayfasına gitmeniz gerekir. Oradayken, dosyayı düzenlemek için 'robots.txt' sekmesine tıklamanız yeterlidir.
Artık robots.txt dosyasının içeriğini yapıştırabilir veya yazabilirsiniz.
İşiniz bittiğinde, ayarları kaydetmek için sayfanın altındaki 'Değişiklikleri Kaydet' düğmesine tıkladığınızdan emin olun.
Yöntem 3: FTP Kullanarak Robots.txt Dosyasını Manuel Olarak Düzenleme
Bu yöntem için robots.txt dosyasını düzenlemek üzere bir FTP istemcisi kullanmanız gerekecektir. Alternatif olarak, WordPress barındırma hizmetinizin sağladığı dosya yöneticisini kullanabilirsiniz.
Profesyonel İpucu: Düzenlemeden önce, orijinal robots.txt dosyanızın bir yedeğini (varsa) bilgisayarınıza indirmenizi öneririz. Böylece bir şeyler ters giderse kolayca yeniden yükleyebilirsiniz.
Bir FTP istemcisi kullanarak WordPress web sitenizin dosyalarına bağlanmanız yeterlidir.
İçeri girdikten sonra, web sitenizin kök klasöründeki robots.txt dosyasını görebileceksiniz.
Eğer bir tane görmüyorsanız, muhtemelen bir robots.txt dosyanız yoktur.
Bu durumda, devam edip bir tane oluşturabilirsiniz.
Robots.txt, düz metin bir dosyadır, bu da onu bilgisayarınıza indirip Not Defteri veya TextEdit gibi herhangi bir düz metin düzenleyici kullanarak düzenleyebileceğiniz anlamına gelir.
Değişikliklerinizi kaydettikten sonra, robots.txt dosyasını web sitenizin kök klasörüne geri yükleyebilirsiniz.
Robots.txt Dosyanızı Nasıl Test Edersiniz
robots.txt dosyanızı oluşturduktan veya düzenledikten sonra, hatalarını kontrol etmek harika bir fikirdir. Küçük bir yazım hatası, önemli sayfaların arama motorları tarafından yanlışlıkla engellenmesine neden olabilir, bu nedenle bu adım süper önemlidir! 👍
Google'ın eskiden özel bir test aracı vardı, ancak şimdi bu özelliği ana Google Search Console raporlarına entegre ettiler.
Öncelikle, sitenizin Google Search Console'a bağlı olduğundan emin olun. Henüz yapmadıysanız, WordPress sitenizi Google Search Console'a nasıl ekleyeceğinize dair basit kılavuzumuzu izleyin.
Kurulumunuz tamamlandıktan sonra, Google Search Console kontrol panelinize gidin. Sol alttaki menüden Ayarlar'a gidin.
Ardından, 'Tarama' bölümünü bulun ve 'robots.txt' yanındaki 'Raporu Aç'ı tıklayın.
Listelenen dosyanın mevcut sürümüne tıklamanız yeterlidir.
Bu rapor, Google'ın bulduğu robots.txt dosyanızın en son sürümünü gösterecektir. Tespit ettiği herhangi bir sözdizimi hatasını veya mantıksal sorunu vurgulayacaktır.
Dosyanızı yeni güncellediyseniz ve değişikliklerin burada hemen görünmemesi konusunda endişelenmeyin. Google, robots.txt dosyanızın yeni bir sürümünü günde yaklaşık bir kez otomatik olarak kontrol eder.
Google'ın en son değişikliklerinizi aldığını ve her şeyin yolunda göründüğünü doğrulamak için bu raporu daha sonra tekrar kontrol edebilirsiniz.
Son Düşünceler
robots.txt dosyanızı optimize etmenin amacı, arama motorlarının herkese açık olmayan sayfaları taramasını önlemektir. Örneğin, wp-plugins klasörünüzdeki sayfalar veya WordPress yönetici klasörünüzdeki sayfalar.
SEO uzmanları arasında yaygın bir yanılgı, WordPress kategorilerini, etiketlerini ve arşiv sayfalarını engellemenin tarama oranını artıracağı ve daha hızlı indeksleme ve daha yüksek sıralamalarla sonuçlanacağıdır.
Bu doğru değil. Aslında, bu uygulama Google tarafından şiddetle tavsiye edilmez ve sitenizi anlamalarına yardımcı olmak için en iyi uygulama yönergelerine aykırıdır.
Web siteniz için bir robots.txt dosyası oluşturmak üzere yukarıdaki robots.txt biçimini izlemenizi öneririz.
WordPress Robots.txt Hakkında Sıkça Sorulan Sorular
WordPress'te robots.txt dosyasını optimize etmekle ilgili en sık sorulan sorulardan bazıları şunlardır.
1. robots.txt dosyasının temel amacı nedir?
robots.txt dosyasının temel amacı, web sitenizin tarama bütçesini yönetmektir. Arama motorlarına hangi sayfaları yok sayacaklarını (yönetici sayfaları veya eklenti dosyaları gibi) söyleyerek, kaynaklarını en önemli içeriğinizi daha verimli bir şekilde taramak ve indekslemek için harcamalarına yardımcı olursunuz.
2. WordPress'te robots.txt dosyası nerede bulunur?
robots.txt dosyanız web sitenizin kök dizininde bulunur. Genellikle web tarayıcınızda alanadiniz.com/robots.txt adresine giderek görüntüleyebilirsiniz.
3. robots.txt kullanmak sitemin güvenliğini artırabilir mi?
Hayır, robots.txt bir güvenlik önlemi değildir. Dosya herkese açıktır, bu nedenle listelediğiniz URL'lere erişimi aslında kimseyi engellemez. Sadece iyi huylu arama motoru tarayıcıları için yönergeler sağlar.
4. WordPress kategori ve etiket sayfalarını robots.txt'de engellemeli miyim?
Hayır, kategori ve etiket sayfalarını engellememelisiniz. Bu arşiv sayfaları SEO için faydalıdır çünkü arama motorlarının sitenizin yapısını anlamasına ve içeriğinizi keşfetmesine yardımcı olur. Bunları engellemek arama sıralamalarınızı olumsuz etkileyebilir.
WordPress'te Robots.txt Kullanımı Hakkında Ek Kaynaklar
robots.txt dosyanızı nasıl optimize edeceğinizi artık bildiğinize göre, WordPress'te robots.txt kullanmayla ilgili diğer bazı makaleleri de görmek isteyebilirsiniz.
- Sözlük: Robots.txt
- Bir WordPress Sayfasını Google'dan Gizleme
- Arama Motorlarının Bir WordPress Sitesini Taramasını Nasıl Durdurursunuz
- Bir WordPress Sitesini İnternetten Kalıcı Olarak Silme
- WordPress'te PDF Dosyalarını Kolayca Gizleme (Noindex)
- WordPress'te “Googlebot CSS ve JS dosyalarına erişemiyor” Hatasını Düzeltme
- llms.txt Nedir? WordPress'e llms.txt Nasıl Eklenir
- WordPress için All in One SEO'yu Doğru Kurma (Nihai Kılavuz)
Umarız bu makale, WordPress robots.txt dosyanızı SEO için nasıl optimize edeceğinizi öğrenmenize yardımcı olmuştur. Ayrıca nihai WordPress SEO kılavuzumuza ve web sitenizi büyütmek için en iyi WordPress SEO araçları hakkındaki uzman seçimlerimize de bakmak isteyebilirsiniz.
Bu makaleyi beğendiyseniz, lütfen WordPress video eğitimleri için YouTube Kanalımıza abone olun. Bizi ayrıca Twitter ve Facebook'ta da bulabilirsiniz.
Dennis Muthomi
İtiraf etmeliyim ki, AIOSEO eklentisini kullanıyorum ama hiçbir şeyi bozmak istemediğim için her zaman "Özel Robots.txt'yi Etkinleştir" seçeneğini görmezden geldim.
Ancak bu makaleyi okudum ve sitemin robots.txt dosyasını optimize etmek için zaman ayırmaya değer olduğuna ikna oldum.
Amit Banerjee
robots.txt'in tüm şablonu verilseydi yardımcı olurdu.
WPBeginner Desteği
We did include the entire robots.txt
Yönetici
Michael
Yanıtınızı değiştirmeniz gerektiğini düşünüyorum. http yerine https olmalı. Eklenti dosyalarını da engellemek doğru mu?
WPBeginner Desteği
Bunu belirttiğiniz için teşekkür ederiz, örneğimiz güncellenmiştir. Eklentileri engellemek için güvenli olmak adına belirli eklentiyle görüşmeniz gerekir.
Moinuddin Waheed
Robot.txt dosyası hakkındaki bu bilgilendirici yazı için teşekkürler. Web sitelerinin, Google botlarının sayfalarımızı ve gönderilerimizi nasıl tarayacağı konusunda kontrol sahibi olmak için bu dosyayı tutması gerektiğini bilmiyordum. Yeni başlayan web siteleri için robots.txt dosyasına sahip olmak gerekli midir yoksa web sitemiz için robots.txt dosyası oluşturabilen bir eklenti gibi bir yol var mı?
WPBeginner Desteği
Çoğu SEO eklentisi, botların girmemeleri gereken bölümleri taramasını önlemek için yeni bir site için robots.txt kurulumuna yardımcı olur.
Yönetici
Jiří Vaněk
Bu makale sayesinde robots.txt dosyasını kontrol ettim ve site haritalı URL adresleri ekledim. Aynı zamanda, doğrulayıcı tarafından ortaya çıkarılan başka sorunlu satırlarım da vardı. Şu ana kadar robots.txt'deki site haritalarına aşina değildim. Teşekkürler.
WPBeginner Desteği
Rica ederim, rehberimizin yardımcı olabildiğine sevindik!
Yönetici
Stéphane
Merhaba,
Bu gönderi için teşekkürler, robots.txt dosyasının nasıl kullanılacağı daha netleşti. robots.txt dosyasıyla ilgili tavsiye ararken bulduğunuz çoğu web sitesinde, aşağıdaki klasörlerin (WordPress için) taramadan açıkça hariç tutulduğunu görebilirsiniz:
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Bu klasörleri hariç tutmanın nedenlerini gerçekten anlamıyorum (gerçekten bir neden var mı?). Bu konuda ne düşünürsünüz?
WPBeginner Desteği
Bunun temel amacı, bir kullanıcı sitenizi aradığında o klasörlerdeki herhangi bir şeyin sonuç olarak görünmesini engellemektir. Bu sizin içeriğiniz olmadığı için, çoğu insanın sitenin sonuçlarında görünmesini istemeyeceği bir şeydir.
Yönetici
zaid haris
Engelle: /wp-admin/
İzin ver: /wp-admin/admin-ajax.php
GSC, "Disallow: /wp-admin/" için kapsam hatası gösteriyor. Bu yanlış mı?
WPBeginner Desteği
Çoğu site için wp-admin'inizden herhangi birinin arama sonucu olarak görünmesini istemezsiniz, bu nedenle wp-admin'inizi tarama yeteneğini Google'a reddettiğinizde kapsam alanını almak normal ve beklenendir.
Yönetici
Hansini
WordPress sitem için talimat verdiğiniz gibi robots.txt dosyamı manuel olarak oluşturuyorum.
Bir şüphem var. User-Agent: * yazdığımda başka bir spam robotunun siteme erişmesine izin vermez mi?
User-Agent: * mi yoksa User-Agent: Googlebot mu yazmalıyım.?
WPBeginner Desteği
User-Agent satırı, sitenizde tüm robotların uyması gereken kuralları belirler; eğer o satırda belirli bir bot belirtirseniz, kurallar yalnızca o belirli bot için geçerli olur ve diğerleri için olmaz.
Yönetici
Nishant
Google'ın gönderimi indekslemesi için ne yazmalıyım?
WPBeginner Desteği
Sitenizin listelenmesi için aşağıdaki makalemize göz atmak isteyebilirsiniz:
https://www.wpbeginner.com/beginners-guide/how-do-i-get-my-wordpress-site-listed-on-google-beginners-guide/
Yönetici
Sanjeev Pandey
/wp-content/themes/ dizinini de reddetmeli miyiz?
site:abcdef.com komutunu google'da çalıştırdığımda arama sonucunda görünüyor
WPBeginner Desteği
Tema klasörünüzü engelleme konusunda endişelenmek istemezsiniz ve SEO dostu içerik yazdıkça temaları artık bir arama sonucu olarak görmemelisiniz.
Yönetici
Salem
MERHABA, ” Disallow: /readme.html & Disallow: /refer/ ” ne anlama geliyor?
WPBeginner Desteği
Bu, arama motorlarına herhangi bir yönlendirme bağlantısına veya readme.html dosyasına bakmamalarını söylediğiniz anlamına gelir.
Yönetici
sean
Merhaba, wp-content/uploads'u engellemenin artıları ve eksileri nelerdir?
Teşekkürler
WPBeginner Desteği
Yüklemeler klasörünüzü engellerseniz, arama motorları normalde yüklediğiniz resimler gibi içerikleri taramaz.
Yönetici
Piyush
sorunumu çözdüğünüz için teşekkürler
WPBeginner Desteği
You’re welcome
Yönetici
Ravi kumar
Beyefendi, robot.txt konusunda çok kafam karıştı, birçok kez blogger'a site haritası gönderdim ama 3-4 gün sonra aynı sorun geliyor, robot.txt tam olarak nedir.. & Nasıl gönderilir, lütfen bana rehberlik eder misiniz?
WPBeginner Desteği
Belirli sorununuzla ilgili olacaktır, aşağıdaki sayfamıza göz atmak isteyebilirsiniz:
https://www.wpbeginner.com/glossary/robots-txt/
Yönetici
Prem
Robots.txt dosyasını kullanarak bir URL'yi veya sayfayı indekslemezsem, Google arama konsolunda herhangi bir hata gösterir mi?
WPBeginner Desteği
Hayır, Google sayfayı listelemeyecek ancak sayfa listelenmişse hata göstermeyecektir.
Yönetici
Bharat
Merhaba
Bir sorum var
robots.txt tarafından engellendiği için Google Search Console'dan kapsam uyarısı aldım
/wp-admin/widgets.php
Soruma gelince, wp-admin/widgets.php'yi robots.txt'ye izin verebilir miyim ve bu güvenli midir?
WPBeginner Desteği
İsterseniz yapabilirsiniz ancak bu, Google'ın taraması gereken bir dosya değildir.
Yönetici
Anthony
Merhaba, /wp-admin/admin-ajax.php'ye izin vermeli miyim diye merak ediyorum?
WPBeginner Desteği
Normalde, evet.
Yönetici
Jaira
Neden /wp-admin/admin-ajax.php'ye izin vermeniz gerektiğini öğrenebilir miyim?
WPBeginner Desteği
Farklı tema ve eklentilerin arama motorlarında doğru görünmesi için kullanılır.
Amila
Merhaba! Bu makaleyi gerçekten çok beğendim ve bu tarama işleri konusunda yeni olduğum için bu konuda bir şey sormak istiyorum. Yakın zamanda Google, web sitelerimden birini çok kötü bir şekilde taradı ve dizine ekledi, sayfaları arama sonuçlarında web sitesinden silinmiş olarak gösteriyor. Başlangıçta web sitesi WordPress ayarlarında arama motorunu dizine eklemekten caydırmamıştı, ancak Google daha sonra 3 sayfa daha gösterdikten sonra (o sayfalar da mevcut değil) bunu yaptı ve "arama motorunu dizine eklemekten caydır" seçeneği açıkken bunun nasıl olabildiğini gerçekten anlamıyorum. Peki, Yoast yöntemi yardımcı olabilir ve bu sefer Google'ın web sitemi uygun şekilde dizine eklemesi için web sitem için bir çözüm üretebilir mi? Şimdiden teşekkürler!
WPBeginner Desteği
Yoast eklentisi, sayfalarınızın düzgün bir şekilde indekslendiğinden emin olmanıza yardımcı olmalıdır; arama motorlarını sitenizi taramaktan caydırmadan önce sayfanızın önbelleğe alınmış olma ihtimali vardır.
Yönetici
Amila
Evet, ve tüm sayfalardan artık mevcut olmayanları önbelleğe aldı. Her neyse, mevcut sayfa "caydır" ayarında olduğuna göre, şimdilik böyle mi tutmak daha iyi, yoksa kutuyu işaretini kaldırıp Google'ın Yoast yardımıyla tekrar tarayıp dizine eklemesine izin vermek mi daha iyi? Teşekkürler! Makalelerinizle her şey daha kolaylaştı!
WPBeginner Desteği
Kurulumu istediğiniz gibi yaptıktan sonra Google'ın sitenizi yeniden taramasını istersiniz.
Pradhuman Kumar
Merhaba, makaleyi çok beğendim, çok net ve mükemmel.
Küçük bir önerim var, lütfen ROBOTS.TXT test aracının görselini güncelleyin, çünkü Google Console değişti ve Google'dan robots.txt'yi kontrol etmek için bağlantı eklemeniz harika olurdu.
WPBeginner Desteği
Geri bildiriminiz için teşekkür ederiz, makaleyi mümkün olan en kısa sürede güncellemeye bakacağız.
Yönetici
Kamaljeet Singh
Blogumun robots.txt dosyası şuydu:
User-Agent: *
crawl-delay: 10
Bu gönderiyi okuduktan sonra, önerdiğiniz robots.txt dosyasına değiştirdim. crawl-delay'i kaldırmam sorun olur mu?
WPBeginner Desteği
Sorun olmaz, crawl-delay arama motorlarına sitenizi ne kadar hızlı tarayacaklarını yavaşlatmalarını söyler.
Yönetici
reena
Robot.text hakkında çok güzel açıklama, çok mutluyum Sen çok iyi bir yazarsın
WPBeginner Desteği
Thank you, glad you liked our article
Yönetici
JJ
Disallow: /refer/ sayfası nedir? 404 alıyorum, bu gizli bir wp dosyası mı?
Yayın Kadrosu
Web sitemizdeki çeşitli bağlı kuruluş bağlantılarına yönlendirmek için /refer/ kullanıyoruz. Bunlar yalnızca yönlendirme oldukları ve gerçek içerik olmadıkları için indekslenmelerini istemiyoruz.
Yönetici
Sagar Arakh
Paylaştığınız için teşekkür ederim. Bu, robots.txt'yi anlamamda benim için gerçekten çok yardımcı oldu.
robots.txt dosyamı önerdiğiniz ideal hale güncelledim. Şimdi sonuçları bekleyeceğim.
WPBeginner Desteği
You’re welcome, glad you’re willing to use our recommendations
Yönetici
Akash Gogoi
Çok yardımcı bir makale. Çok teşekkür ederim.
WPBeginner Desteği
Glad our article was helpful
Yönetici
Zingylancer
Bu faydalı bilgiyi bizimle paylaştığınız için teşekkürler.
WPBeginner Desteği
Glad we could share this information about the robots.txt file
Yönetici
Jasper
Güncelleme bilgisi için teşekkürler. Makaleniz Robot txt. dosyası için iyiydi. Bana yeni bir bilgi verdi. Teşekkürler ve yeni fikirlerle beni güncel tutun.
WPBeginner Desteği
Glad our guide was helpful
Yönetici
Imran
Teşekkürler, WordPress'e robots.txt ekledim. Çok iyi bir makale.
WPBeginner Desteği
Thank you, glad our article was helpful
Yönetici