Este un sentiment de scufundare când realizezi că un fișier text mic, trecut cu vederea, ar putea sabota în tăcere SEO-ul site-ului tău. Mulți proprietari de site-uri nu își dau seama că o greșeală simplă în fișierul lor robots.txt poate împiedica Google să găsească cel mai important conținut al lor.
După auditarea a mii de site-uri WordPress, am văzut acest lucru întâmplându-se de mai multe ori decât putem număra. Vestea bună este că remedierea este mai ușoară decât crezi.
În acest ghid, vă vom prezenta pașii exacți, testați în luptă, pe care îi folosim pentru a optimiza un fișier robots.txt WordPress. Veți învăța cum să îl faceți corect și să vă asigurați că motoarele de căutare vă accesează site-ul eficient.
Te simți copleșit? Iată o prezentare rapidă a tot ceea ce vom acoperi în acest ghid. Nu ezitați să săriți la secțiunea care vă interesează cel mai mult.
- Ce este un fișier Robots.txt?
- Ai Nevoie de un Fișier Robots.txt pentru Site-ul Tău WordPress?
- Cum arată un fișier robots.txt ideal?
- Cum să creezi un fișier Robots.txt în WordPress
- Cum să-ți testezi fișierul Robots.txt
- Gânduri finale
- Întrebări frecvente despre Robots.txt WordPress
- Resurse suplimentare despre utilizarea Robots.txt în WordPress
Ce este un fișier Robots.txt?
Robots.txt este un fișier text pe care proprietarii de site-uri web îl pot crea pentru a spune roboților motoarelor de căutare cum să acceseze și să indexeze paginile de pe site-urile lor.
De obicei, este stocat în directorul rădăcină (cunoscut și sub denumirea de folder principal) al site-ului dvs. web. Formatul de bază pentru un fișier robots.txt arată astfel:
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]
Puteți avea mai multe linii de instrucțiuni pentru a permite sau a interzice URL-uri specifice și pentru a adăuga mai multe sitemap-uri. Dacă nu interziceți un URL, atunci roboții motoarelor de căutare presupun că li se permite să-l acceseze.
Iată cum poate arăta un fișier robots.txt exemplu:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml
În exemplul robots.txt de mai sus, am permis motoarelor de căutare să acceseze și să indexeze fișierele din folderul de încărcări WordPress.
După aceea, am interzis roboților de căutare să acceseze și să indexeze folderele de pluginuri și de administrare WordPress.
În cele din urmă, am furnizat URL-ul sitemap-ului nostru XML.
Ai Nevoie de un Fișier Robots.txt pentru Site-ul Tău WordPress?
Deși site-ul dvs. poate funcționa fără un fișier robots.txt, am constatat în mod constant că site-urile cu fișiere robots.txt optimizate au performanțe mai bune în rezultatele căutării.
Prin munca noastră cu clienți din diverse industrii, am văzut cum gestionarea corectă a bugetului de crawl prin robots.txt poate duce la o indexare mai rapidă a conținutului important și la o performanță SEO generală mai bună.
Acest lucru nu va avea un impact mare atunci când începi un blog și nu ai mult conținut.
Cu toate acestea, pe măsură ce site-ul dvs. crește și adăugați mai mult conținut, veți dori probabil un control mai bun asupra modului în care site-ul dvs. este parcurs și indexat.
Iată de ce.
Motoarele de căutare alocă fiecărui site web ceea ce Google numește un „buget de scanare”. Acesta este numărul de pagini pe care le vor scana într-un anumit interval de timp.
În testele noastre pe mii de site-uri WordPress, am constatat că site-urile mai mari beneficiază în special de optimizarea acestui buget prin configurarea strategică a fișierului robots.txt.
De exemplu, unul dintre clienții noștri enterprise a înregistrat o îmbunătățire de 40% a eficienței de crawl după implementarea optimizărilor noastre recomandate pentru robots.txt.
Puteți interzice roboților motoarelor de căutare să încerce să acceseze pagini inutile, cum ar fi paginile de administrare WordPress, fișierele plugin-urilor și folderul temelor.
Prin interzicerea paginilor inutile, economisiți cota de acces. Acest lucru ajută motoarele de căutare să acceseze și mai multe pagini de pe site-ul dvs. și să le indexeze cât mai rapid posibil.
Un alt motiv bun pentru a utiliza un fișier robots.txt este atunci când doriți să opriți motoarele de căutare să indexeze un post sau o pagină pe site-ul dvs.
Cu toate acestea, este important să știți că robots.txt nu este cea mai bună modalitate de a ascunde conținutul. O pagină interzisă poate apărea în continuare în rezultatele căutării dacă este legată de pe alte site-uri web.
Dacă doriți să opriți în mod fiabil o pagină să apară pe Google, ar trebui să utilizați în schimb o etichetă meta „noindex”. Aceasta spune motoarelor de căutare să nu adauge deloc pagina în indexul lor.
Cum arată un fișier robots.txt ideal?
Multe bloguri populare folosesc un fișier robots.txt foarte simplu. Conținutul acestora poate varia în funcție de nevoile site-ului specific:
User-agent: *
Disallow:
Sitemap: https://www.example.com/post-sitemap.xml
Sitemap: https://www.example.com/page-sitemap.xml
Acest fișier robots.txt permite tuturor roboților să indexeze tot conținutul și le oferă un link către sitemap-urile XML ale site-ului.
Pentru site-urile WordPress, recomandăm următoarele reguli în fișierul robots.txt:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Sitemap: https://www.example.com/post-sitemap.xml
Sitemap: https://www.example.com/page-sitemap.xml
Aceasta spune roboților de căutare să indexeze toate imaginile și fișierele încărcate de WordPress prin utilizarea specifică a directivei Allow, care este o comandă utilă pe care motoarele de căutare precum Google o înțeleg.
Apoi, interzice roboților de căutare să indexeze zona de administrare WordPress, fișierul implicit readme.html (care poate dezvălui versiunea dvs. de WordPress) și directoarele comune pentru linkuri afiliate mascate precum /refer/.
Adăugând sitemap-uri în fișierul robots.txt, faci ca roboții Google să găsească ușor toate paginile de pe site-ul tău.
Acum că știți cum arată un fișier robots.txt ideal, să vedem cum puteți crea un fișier robots.txt în WordPress.
Cum să creezi un fișier Robots.txt în WordPress
Există două moduri de a crea un fișier robots.txt în WordPress. Poți alege metoda care funcționează cel mai bine pentru tine.
Metoda 1: Editarea fișierului Robots.txt folosind All in One SEO
All in One SEO, cunoscut și sub denumirea de AIOSEO, este cel mai bun plugin SEO pentru WordPress de pe piață, folosit de peste 3 milioane de site-uri web. Este ușor de utilizat și vine cu un generator de fișiere robots.txt.
Pentru a afla mai multe, consultați recenzia noastră detaliată AIOSEO.
Dacă nu ai deja instalat pluginul AIOSEO, poți consulta ghidul nostru pas cu pas despre cum să instalezi un plugin WordPress.
Notă: O versiune gratuită a AIOSEO este, de asemenea, disponibilă și are această funcționalitate.
Odată ce pluginul este instalat și activat, îl puteți folosi pentru a crea și edita fișierul robots.txt direct din zona de administrare WordPress.
Pur și simplu accesați All in One SEO » Tools pentru a edita fișierul robots.txt.
Mai întâi, va trebui să activați opțiunea de editare făcând clic pe comutatorul „Enable Custom Robots.txt” pentru a deveni albastru.
Cu acest comutator activat, puteți crea un fișier robots.txt personalizat în WordPress.
All in One SEO va afișa fișierul dvs. robots.txt existent în secțiunea „Previzualizare Robots.txt” din partea de jos a ecranului.
Această versiune va afișa regulile implicite care au fost adăugate de WordPress.
Aceste reguli implicite spun motoarelor de căutare să nu acceseze fișierele dvs. de bază WordPress, permit roboților să indexeze tot conținutul și le oferă un link către hărțile site-ului dvs. XML.
Acum, puteți adăuga propriile reguli personalizate pentru a vă îmbunătăți robots.txt pentru SEO.
Pentru a adăuga o regulă, introduceți un agent de utilizator în câmpul „Agent de utilizator”. Utilizarea unui * va aplica regula tuturor agenților de utilizator.
Apoi, selectați dacă doriți să „Permiteți” sau să „Interziceți” motoarelor de căutare să acceseze.
Apoi, introduceți numele fișierului sau calea directorului în câmpul „Calea directorului”.
Regula va fi aplicată automat fișierului robots.txt. Pentru a adăuga o altă regulă, pur și simplu faceți clic pe butonul „Adăugare regulă”.
Recomandăm adăugarea de reguli până când creați formatul ideal robots.txt pe care l-am partajat mai sus.
Regulile tale personalizate vor arăta așa.
Când ai terminat, nu uita să dai clic pe butonul „Salvează modificările” pentru a-ți stoca modificările.
Metoda 2: Editarea fișierului Robots.txt folosind WPCode
WPCode este un plugin puternic pentru fragmente de cod care vă permite să adăugați cod personalizat pe site-ul dvs. web ușor și în siguranță.
Include, de asemenea, o funcție utilă care vă permite să editați rapid fișierul robots.txt.
Notă: Există și un Plugin Gratuit WPCode, dar nu include funcția de editor de fișiere.
Primul lucru pe care trebuie să îl faceți este să instalați pluginul WPCode. Pentru instrucțiuni pas cu pas, consultați ghidul nostru pentru începători despre cum să instalați un plugin WordPress.
La activare, trebuie să navigați la pagina WPCode » File Editor. Odată ajuns acolo, pur și simplu faceți clic pe fila „robots.txt” pentru a edita fișierul.
Acum, puteți lipi sau tasta conținutul fișierului robots.txt.
După ce ați terminat, asigurați-vă că faceți clic pe butonul „Salvare modificări” din partea de jos a paginii pentru a stoca setările.
Metoda 3: Editarea fișierului Robots.txt manual folosind FTP
Pentru această metodă, va trebui să folosiți un client FTP pentru a edita fișierul robots.txt. Alternativ, puteți folosi managerul de fișiere furnizat de găzduirea dvs. WordPress.
Sfat Pro: Înainte de a edita, vă recomandăm să descărcați o copie de rezervă a fișierului dvs. original robots.txt (dacă există) pe computer. Astfel, îl puteți reîncărca cu ușurință dacă ceva nu merge bine.
Pur și simplu conectați-vă la fișierele site-ului dvs. WordPress folosind un client FTP.
Odată intrat, vei putea vedea fișierul robots.txt în folderul rădăcină al site-ului tău.
Dacă nu vezi unul, probabil că nu ai un fișier robots.txt.
În acest caz, puteți merge mai departe și crea unul.
Robots.txt este un fișier text simplu, ceea ce înseamnă că îl puteți descărca pe computer și îl puteți edita folosind orice editor de text simplu, cum ar fi Notepad sau TextEdit.
După salvarea modificărilor, puteți încărca fișierul robots.txt înapoi în folderul rădăcină al site-ului dvs. web.
Cum să-ți testezi fișierul Robots.txt
După crearea sau editarea fișierului robots.txt, este o idee excelentă să îl verificați pentru erori. O mică greșeală de scriere ar putea bloca accidental pagini importante de la motoarele de căutare, așa că acest pas este super important! 👍
În timp ce Google avea un instrument de testare dedicat, acum au integrat această funcționalitate în rapoartele principale ale Google Search Console.
Mai întâi, asigurați-vă că site-ul dvs. este conectat la Google Search Console. Dacă nu ați făcut acest lucru încă, urmați ghidul nostru simplu despre cum să adăugați site-ul dvs. WordPress la Google Search Console.
Odată ce sunteți configurat, accesați tabloul de bord Google Search Console. Navigați la Setări în meniul din stânga jos.
Apoi, găsiți secțiunea „Crawling” și faceți clic pe „Deschide raport” lângă „robots.txt”.
Pur și simplu faceți clic pe versiunea curentă a fișierului din listă.
Acest raport vă va arăta cea mai recentă versiune a fișierului dvs. robots.txt pe care Google a găsit-o. Va evidenția orice erori de sintaxă sau probleme logice pe care le-a detectat.
Nu vă faceți griji dacă tocmai ați actualizat fișierul și nu vedeți imediat modificările aici. Google verifică automat o nouă versiune a fișierului robots.txt aproximativ o dată pe zi.
Puteți reveni mai târziu la acest raport pentru a confirma că Google a preluat ultimele modificări și că totul arată bine
Gânduri finale
Scopul optimizării fișierului robots.txt este de a împiedica motoarele de căutare să acceseze paginile care nu sunt disponibile public. De exemplu, paginile din folderul wp-plugins sau paginile din folderul de administrare WordPress.
Un mit comun printre experții SEO este că blocarea categoriilor, etichetelor și paginilor de arhivă WordPress va îmbunătăți rata de accesare și va duce la o indexare mai rapidă și la clasări mai înalte.
Acest lucru nu este adevărat. De fapt, această practică este puternic descurajată de Google și contravine ghidurilor lor de bune practici pentru a-i ajuta să vă înțeleagă site-ul.
Vă recomandăm să urmați formatul robots.txt de mai sus pentru a crea un fișier robots.txt pentru site-ul dvs.
Întrebări frecvente despre Robots.txt WordPress
Iată câteva dintre cele mai frecvente întrebări pe care le primim despre optimizarea fișierului robots.txt în WordPress.
1. Care este scopul principal al unui fișier robots.txt?
Scopul principal al unui fișier robots.txt este de a gestiona bugetul de crawl al site-ului dvs. web. Spunând motoarelor de căutare ce pagini să ignore (cum ar fi paginile de administrare sau fișierele plugin), le ajutați să își folosească resursele pentru a parcurge și indexa mai eficient conținutul dvs. cel mai important.
2. Unde este localizat fișierul robots.txt în WordPress?
Fișierul dvs. robots.txt este localizat în directorul rădăcină al site-ului dvs. web. De obicei, îl puteți vizualiza accesând yourdomain.com/robots.txt în browserul dvs. web.
3. Poate utilizarea robots.txt să îmbunătățească securitatea site-ului meu?
Nu, robots.txt nu este o măsură de securitate. Fișierul este vizibil public, deci nu împiedică pe nimeni să acceseze URL-urile pe care le listați. Acesta oferă pur și simplu directive pentru roboții motoarelor de căutare bine intenționați.
4. Ar trebui să blochez paginile de categorii și etichete WordPress în robots.txt?
Nu, nu ar trebui să blocați paginile de categorii și etichete. Aceste pagini de arhivă sunt utile pentru SEO, deoarece ajută motoarele de căutare să înțeleagă structura site-ului dvs. și să descopere conținutul dvs. Blocarea lor poate afecta negativ clasamentele dvs. de căutare.
Resurse suplimentare despre utilizarea Robots.txt în WordPress
Acum că știți cum să vă optimizați fișierul robots.txt, s-ar putea să doriți să vedeți alte articole legate de utilizarea robots.txt în WordPress.
- Glosar: Robots.txt
- Cum să ascunzi o pagină WordPress de Google
- Cum să împiedici motoarele de căutare să acceseze un site WordPress
- Cum să ștergi permanent un site WordPress de pe internet
- Cum să ascundeți ușor (Noindex) fișierele PDF în WordPress
- Cum să remediați eroarea „Googlebot nu poate accesa fișierele CSS și JS” în WordPress
- Ce este llms.txt? Cum să adăugați llms.txt în WordPress
- Cum să configurați corect All in One SEO pentru WordPress (Ghid complet)
Sperăm că acest articol v-a ajutat să învățați cum să optimizați fișierul robots.txt WordPress pentru SEO. De asemenea, ați putea dori să consultați ghidul nostru SEO WordPress complet pentru începători și selecțiile noastre de experți pentru cele mai bune instrumente SEO WordPress pentru a vă dezvolta site-ul.
Dacă ți-a plăcut acest articol, te rugăm să te abonezi la canalul nostru de YouTube pentru tutoriale video WordPress. Ne poți găsi, de asemenea, pe Twitter și Facebook.
Steve
Mulțumesc pentru asta – cum funcționează pe un WP Multisite totuși?
Suport WPBeginner
Pentru o rețea multisite, ar trebui să aveți un fișier robots.txt în folderul rădăcină al fiecărui site.
Admin
Pacifique Ndanyuzwe
Site-ul meu wordpress este nou și fișierul meu robot.txt implicit este
user-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Vreau ca Google să acceseze și să indexeze conținutul meu. Este acel robot.txt în regulă?
Suport WPBeginner
Sigur puteți folosi asta dacă ați dori
Admin
Ritesh Seth
Articol grozav…
Am fost confuz zile întregi în legătură cu fișierul Robots.txt și legăturile Disallow. Am copiat etichetele pentru fișierul robots. Sper că acest lucru va rezolva problema site-ului meu
Suport WPBeginner
We hope our article will help as well
Admin
Kurt
Fișierele din capturile de ecran ale folderului dvs. de acasă sunt de fapt localizate sub folderul public_html din folderul meu de acasă.
Nu am avut un folder /refer sub folderul meu public_html.
Nu am avut fișiere xml pentru postări sau pagini nicăieri în contul meu WP.
Am inclus o intrare în fișierul robots.txt pe care l-am creat pentru a interzice indexarea site-ului meu sandbox. Nu sunt sigur dacă este necesar, deoarece am selectat deja opțiunea în WP care spune motoarelor de căutare să nu-mi indexeze site-ul sandbox, dar nu cred că va dăuna să am intrarea.
Suport WPBeginner
Some hosts do rename public_html to home which is why you see it there. You would want to ensure Yoast is active for the XML files to be available. The method in this article is an additional precaution to help with preventing crawling your site
Admin
Ahmed
Articol grozav
Suport WPBeginner
Thank you
Admin
ASHOK KUMAR JADON
Salut, un articol atât de frumos, mi-ați rezolvat problema. Deci, vă mulțumesc foarte mult
Suport WPBeginner
Glad our article could help
Admin
Elyn Ashton
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php <– Acesta este codul meu robot.txt, dar sunt confuz de ce /wp-admin este indexat? Cum să-l fac no-index?
Suport WPBeginner
Dacă a fost indexat anterior, este posibil să fie nevoie să acordați timp pentru ca memoria cache a motorului de căutare să se golească
Admin
Ashish kumar
Acest site web mă inspiră cu adevărat să încep un blog. Mulțumesc pentru multe teme. Acest site, fiecare articol are informații și explicații bogate. Când am o problemă, vizitez mai întâi acest blog. Mulțumesc
Suport WPBeginner
Glad our articles can be helpful
Admin
Anna
Încerc să optimizez roboții pentru site-ul meu folosind Yoast. Cu toate acestea, instrumentele din Yoast nu au opțiunea pentru „Editor fișiere”.
Există doar două opțiuni
(i) Import și Export
(ii) Editor în masă
Mă puteți sfătui cum poate fi rezolvată această problemă. Ar putea fi faptul că folosesc o ediție gratuită a Yoast?
Suport WPBeginner
Versiunea gratuită a Yoast are încă opțiunea, instalarea dvs. ar putea interzice editarea fișierelor, caz în care probabil va trebui să utilizați metoda FTP.
Admin
Emmanuel Husseni
Găsesc acest articol cu adevărat util, deoarece nu știu prea multe despre cum funcționează robot.txt, dar acum știu.
Vă rog, ce nu înțeleg este cum găsesc formatul cel mai bun de robot.txt pe care să îl folosesc pe site-ul meu (mă refer la unul care funcționează în general)?
Am observat că multe bloguri mari pe care le verific se clasează sus în motoarele de căutare folosind un format diferit de robot.txt.
Aș fi bucuros să văd un răspuns de la dumneavoastră sau de la oricine mă poate ajuta.
Personal editorial
Având o hartă a site-ului și permițând zonele care trebuie permise este cea mai importantă parte. Partea de interzicere va varia în funcție de fiecare site. Am partajat un exemplu în postarea noastră de pe blog și ar trebui să fie bun pentru majoritatea site-urilor WordPress.
Admin
Suport WPBeginner
Salut Emmanuel,
Vă rugăm să consultați secțiunea referitoare la fișierul robots.txt ideal. Depinde de cerințele dumneavoastră. Majoritatea bloggerilor exclud folderele de administrare WordPress și de pluginuri din indexare.
Admin
Emmanuel Husseni
Mulțumesc mult.
acum înțeleg. Cred că voi începe cu formatul general deocamdată.
jack
Articol bine scris, recomand utilizatorilor să facă un sitemap înainte de a crea și activa textul ROBOTS, acest lucru va ajuta site-ul dvs. să fie parcurs mai rapid și indexat mai ușor.
Jack
Connie S Owens
Aș dori să împiedic motoarele de căutare să-mi indexeze arhivele în timpul scanării lor.
Emmanuel Nonye
Mulțumesc mult, acest articol a fost foarte util.
Cherisa
Continui să primesc mesajul de eroare de mai jos pe Google Webmaster. Practic sunt blocat. Câteva lucruri care nu mi-au fost clare în acest tutorial sunt unde găsesc fișierele rădăcină ale site-ului meu, cum determini dacă ai deja un „robots.txt” și cum îl editezi?
Suport WPBeginner
Salut Cherisa,
Folderul rădăcină al site-ului dvs. este cel care conține foldere precum wp-admin, wp-includes, wp-content etc. Conține, de asemenea, fișiere precum wp-config.php, wp-cron.php, wp-blogheader.php etc.
Dacă nu vedeți un fișier robots.txt în acest folder, atunci nu aveți unul. Puteți merge mai departe și crea unul nou.
Admin
Cherisa
Vă mulțumesc pentru răspuns. Am căutat peste tot și nu reușesc să localizez aceste fișiere rădăcină așa cum le descrieți. Există un director de cale pe care îl pot urma care duce la acest folder. De exemplu, este sub Setări, etc.?
Devender
Am avut un trafic web decent pe site-ul meu. Brusc a scăzut la zero în luna mai. Până acum mă confrunt cu problema. Vă rog să mă ajutați să-mi recuperez site-ul.
Haris Aslam
Salutare Vă mulțumesc pentru această informație, dar am o întrebare
Am creat deja fișierul Sitemap.xml și Robots.txt, & se indexează bine. Dar cum pot crea „Product-Sitemap.xml”
Există o listă completă de produse în fișierul sitemap.xml. Trebuie să creez Product-sitemap.xml separat?
și să trimit din nou la Google sau Bing?
Mă puteți ajuta, vă rog...
Vă mulțumesc
Mahadi Hassan
Am o problemă cu setarea fișierului robots.txt. Se afișează doar un singur robots.txt pentru toate site-urile web. Vă rog să mă ajutați să afișez fișierul robots.txt separat pentru toate site-urile web. Am toate fișierele robots.txt separate pentru fiecare site web individual. Dar se afișează doar un singur fișier robots.txt în browser pentru toate site-urile web.
Debu Majumdar
Vă rugăm să explicați de ce ați inclus
Disallow: /refer/
în exemplul Robots.txt pentru începători? Nu înțeleg implicațiile acestei linii. Este importantă pentru începători? Ați explicat celelalte două interzise.
Mulțumesc.
Suport WPBeginner
Salut Debu,
Acest exemplu provine din fișierul robots.txt al WPBeginner. La WPBeginner folosim ThirstyAffiliates pentru a gestiona linkurile de afiliere și a masca URL-urile. Aceste URL-uri conțin /refer/, de aceea le blocăm în fișierul nostru robots.txt.
Admin
Evaristo
Cum pot pune toate tag-urile/mydomain.Com în nofollow? În robots.txt pentru a concentra sucul de linkuri? Mulțumesc.
harsh kumar
salut,,am o eroare în yoast seo referitoare la harta site-ului..odată ce dau clic pe corectare, aceasta reapare..codul html al site-ului meu nu se încarcă corect
Tom
Tocmai mi-am revizuit contul Google Webmaster Tools și, folosind Search Console, am descoperit următoarele:
Pagina s-a încărcat parțial
Nu toate resursele paginii au putut fi încărcate. Acest lucru poate afecta modul în care Google vede și înțelege pagina dvs. Remediați problemele de disponibilitate pentru orice resurse care pot afecta modul în care Google înțelege pagina dvs.
Acest lucru se datorează faptului că toate foile de stil CSS asociate cu pluginurile sunt interzise de robots.txt-ul implicit.
Înțeleg motive întemeiate pentru care nu ar trebui să permit acest lucru, dar care ar fi o alternativă, având în vedere că bănuiesc că algoritmii Google penalizează site-ul pentru că nu le vede.
Suren
Salut,
Ori de câte ori îmi caut site-ul pe Google, acest text apare sub link: „Nu este disponibilă o descriere pentru acest rezultat din cauza fișierului robots.txt al site-ului”
Cum pot rezolva această problemă?
Cu stimă
Suport WPBeginner
Salut Suren,
Se pare că cineva a modificat din greșeală setările de confidențialitate ale site-ului dvs. Accesați Setări » Pagina Citire și derulați în jos la secțiunea „Vizibilitate pentru motoarele de căutare”. Asigurați-vă că nu este bifată căsuța de lângă.
Admin
Divyesh
Salut
Așa cum am văzut în instrumentul pentru webmasteri, am fișierul robot.txt ca mai jos:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Spuneți-mi dacă este în regulă? Sau ar trebui să folosesc altceva?
John Cester
Vreau să știu, este o idee bună să blochez (disallow) „/wp-content/plugins/” în robots.tx? De fiecare dată când elimin un plugin, acesta afișează eroarea 404 pe unele pagini ale acelui plugin.
Himanshu Singh
Mi-a plăcut această explicație. Ca începător, eram foarte confuz în legătură cu fișierul robot.txt și utilizările sale. Dar acum știu care este scopul său.
rahul
în unele fișiere robot.txt index.php a fost dezactivat. Poți explica de ce? Este o practică bună.
Waleed Barakat
Mulțumesc că ai trecut pe aici cu aceste informații prețioase.
Awais Ahmed
Poți să-mi spui, te rog, de ce se întâmplă asta în instrumentul webmaster:
Rețea inaccesibilă: robots.txt inaccesibil Nu am putut accesa Harta site-ului dvs. deoarece am găsit un fișier robots.txt la rădăcina site-ului dvs., dar nu am putut să-l descărcăm. Vă rugăm să vă asigurați că este accesibil sau să-l eliminați complet.
fișierul robots.txt există, dar totuși
Dozza
Actualizare interesantă de la echipa Yoast la
Citat: „Vechiile bune practici de a avea un robots.txt care blochează accesul la directorul tău wp-includes și la directorul plugin-urilor nu mai sunt valabile.”
natveimaging
Allow: /wp-content/uploads/
Nu ar trebui să fie așa?
Disallow: /wp-content/uploads/
Pentru că știi că Google va indexa toate paginile pe care le încarci ca URL-uri publice, corect? Și apoi vei fi lovit cu erori pentru pagina în sine. Există ceva ce îmi scapă aici?
nativeimaging
În general, sunt paginile reale pe care Google le accesează pentru a genera hărți de imagini, NU folderele de încărcări. Atunci ai avea o problemă cu toate dimensiunile mai mici ale imaginilor și alte imagini care sunt pentru interfață vor fi, de asemenea, indexate.
Aceasta pare a fi cea mai bună opțiune:
Disallow: /wp-content/uploads/
Dacă greșesc, te rog explică-mi acest lucru ca să pot înțelege unghiul tău aici.
Jason
URL-ul blogului meu nu este indexat, trebuie să-mi schimb robots.txt?
Folosesc acest robots.txt
iyan
cum să creezi robot txt care permite INDEXAREA DOAR pentru pagină și Post.. mulțumesc
Simaran Singh
Nu sunt sigur care este problema, dar fișierul meu robots.txt are două versiuni. Una la http://www.example.com/robots.txt și a doua la example.com/robots.txt
Cineva, vă rog, ajutați-mă! Spuneți-mi care ar putea fi cauza posibilă și cum să o corectez?
Suport WPBeginner
Cel mai probabil, gazda dvs. web permite accesul la site-ul dvs. atât cu adrese URL www, cât și non-www. Încercați să modificați robots.txt folosind un client FTP. Apoi examinați-l de la ambele URL-uri; dacă puteți vedea modificările dvs. la ambele URL-uri, înseamnă că este același fișier.
Admin
Simaran Singh
Mulțumesc pentru răspunsul rapid. Am făcut deja asta, dar nu reușesc să văd nicio schimbare. Există vreo altă modalitate de a rezolva asta?
Martin Conde
Yoasts blogpost about this topic was right above yours in my search so of course I checked them both. They are contradicting each other a little bit.. For example yoast said that disallowing plugin directories and others, might hinder the Google crawlers when fetching your site since plugins may output css or js. Also mentioned (and from my own experience), yoast doesn’t add anything sitemap related to the robots.txt, rather generates it so that you can add it to your search console. Here is the link to his post, maybe you can re-check because it is very hard to choose whose word to take for it
MM Nauman
Deoarece nu mă pricep la crearea acestui fișier Robotstxt, pot să folosesc fișierul tău Robots.txt schimbând parametrii precum URL-ul și sitemap-ul site-ului meu, este bine? sau ar trebui să creez unul diferit
Mohit Chauhan
Salut,
Astăzi am primit acest email de la Google „Googlebot nu poate accesa fișierele CSS și JS”…care poate fi soluția?
Mulțumesc
Parmod
Lasă-mă să ghicesc… Folosești servicii CDN pentru a importa fișiere CSS și JS.
sau
Este posibil să fi scris sintaxă greșită în aceste fișiere.
Rahul
Am o întrebare despre adăugarea de Sitemaps. Cum pot adăuga Sitemap-ul Yahoo și Bing în fișierul Robots și Directorul Wordpress?
Gerbrand Petersen
Mulțumesc pentru prezentarea detaliată a utilizării fișierului robots. Știe cineva dacă Yahoo folosește și acest robots.txt și dacă respectă regulile menționate în fișier? Întreb asta deoarece am un „Disallow” pentru o anumită pagină în fișierul meu, dar primesc trafic din partea Yahoo pe acea pagină. Nimic de la Google, așa cum ar trebui să fie. Mulțumesc anticipat.
Erwin
corecție…
„Dacă folosești pluginul Yoast’s WordPress SEO sau un alt plugin pentru a genera harta ta XML, atunci pluginul tău va încerca să adauge automat liniile legate de harta site-ului în fișierul robots.txt.”
Nu este adevărat. WordPress SEO nu adaugă harta site-ului în robots.txt
„Am simțit mereu că legarea de sitemap-ul XML din robots.txt este un pic fără sens. Ar trebui să le adăugați manual în instrumentele Google și Bing Webmaster și să vă uitați la feedback-ul lor despre sitemap-ul XML. Acesta este motivul pentru care pluginul nostru WordPress SEO nu îl adaugă în robots.txt.”
https://yoast.com/wordpress-robots-txt-example/
De asemenea, este mai recomandat să nu interzici directorul wp-plugins (motive vezi postarea lui Yoast)
Și personal, îmi place să elimin pur și simplu fișierul readme.txt…
hyma
Am înțeles fișierul robots.txt și utilizarea fișierului robots. Ce este harta site-ului, cum creez o hartă a site-ului pentru site-ul meu.
Rick R. Duncan
După ce am citit documentația Google, am impresia că directiva de utilizat în fișierul robots.txt este disallow, care doar spune roboților ce pot și ce nu pot accesa. Nu le spune ce poate și ce nu poate fi indexat. Trebuie să folosiți meta tag-ul robots noindex pentru a avea o pagină neindexată.
Nitin
articol foarte bun pentru fișierul robots.txt optimizat pentru SEO. Dar am nevoie să oferiți un tutorial despre cum să încărcați fișierul robots.txt pe server. Deoarece, fiind un începător, pare a fi o problemă drastică să încărcați acel fișier.
Oricum, mulțumesc pentru împărtășirea unor informații atât de benefice.
-Nitin
Parmod
Încarcă-l pe serverul tău/public_hmtl/(Numele-site-ului tău)… în acest folder
Jenny
Care este cea mai bună modalitate de a adăuga cod la HTTacess pentru a bloca mai mulți referenți spam bot pentru URL-ul și adresa IP a acestora, dacă nu este furnizat niciun URL
Știu că dacă obții o sintaxă greșită când faci httacess, îți poate scoate site-ul offline. Sunt un începător și trebuie să blochez aceste URL-uri multiple enervante din Rusia, China, Ucraina etc.
Mulțumiri multe
Hazel Andrews
Mulțumesc pentru aceste sfaturi... fișierele robot txt au fost modificate! yay!
Rahat
de ce trebuie să adăugați Permite: !!!
dacă menționez doar ce trebuie să interziceți, este suficient. Nu trebuie să scrieți cod pentru Permite, deoarece Googlebot sau Bingbot vor accesa automat tot restul.
Deci, de ce ar trebui să folosesc din nou Permite?
Connor Rickett
Deoarece lipsa fișierului Robots.txt nu împiedică scanarea site-ului, sunt curios: Există vreun fel de date concrete despre cât de mult va îmbunătăți fișierul performanța SEO?
Am făcut o căutare rapidă pe Google și nu am văzut niciun fel de date cantitative despre asta. Sunt aproximativ jumătate de milion de articole care spun: „Hei, asta îmbunătățește SEO!”, dar aș vrea cu adevărat să știu despre ce vorbim aici, chiar și în general.
Este un impuls de 5%? 50? 500?
Suport WPBeginner
Motoarele de căutare nu partajează astfel de date. Deși lipsa unui fișier robots.txt nu împiedică motoarele de căutare să scaneze sau să indexeze un site web. Cu toate acestea, este o practică recomandată.
Admin
Connor Rickett
Mulțumesc că ți-ai făcut timp să-mi răspunzi, apreciez!
JD Myers
Moment potrivit pentru asta. Tocmai încercam să găsesc aceste informații ieri.
Motivul pentru care căutam asta era că instrumentele Google Webmaster îmi spuneau că nu pot să-mi acceseze corect site-ul, deoarece blocam diverse resurse necesare pentru redarea corectă a paginii.
Aceste resurse au inclus cele găsite în /wp-content/plugins/
După ce am permis acest folder, avertismentul a dispărut.
Aveți vreo idee despre asta?
Suport WPBeginner
Puteți ignora în siguranță acele avertismente. Este doar un avertisment dacă ați fi avut conținut acolo pe care ați fi dorit să-l indexați. Uneori, utilizatorii au restricționat roboții de căutare și au uitat de asta. Aceste avertismente sunt utile în acele situații.
Admin
Chetan Jadhav
Am o întrebare că mulți oameni folosesc harta site-ului statică și știi că au un site WordPress. Ar trebui să folosim harta site-ului statică sau generată de WordPress.
Wilton Calderon
Frumos, îmi place cum are Wpbeginner, și cu acel rang în Alexa, pare a fi una dintre cele mai bune modalități de a folosi robots.txt..
Brigitte Burke
ce înseamnă fișierul meu robots.txt dacă arată așa?
User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /xmlrpc.php
Personal editorial
Acesta spune doar că motoarele de căutare nu ar trebui să indexeze folderul dvs. wp-admin, folderul wp-includes și fișierul xml-rpc. Uneori, interzicerea /wp-includes/ poate bloca anumite scripturi pentru motoarele de căutare, mai ales dacă site-ul dvs. folosește acele scripturi. Acest lucru vă poate afecta SEO-ul.
Cel mai bun lucru de făcut este să accesați Google Webmaster Tools și să solicitați site-ul dvs. ca un bot acolo. Dacă totul se încarcă corect, atunci nu aveți de ce să vă faceți griji. Dacă spune că scripturile sunt blocate, atunci ați putea dori să eliminați linia wp-includes.
Admin
hercules
Nu văd nicio logică în ideea ta despre a avea un script în directorul includes care poate fi folosit de un crawn / robot .. și altul, dacă există un caz izolat, este mai bine după ce specifici implicit WordPress permite acest fișier pe care îl imaginezi că motoarele de căutare folosesc scripturile sale! până la urmă, WordPress cu siguranță nu are implicit un robots.txt anti motoare de căutare!!!!