Pålitliga WordPress-handledningar, när du behöver dem som mest.
Nybörjarguide till WordPress
WPB Cup
25 miljoner+
Webbplatser som använder våra plugins
16+
År av WordPress-erfarenhet
3000+
WordPress-handledningar
av experter

Hur du optimerar din WordPress Robots.txt för SEO

Det är en obehaglig känsla när du inser att en liten, förbisedd textfil kan tyst sabotera din webbplats SEO. Många webbplatsägare inser inte att ett enkelt misstag i deras robots.txt-fil kan hindra Google från att hitta deras viktigaste innehåll.

Efter att ha granskat tusentals WordPress-webbplatser har vi sett detta hända fler gånger än vi kan räkna. Den goda nyheten är att det är enklare att fixa än du tror.

I den här guiden går vi igenom de exakta, beprövade stegen vi använder för att optimera en WordPress robots.txt-fil. Du kommer att lära dig hur du gör rätt och säkerställer att sökmotorer genomsöker din webbplats effektivt.

Optimera robots.txt-filen för bättre SEO

Känner du dig överväldigad? Här är en snabb översikt över allt vi kommer att täcka i den här guiden. Hoppa gärna till avsnittet som intresserar dig mest.

  1. Vad är en robots.txt-fil?
  2. Behöver du en Robots.txt-fil för din WordPress-sajt?
  3. Hur ser en idealisk robots.txt-fil ut?
  4. Hur man skapar en Robots.txt-fil i WordPress
  5. Hur du testar din Robots.txt-fil
  6. Slutliga tankar
  7. Vanliga frågor om WordPress robots.txt
  8. Ytterligare resurser om användning av robots.txt i WordPress

Vad är en robots.txt-fil?

Robots.txt är en textfil som webbplatsägare kan skapa för att tala om för sökmotorernas robotar hur de ska genomsöka och indexera sidor på sina webbplatser.

Den lagras vanligtvis i rotkatalogen (även känd som huvudmappen) på din webbplats. Grundformatet för en robots.txt-fil ser ut så här:

User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
 
User-agent: [user-agent name]
Allow: [URL string to be crawled]
 
Sitemap: [URL of your XML Sitemap]

Du kan ha flera rader med instruktioner för att tillåta eller neka specifika URL:er och lägga till flera sitemap. Om du inte nekar en URL, antar sökmotorrobotar att de får krypa den.

Här är hur en exempelrobots.txt-fil kan se ut:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/

Sitemap: https://example.com/sitemap_index.xml

I exemplet med robots.txt ovan har vi tillåtit sökmotorer att krypa och indexera filer i vår WordPress-uppladdningsmapp.

Därefter förbjöd vi sökmotorrobotar från att genomsöka och indexera plugins och WordPress-administratörsordlistor.

Slutligen har vi angett URL:en till vår XML-webbplatskarta.

Behöver du en Robots.txt-fil för din WordPress-sajt?

Även om din webbplats kan fungera utan en robots.txt-fil, har vi konsekvent funnit att webbplatser med optimerade robots.txt-filer presterar bättre i sökresultaten.

Genom vårt arbete med kunder inom olika branscher har vi sett hur korrekt hantering av krypbudget genom robots.txt kan leda till snabbare indexering av viktigt innehåll och bättre övergripande SEO-prestanda.

Detta kommer inte att ha stor inverkan när du först startar en blogg och inte har mycket innehåll.

Men när din webbplats växer och du lägger till mer innehåll, då kommer du troligen att vilja ha bättre kontroll över hur din webbplats genomsöks och indexeras.

Här är varför.

Sökmotorer allokerar vad Google kallar en 'genomsökningsbudget' till varje webbplats. Detta är antalet sidor de kommer att genomsöka inom en given tidsperiod.

I vår testning över tusentals WordPress-webbplatser har vi funnit att större webbplatser särskilt drar nytta av att optimera denna budget genom strategisk robots.txt-konfiguration.

Till exempel såg en av våra företagskunder en 40% förbättring av genomsökningseffektiviteten efter att ha implementerat våra rekommenderade robots.txt-optimeringar.

Du kan förbjuda sökmotorer från att försöka genomsöka onödiga sidor som dina WordPress-administratörssidor, plugin-filer och teman-mapp.

Genom att neka onödiga sidor sparar du din krypningskvot. Detta hjälper sökmotorer att krypa ännu fler sidor på din webbplats och indexera dem så snabbt som möjligt.

En annan bra anledning att använda en robots.txt-fil är när du vill förhindra sökmotorer från att indexera ett inlägg eller en sida på din webbplats.

Det är dock viktigt att veta att robots.txt inte är det bästa sättet att dölja innehåll. En sida som är förbjuden kan fortfarande visas i sökresultaten om den länkas till från andra webbplatser.

Om du vill stoppa en sida från att visas på Google på ett tillförlitligt sätt bör du istället använda en 'noindex'-metatagg. Detta talar om för sökmotorer att inte lägga till sidan i sitt index alls.

Hur ser en idealisk robots.txt-fil ut?

Många populära bloggar använder en mycket enkel robots.txt-fil. Deras innehåll kan variera beroende på den specifika webbplatsens behov:

User-agent: *
Disallow:

Sitemap: https://www.example.com/post-sitemap.xml
Sitemap: https://www.example.com/page-sitemap.xml

Denna robots.txt-fil tillåter alla bottar att indexera allt innehåll och ger dem en länk till webbplatsens XML-webbplatskartor.

För WordPress-webbplatser rekommenderar vi följande regler i robots.txt-filen:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/

Sitemap: https://www.example.com/post-sitemap.xml
Sitemap: https://www.example.com/page-sitemap.xml

Detta talar om för sökmotorrobotar att indexera alla dina WordPress-bilder och uppladdade filer genom att specifikt använda direktivet Allow, vilket är ett användbart kommando som sökmotorer som Google förstår.

Den förhindrar sedan sökmotorrobotar från att indexera WordPress administrationsområde, standardfilen readme.html (som kan avslöja din WordPress-version) och vanliga kataloger för dolda affiliate-länkar som /refer/.

Genom att lägga till webbplatskartor i robots.txt-filen gör du det enkelt för Google-robotar att hitta alla sidor på din webbplats.

Nu när du vet hur en idealisk robots.txt-fil ser ut, låt oss titta på hur du kan skapa en robots.txt-fil i WordPress.

Hur man skapar en Robots.txt-fil i WordPress

Det finns två sätt att skapa en robots.txt-fil i WordPress. Du kan välja den metod som fungerar bäst för dig.

Metod 1: Redigera robots.txt-filen med All in One SEO

All in One SEO, även känt som AIOSEO, är det bästa WordPress SEO-pluginet på marknaden, som används av över 3 miljoner webbplatser. Det är lätt att använda och kommer med en generator för robots.txt-fil.

För att lära dig mer, se vår detaljerade AIOSEO-recension.

Om du inte redan har AIOSEO-pluginet installerat kan du se vår steg-för-steg-guide om hur man installerar ett WordPress-plugin.

Notera: En gratisversion av AIOSEO finns också tillgänglig och har den här funktionen.

När pluginet är installerat och aktiverat kan du använda det för att skapa och redigera din robots.txt-fil direkt från ditt WordPress-administrationsområde.

Gå helt enkelt till Allt i ett SEO » Verktyg för att redigera din robots.txt-fil.

Redigerare för Robots.txt-fil i All in One SEO

Först måste du aktivera redigeringsalternativet genom att klicka på växlingsknappen ‘Aktivera anpassad Robots.txt’ till blått.

Med den här växlingsknappen kan du skapa en anpassad robots.txt-fil i WordPress.

Aktivera anpassad robots.txt-fil

All in One SEO kommer att visa din befintliga robots.txt-fil i avsnittet 'Robots.txt-förhandsgranskning' längst ner på skärmen.

Den här versionen visar standardreglerna som lades till av WordPress.

Förhandsgranskning av Robots.txt-fil i All in One SEO

Dessa standardregler talar om för sökmotorerna att inte genomsöka dina kärn-WordPress-filer, tillåta botarna att indexera allt innehåll och ge dem en länk till webbplatsens XML-sitemaps.

Nu kan du lägga till dina egna anpassade regler för att förbättra din robots.txt för SEO.

För att lägga till en regel, ange en användaragent i fältet 'User Agent'. Att använda en * kommer att tillämpa regeln på alla användaragenter.

Välj sedan om du vill att sökmotorerna ska 'Tillåta' eller 'Neka' att krypa.

Ange sedan filnamnet eller sökvägen till katalogen i fältet 'Directory Path'.

Lägg till regler för robots-filen

Regeln kommer automatiskt att tillämpas på din robots.txt. För att lägga till en annan regel, klicka bara på knappen 'Lägg till regel'.

Vi rekommenderar att du lägger till regler tills du skapar det ideala robots.txt-formatet som vi delade ovan.

Dina anpassade regler kommer att se ut så här.

Förhandsgranskning av anpassad robots txt-fil

När du är klar, glöm inte att klicka på knappen 'Spara ändringar' för att lagra dina ändringar.

Metod 2: Redigera robots.txt-filen med WPCode

WPCode är ett kraftfullt plugin för kodavsnitt som låter dig lägga till anpassad kod på din webbplats enkelt och säkert.

Den innehåller också en praktisk funktion som låter dig snabbt redigera robots.txt-filen.

Notera: Det finns också ett WPCode Free Plugin, men det inkluderar inte filredigeringsfunktionen.

Det första du behöver göra är att installera WPCode-pluginet. För steg-för-steg-instruktioner, se vår nybörjarguide om hur man installerar ett WordPress-plugin.

Vid aktivering måste du navigera till sidan WPCode » Filredigerare. Väl där klickar du helt enkelt på fliken ‘robots.txt’ för att redigera filen.

WPCode robots.txt-redigerare

Nu kan du klistra in eller skriva innehållet i robots.txt-filen.

När du är klar, se till att du klickar på knappen 'Spara ändringar' längst ner på sidan för att spara inställningarna.

Metod 3: Redigera robots.txt-filen manuellt med FTP

För den här metoden behöver du använda en FTP-klient för att redigera robots.txt-filen. Alternativt kan du använda filhanteraren som tillhandahålls av din WordPress-värd.

Proffstips: Innan du gör några ändringar rekommenderar vi att du laddar ner en säkerhetskopia av din ursprungliga robots.txt-fil (om en sådan finns) till din dator. På så sätt kan du enkelt ladda upp den igen om något går fel.

Anslut helt enkelt till dina WordPress-webbplats-filer med en FTP-klient.

Väl inne kommer du att kunna se robots.txt-filen i din webbplats rotmapp.

Redigera robots-filen via FTP

Om du inte ser en, har du troligen ingen robots.txt-fil.

I så fall kan du bara fortsätta och skapa en.

Skapa ny robots-fil

Robots.txt är en vanlig textfil, vilket innebär att du kan ladda ner den till din dator och redigera den med vilken vanlig textredigerare som Anteckningar eller Textredigerare.

Efter att ha sparat dina ändringar kan du ladda upp robots.txt-filen tillbaka till din webbplats rotmapp.

Hur du testar din Robots.txt-fil

Efter att ha skapat eller redigerat din robots.txt-fil är det en bra idé att kontrollera den efter fel. En liten felskrivning kan oavsiktligt blockera viktiga sidor från sökmotorer, så detta steg är superviktigt! 👍

Medan Google tidigare hade ett dedikerat testverktyg, har de nu integrerat den här funktionen i de huvudsakliga rapporterna i Google Search Console.

Kontrollera först att din webbplats är ansluten till Google Search Console. Om du inte har gjort det än, följ bara vår enkla guide om hur du lägger till din WordPress-webbplats i Google Search Console.

När du är inställd, gå till din Google Search Console-instrumentpanel. Navigera till Inställningar i menyn längst ner till vänster.

Hitta sedan sektionen 'Crawling' och klicka på 'Öppna rapport' bredvid 'robots.txt'.

Öppna robots.txt-rapporten i Google Search Console-inställningar

Klicka helt enkelt på den aktuella versionen av filen i listan.

Den här rapporten visar dig den senaste versionen av din robots.txt-fil som Google har hittat. Den kommer att markera eventuella syntaxfel eller logiska problem som den har upptäckt.

Google Search Console robots.txt-rapport som visar en giltig fil

Oroa dig inte om du precis har uppdaterat din fil och inte ser ändringarna här omedelbart. Google kontrollerar automatiskt efter en ny version av din robots.txt-fil ungefär en gång om dagen.

Du kan återkomma till den här rapporten senare för att bekräfta att Google har plockat upp dina senaste ändringar och att allt ser bra ut

Slutliga tankar

Målet med att optimera din robots.txt-fil är att förhindra sökmotorer från att krypa sidor som inte är offentligt tillgängliga. Till exempel sidor i din wp-plugins-mapp eller sidor i din WordPress-administratörs-mapp.

En vanlig myt bland SEO-experter är att blockering av WordPress-kategorier, taggar och arkivsidor kommer att förbättra genomsökningshastigheten och resultera i snabbare indexering och högre ranking.

Detta är inte sant. Faktum är att denna praxis starkt avråds av Google och går emot deras bästa praxisriktlinjer för att hjälpa dem att förstå din webbplats.

Vi rekommenderar att du följer ovanstående robots.txt-format för att skapa en robots.txt-fil för din webbplats.

Vanliga frågor om WordPress robots.txt

Här är några av de vanligaste frågorna vi får om optimering av robots.txt-filen i WordPress.

1. Vad är huvudsyftet med en robots.txt-fil?

Huvudsyftet med en robots.txt-fil är att hantera din webbplats krypbudget. Genom att tala om för sökmotorer vilka sidor de ska ignorera (som administratörssidor eller plugin-filer) hjälper du dem att använda sina resurser till att krypa och indexera ditt viktigaste innehåll mer effektivt.

2. Var finns robots.txt-filen i WordPress?

Din robots.txt-fil finns i rotkatalogen på din webbplats. Du kan vanligtvis se den genom att gå till dindomän.com/robots.txt i din webbläsare.

3. Kan användning av robots.txt förbättra min webbplats säkerhet?

Nej, robots.txt är inte en säkerhetsåtgärd. Filen är offentligt synlig, så den hindrar faktiskt ingen från att komma åt de URL:er du listar. Den ger helt enkelt direktiv till väluppfostrade sökmotor-crawlers.

4. Ska jag blockera WordPress-kategori- och taggsidor i robots.txt?

Nej, du bör inte blockera kategori- och taggsidor. Dessa arkivsidor är användbara för SEO eftersom de hjälper sökmotorer att förstå din webbplats struktur och upptäcka ditt innehåll. Att blockera dem kan negativt påverka dina sökrankningar.

Ytterligare resurser om användning av robots.txt i WordPress

Nu när du vet hur du optimerar din robots.txt-fil, kanske du vill se några andra artiklar relaterade till att använda robots.txt i WordPress.

Vi hoppas att den här artikeln hjälpte dig att lära dig hur du optimerar din WordPress robots.txt-fil för SEO. Du kanske också vill se vår ultimata WordPress SEO-guide och våra experttips för de bästa WordPress SEO-verktygen för att växa din webbplats.

Om du gillade den här artikeln, prenumerera då på vår YouTube-kanal för WordPress-videoguider. Du kan också hitta oss på Twitter och Facebook.

Upplysning: Vårt innehåll stöds av läsarna. Det innebär att om du klickar på några av våra länkar kan vi tjäna en provision. Se hur WPBeginner finansieras, varför det är viktigt och hur du kan stödja oss. Här är vår redaktionella process.

Det ultimata WordPress-verktyget

Få GRATIS tillgång till vår verktygslåda - en samling WordPress-relaterade produkter och resurser som alla proffs bör ha!

Läsarnas interaktioner

133 CommentsLeave a Reply

  1. Jag måste erkänna, jag använder AIOSEO-pluginet men har alltid ignorerat alternativet "Aktivera anpassad robots.txt" eftersom jag inte ville förstöra något.
    Men jag har läst den här artikeln och är övertygad om att det är värt att ta sig tid att optimera min robots.txt-fil.

      • Jag tycker att du borde ändra ditt svar. Det borde vara https istället för http. Är det rätt att även neka plugin-filer?

        • Tack för att du påpekade det, vårt exempel har uppdaterats. För att blockera plugins bör du kontrollera med det specifika pluginet för att vara säker.

  2. Tack för detta informativa inlägg om robots.txt-filen.
    Jag visste inte att webbplatser bör underhålla denna fil för att ha kontroll över Google-robotar om hur de ska genomsöka våra sidor och inlägg.
    för nybörjarwebbplatser som precis har börjat, finns det ett behov av att ha en robots.txt-fil eller finns det ett sätt som ett plugin som kan skapa en robots.txt-fil för vår webbplats?

    • De flesta SEO-plugins hjälper till med att konfigurera robots.txt för en ny webbplats för att förhindra att bottar skannar sektioner de inte borde.

      Admin

  3. Tack vare den här artikeln kontrollerade jag robots.txt-filen och lade till URL-adresser med sitemaps. Samtidigt hade jag andra problematiska rader där, som uppdagades av validatorn. Jag var inte bekant med sitemaps i robots.txt förrän nu. Tack.

  4. Hej,

    Tack för det inlägget, det blir tydligare hur man använder robots.txt-filen. På de flesta webbplatser som du hittar när du letar efter råd angående robots.txt-filen, kan du se att följande mappar är explicit undantagna från genomsökning (för WordPress):
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes

    Jag förstår inte riktigt anledningarna till att exkludera dessa mappar (finns det någon anledning egentligen?). Vad är din åsikt i den frågan?

    • Det är främst för att förhindra att något i dessa mappar visas som ett resultat när en användare söker efter din webbplats. Eftersom det inte är ditt innehåll är det inte något de flesta vill ska visas i webbplatsens resultat.

      Admin

  5. Tillåt inte: /wp-admin/
    Tillåt: /wp-admin/admin-ajax.php

    GSC visar täckningsfelet för "Disallow: /wp-admin/". Är detta fel?

    • För de flesta webbplatser vill du inte att något från din wp-admin ska visas som ett sökresultat, så det är okej och förväntat att få täckningsområdet när du nekar Google möjligheten att skanna din wp-admin.

      Admin

  6. Jag skapar min robots.txt manuellt som du instruerade för min WordPress-sida.

    Jag har en tvekan. när jag skriver User-Agent: * kommer det inte att tillåta en annan spamrobot att komma åt min webbplats?
    Ska jag skriva User-Agent: * eller User-Agent: Googlebot.?

    • User-Agent-raden ställer in reglerna som alla robotar ska följa på din webbplats, om du anger en specifik bot på den raden skulle det sätta regler för den specifika boten och ingen av de andra.

      Admin

  7. ska vi också neka /wp-content/themes/ ?

    Den visas i sökresultatet när jag kör kommandot site:abcdef.com i Google-sökning

    • Du vill inte behöva oroa dig för att blockera din temamapp och när du skriver SEO-vänligt innehåll bör du inte längre se teman som ett sökresultat.

      Admin

    • Det betyder att du säger till sökmotorer att inte titta på några hänvisningslänkar eller readme.html-filen.

      Admin

    • Om du blockerar din uppladdningsmapp skulle sökmotorer normalt inte genomsöka ditt uppladdade innehåll som bilder.

      Admin

  8. Sir, jag är väldigt förvirrad över robot.txt, många gånger har jag skickat in en webbplatskarta i Blogger men efter 3-4 dagar kommer samma problem upp, vad är exakt robot.txt.. & hur skickar jag in den, snälla guida mig

  9. Om jag inte indexerar en URL eller sida med robots.txt-filen, visar Google några fel i Search Console?

    • Nej, Google kommer inte att lista sidan men om sidan är listad kommer den inte att visa ett fel.

      Admin

  10. Hej
    Jag har en fråga
    Jag fick en varning från Google Search Console om täckningsproblem för blockerad av robots.txt
    /wp-admin/widgets.php
    Min fråga är, kan jag tillåta wp-admin/widgets.php i robots.txt och är det säkert?

    • OM du ville kunde du det, men det är inte en fil som Google behöver genomsöka.

      Admin

  11. Hej! Jag gillar verkligen den här artikeln och eftersom jag är nybörjare med allt detta krypnings-trams skulle jag vilja fråga något i detta avseende. Nyligen har Google krypterat och indexerat en av mina webbplatser på ett riktigt hemskt sätt, och visat sidor i sökresultaten som har raderats från webbplatsen. Webbplatsen hade inte avskräckt sökmotorer från indexering i WordPress-inställningarna från början, men det gjorde den senare efter att Google visade ytterligare 3 sidor i sökresultaten (de sidorna existerar inte heller) och jag förstår verkligen inte hur det kunde hända med alternativet "avskräck sökmotorer från indexering" påslaget. Så, kan Yoast-metoden vara till hjälp och lösa mitt problem så att Google indexerar min webbplats på rätt sätt den här gången? Tack på förhand!

    • Yoast-pluginet bör kunna hjälpa till att säkerställa att de sidor du har indexeras korrekt, det finns en chans att din sida var cachad innan du avskräckte sökmotorer från att genomsöka din webbplats.

      Admin

      • Ja, och från alla sidor cachade den de som inte längre finns. Hur som helst, eftersom den aktuella sidan är inställd på 'avskräck', är det bättre att behålla den så här tills vidare eller att avmarkera rutan och låta Google genomsöka och indexera den igen med Yoasts hjälp? Tack! Med dina artiklar blev allt enklare!

        • Du vill att Google ska genomsöka din webbplats igen när den är inställd som du vill.

  12. Hej, jag älskade artikeln, väldigt precis och perfekt.
    Bara en liten förslag, vänligen uppdatera bilden ROBOTS.txt-testare, eftersom Google Console har ändrats och det vore fantastiskt om du lägger till länken för att kontrollera robots.txt från Google.

    • Tack för feedbacken, vi kommer definitivt att se över uppdateringen av artikeln så snart vi kan.

      Admin

  13. Min blogs robots.txt-fil var:
    User-Agent: *
    crawl-delay: 10

    Efter att ha läst det här inlägget har jag ändrat det till din rekommenderade robots.txt-fil. Är det okej att jag tog bort crawl-delay

    • Det borde vara okej, crawl-delay talar om för sökmotorer att sakta ner hur snabbt de ska genomsöka din webbplats.

      Admin

    • Vi använder /refer/ för att omdirigera till olika affiliate-länkar på vår webbplats. Vi vill inte att dessa ska indexeras eftersom de bara är omdirigeringar och inte faktiskt innehåll.

      Admin

  14. Tack för att du delade med dig. Detta var verkligen hjälpsamt för mig att förstå robots.txt
    Jag har uppdaterat min robots.txt till den ideala som du föreslog. Jag väntar på resultaten nu

  15. tack för uppdaterad information till mig. Din artikel var bra för Robot txt. fil. Den gav mig ny information. tack och håll mig uppdaterad med nya idéer.

Lämna ett svar

Tack för att du väljer att lämna en kommentar. Tänk på att alla kommentarer modereras enligt vår kommentarspolicy, och din e-postadress kommer INTE att publiceras. Använd INTE nyckelord i namn fältet. Låt oss ha en personlig och meningsfull konversation.