Hur man stoppar sökmotorer från att krypa på en WordPress-sajt

Vi döljer alltid våra nya webbplatser från sökmotorer tills de är redo för riktiga besökare. Att lansera en halvfärdig webbplats kan kännas stressigt när du vill att allt ska se perfekt ut.

Att kontrollera din webbplats synlighet skyddar ditt privata arbete och hindrar Google från att ranka ofullständiga sidor. Det ger dig fullständig kontroll över när din webbplats blir offentlig.

Vi förlitar oss på några enkla knep för att hålla våra egna kommande projekt helt privata. Nu ska vi guida dig genom de exakta stegen för att stoppa sökmotorer från att genomsöka din webbplats.

Varför stoppa sökmotorer från att genomsöka en WordPress-webbplats?

För de flesta WordPress-webbplatser är sökmotorer den största källan till trafik. Du kanske frågar dig, varför skulle någon vilja avskräcka sökmotorer?

Här är några situationer då du inte vill att sökmotorer ska indexera din webbplats:

• När du börjar kanske du inte vet hur du skapar en lokal utvecklingsmiljö eller en staging-sida, och istället utvecklar du din webbplats medan den är live. Du vill inte att Google ska indexera din sida när den är under uppbyggnad eller i underhållsläge.

• Det finns också många som använder WordPress för att skapa privata bloggar. De vill inte att de ska indexeras av sökmotorer eftersom de är privata.

• Du kan använda WordPress för projektledning eller ett intranät. I dessa fall vill du inte att dina interna dokument ska vara offentligt tillgängliga.

Ett vanligt missförstånd är att om du inte har några länkar som pekar på din domän, kommer sökmotorer förmodligen aldrig att hitta din webbplats. Detta är inte helt sant.

Det kan till exempel finnas länkar som pekar till din webbplats eftersom domännamnet tidigare ägdes av någon annan. Det finns också tusentals sidor på internet som helt enkelt listar domännamn. Din webbplats kan dyka upp på en av dessa.

Innan vi går igenom metoderna, låt oss snabbt klargöra två viktiga termer:

• Genomsökning är när sökmotorrobotar (som Googlebot) besöker din webbplats för att upptäcka dess innehåll.
• Indexering är när de lägger till det innehållet i sin massiva sökningsdatabas så att det kan visas i sökresultaten.

Tänk på det som en bibliotekarie som läser en ny bok (crawling) och sedan lägger till den i bibliotekets katalog (indexering). Vissa av metoderna nedan stoppar crawling helt, medan andra bara förhindrar indexering. Vi kommer att göra det tydligt vilken som är vilken!

Med det sagt, låt oss titta på hur man hindrar sökmotorer från att krypa på din webbplats. Vi kommer att täcka fyra metoder:

Metod 1: Be sökmotorer att inte genomsöka din WordPress-webbplats

Detta är den enklaste metoden men skyddar inte din webbplats helt från att genomsökas.

WordPress levereras med en inbyggd funktion som låter dig instruera sökmotorer att inte indexera din webbplats. Allt du behöver göra är att besöka Inställningar » Läsning och markera rutan bredvid 'Sökmotorers synlighet'.

När den här rutan är markerad lägger WordPress till den här raden i webbplatsens sidhuvud:

<meta name='robots' content='noindex,nofollow' />

Den här taggen talar om för sökmotorer att inte visa den här sidan i sökresultaten (noindex), och instruerar dem också att inte följa länkarna på den här sidan (nofollow).

WordPress modifierar också din webbplats robots.txt-fil och lägger till en disallow-regel till den:

User-agent: *
Disallow: /

Robots.txt-raderna ber webbläsare att inte genomsöka dina sidor, medan metataggen strikt talar om för dem att inte indexera din webbplats. Det finns dock en hake.

Eftersom robots.txt-filen blockerar sökmotorer från att genomsöka din webbplats, kanske de aldrig ser din noindex-metatagg. Om en annan webbplats länkar till din domän, kan Google fortfarande indexera din URL (ofta visas 'Information är inte tillgänglig för den här sidan' i sökresultaten).

Om du vill göra det omöjligt för sökmotorer att indexera eller genomsöka din webbplats, måste du lösenordsskydda din WordPress-webbplats med metod 3 eller 4.

Metod 2: Be sökmotorer att inte indexera enskilda sidor

Du kanske vill att sökmotorer ska genomsöka och indexera din webbplats, men inte inkludera ett visst inlägg eller en specifik sida i sökresultatsidorna.

Det enklaste sättet att göra det är att använda pluginet All in One SEO (AIOSEO). Det är det bästa SEO-verktyget för WordPress och litar på av över 3 miljoner företag.

För den här handledningen kommer vi att använda AIOSEO gratisversion eftersom den inkluderar SEO-analysverktyget. Det finns också en premiumversion av AIOSEO som erbjuder fler funktioner som sitemap-verktyg, omdirigeringshanterare, schema markup, robots.txt-redigerare och mer.

Det första du behöver göra är att installera och aktivera AIOSEO-pluginet på din webbplats. Du kan lära dig hur du installerar och konfigurerar pluginet genom att följa vår steg-för-steg-guide om hur du ställer in All in One SEO för WordPress.

När pluginet är inställt kan du använda det för att be sökmotorer att inte indexera vissa inlägg och sidor. Återigen, det är helt upp till sökmotorerna att acceptera denna begäran eller ignorera den.

Redigera helt enkelt inlägget eller sidan som du inte vill ska indexeras. Du behöver skrolla ner till AIOSEO-inställningar längst ner i WordPress-redigeraren och sedan klicka på fliken 'Avancerat'.

Som standard kommer ditt inlägg att använda standardinställningarna för robotar. Låt oss gå vidare och ändra det.

För att ändra detta måste du växla omkopplaren 'Använd standardinställningar' till avstängt läge.

Nu kan du klicka på kryssrutan 'Indexera inte'. När inlägget är publicerat eller uppdaterat kommer sökmotorer att uppmanas att inte indexera det.

För att lära dig mer, se vår detaljerade AIOSEO-recension.

Metod 3: Lösenordsskydda en hel webbplats med cPanel

Om din WordPress-värdleverantör erbjuder cPanel-åtkomst för att hantera ditt värdkonto, kan du skydda hela din webbplats med cPanel.

Allt du behöver göra är att logga in på din cPanel-instrumentpanel och sedan klicka på ikonen 'Directory Privacy' i avsnittet 'Files'.

Därefter behöver du hitta mappen där du installerade WordPress. Vanligtvis är det mappen public_html.

Därefter klickar du helt enkelt på knappen 'Redigera' bredvid den mappen.

Detta tar dig till en skärm där du kan aktivera lösenordsskydd.

Markera helt enkelt rutan som säger 'Lösenordsskydda den här katalogen' och klicka på knappen 'Spara'. Om du vill kan du också anpassa namnet på den skyddade katalogen.

Du kommer att se ett bekräftelsemeddelande som säger att åtkomstbehörigheterna för katalogen har ändrats.

Därefter måste du klicka på knappen 'Gå tillbaka'.

På nästa skärm kommer du att bli ombedd att skapa en ny användare. Gå vidare och ange ett användarnamn och lösenord, och bekräfta sedan ditt lösenord.

Se till att notera dessa inloggningsuppgifter på en säker plats, till exempel en lösenordshanteringsapp, eftersom du behöver dem för att se din webbplats.

När du har klickat på knappen 'Spara' har du framgångsrikt lagt till lösenordsskydd till din WordPress-webbplats.

Nu, när en användare eller sökmotor besöker din webbplats, kommer de att uppmanas att ange användarnamn och lösenord som du skapade tidigare för att visa webbplatsen.

Metod 4: Lösenordsskydda WordPress med ett plugin

Om du använder en hanterad WordPress-värdlösning kanske du inte har åtkomst till cPanel. I så fall kan du använda ett WordPress-plugin för att lösenordsskydda din webbplats.

Här är de två mest populära lösningarna:

1. SeedProd är det främsta pluginet för kommande och underhållsläge för WordPress, som används på över 2 miljoner webbplatser. Det är den perfekta lösningen för webbplatser under uppbyggnad eftersom du kan visa en vacker anpassad landningssida för mänskliga besökare samtidigt som du helt döljer din ofärdiga webbplats och kod från sökmotorer. Vi har en steg-för-steg guide för SeedProd.
2. Password Protected är ett mycket enkelt sätt att lösenordsskydda din WordPress-webbplats med ett enda lösenord (ingen användarskapning behövs). Se vår steg-för-steg-guide om hur du lösenordsskyddar en WordPress-webbplats.

Vanliga frågor (FAQ)

Här är svar på några av de vanligaste frågorna vi får om att stoppa sökmotorer från att genomsöka WordPress-webbplatser.

1. Vad är skillnaden mellan att blockera krypning och att blockera indexering?

Att blockera genomsökning (med robots.txt) är som att sätta upp en 'tillträde förbjuden'-skylt. Det ber sökmotorernas bottar att inte titta på din webbplats innehåll. Att blockera indexering (med en noindex-tagg) talar om för sökmotorer att inte lista din webbplats i deras sökresultat, även om de har genomsökt den.

2. Räcker WordPress inbyggda alternativ 'Avskräck sökmotorer' för att dölja min webbplats?

För tillfällig utveckling är det ofta tillräckligt. Denna metod är dock bara en begäran, och vissa sökmotorer kanske inte följer den. För fullständig integritet eller för att skydda känslig information är lösenordsskydd den enda garanterade metoden.

3. Kommer lösenordsskydd av min webbplats att skada min SEO när jag är redo att lansera?

Nej, det kommer inte att skada din SEO. När din webbplats är lösenordsskyddad kan sökmotorer inte komma åt den, så den har ingen SEO-status (positiv eller negativ). När du tar bort lösenordsskyddet och tillåter indexering kommer sökmotorer att börja genomsöka och rangordna den normalt.

4. Hur kan jag kontrollera om Google redan har indexerat min webbplats?

Det enklaste sättet är att göra en webbplatssökning på Google. Gå till google.com och skriv site:dindomän.com i sökfältet. Om några resultat visas har din webbplats indexerats.

För ett mer tekniskt och exakt tillvägagångssätt kan du använda den kostnadsfria Google Search Console. Du kan klistra in någon av din webbplats URL:er i deras URL-inspektionsverktyg för att se dess exakta indexeringsstatus och ta reda på om Googlebot har lyckats genomsöka den.

5. Hur stänger jag av SEO i WordPress?

Det finns ingen enskild 'avstängningsknapp' för SEO, men du kan effektivt stänga av den genom att avskräcka sökmotorer från att indexera din webbplats.

Du kan använda den inbyggda WordPress-inställningen under Inställningar » Läsning, eller för en mer komplett lösning, använda ett plugin som SeedProd för att sätta din webbplats i underhållsläge.

Om du använder ett SEO-plugin som All in One SEO kan du också använda det för att globalt ställa in dina sidor till 'noindex'.

6. Hur döljer jag min WordPress-webbplats från sökmotorer under testning?

Det säkraste sättet att dölja en test- eller staging-webbplats från sökmotorer är att använda lösenordsskydd. Du kan göra detta genom att ställa in ett kataloglösenord i din webbhotells kontrollpanel (som cPanel) eller genom att använda ett WordPress-plugin som SeedProd för att sätta din webbplats i underhållsläge. Eftersom sökmotorrobotar inte kan ange lösenord, blockeras de helt från att genomsöka eller indexera ditt testinnehåll.

Experthandledningar om genomsökning och indexering av sökmotorer

Vi hoppas att den här artikeln hjälpte dig att stoppa sökmotorer från att genomsöka eller indexera din WordPress-webbplats. Du kanske vill se några andra guider relaterade till sökmotorers genomsökning och indexering:

• Hur man döljer en WordPress-sida från Google
• Hur får jag min WordPress-webbplats listad på Google? (Ny guide)
• Varför blev min WordPress-webbplats avindexerad från Google?
• Hur du ber Google att genomsöka URL:er på din WordPress-webbplats igen
• Hur du optimerar din WordPress Robots.txt för SEO
• WordPress SEO Crawl Budget-problemet och hur du åtgärdar det

Om du gillade den här artikeln, prenumerera gärna på vår YouTube-kanal för WordPress-videoguider. Du kan också hitta oss på Twitter och Facebook.