Hur man stoppar sökmotorer från att krypa på en WordPress-sajt

När du bygger en ny WordPress-webbplats vill du hålla den dold för sökmotorer tills den är redo för besökare. Vi gör detta för alla våra nya projekt, eftersom det är ett viktigt steg för en smidig och professionell lansering.

Att kontrollera vad sökmotorer kan se är avgörande för att skydda privat innehåll och din webbplats framtida SEO. Det ger dig fullständig kontroll över när din webbplats blir offentlig.

Efter års erfarenhet har vi hittat de mest pålitliga metoderna för att hantera webbplatsens synlighet. Detta är samma enkla tekniker som vi använder för våra egna webbplatser och rekommenderar till våra läsare.

Nu ska vi gå igenom de exakta stegen för att hindra sökmotorer från att genomsöka din WordPress-webbplats.

Varför stoppa sökmotorer från att genomsöka en WordPress-webbplats?

För de flesta WordPress-webbplatser är sökmotorer den största källan till trafik. Du kanske frågar dig, varför skulle någon vilja avskräcka sökmotorer?

Här är några situationer då du inte vill att sökmotorer ska indexera din webbplats:

• När du börjar kanske du inte vet hur du skapar en lokal utvecklingsmiljö eller en staging-webbplats, och istället utvecklar du din webbplats medan den är live. Du vill inte att Google ska indexera din webbplats när den är under konstruktion eller i underhållsläge.

• Det finns också många som använder WordPress för att skapa privata bloggar. De vill inte att de ska indexeras av sökmotorer eftersom de är privata.

• Du kan använda WordPress för projektledning eller ett intranät. I dessa fall vill du inte att dina interna dokument ska vara offentligt tillgängliga.

Ett vanligt missförstånd är att om du inte har några länkar som pekar på din domän, kommer sökmotorer förmodligen aldrig att hitta din webbplats. Detta är inte helt sant.

Det kan till exempel finnas länkar som pekar till din webbplats eftersom domännamnet tidigare ägdes av någon annan. Det finns också tusentals sidor på internet som helt enkelt listar domännamn. Din webbplats kan dyka upp på en av dessa.

Innan vi går igenom metoderna, låt oss snabbt klargöra två viktiga termer:

• Genomsökning är när sökmotorrobotar (som Googlebot) besöker din webbplats för att upptäcka dess innehåll.
• Indexering är när de lägger till det innehållet i sin massiva sökningsdatabas så att det kan visas i sökresultaten.

Tänk på det som en bibliotekarie som läser en ny bok (crawling) och sedan lägger till den i bibliotekets katalog (indexering). Vissa av metoderna nedan stoppar crawling helt, medan andra bara förhindrar indexering. Vi kommer att göra det tydligt vilken som är vilken!

Med det sagt, låt oss titta på hur man hindrar sökmotorer från att krypa på din webbplats. Vi kommer att täcka fyra metoder:

1. Be sökmotorer att inte crawla din WordPress-webbplats
2. Be sökmotorer att inte genomsöka enskilda sidor
3. Lösenordsskydda en hel webbplats med cPanel
4. Lösenordsskydda WordPress med ett plugin
5. Vanliga frågor (FAQ)
6. Experthandledningar om genomsökning och indexering av sökmotorer

Metod 1: Be sökmotorer att inte genomsöka din WordPress-webbplats

Detta är den enklaste metoden men skyddar inte din webbplats helt från att genomsökas.

WordPress levereras med en inbyggd funktion som låter dig instruera sökmotorer att inte indexera din webbplats. Allt du behöver göra är att besöka Inställningar » Läsning och markera rutan bredvid 'Sökmotorers synlighet'.

När den här rutan är markerad lägger WordPress till den här raden i webbplatsens sidhuvud:

<meta name='robots' content='noindex,follow' />

Den här taggen talar om för sökmotorer att inte visa den här sidan i sökresultaten (noindex), men att de fortfarande kan följa länkarna på den här sidan för att upptäcka andra sidor (follow).

WordPress modifierar också din webbplats robots.txt-fil och lägger till en disallow-regel till den:

User-agent: *
Disallow: /

Dessa rader ber robotar (webbläsare eller bots) att inte indexera dina webbsidor. Det är dock helt upp till sökmotorerna att acceptera denna begäran eller ignorera den. Även om de flesta sökmotorer respekterar begäran, finns det fortfarande en chans att vissa sidor eller bilder från din webbplats kan indexeras.

Om du vill göra det omöjligt för sökmotorer att indexera eller genomsöka din webbplats, måste du lösenordsskydda din WordPress-webbplats med metod 3 eller 4.

Metod 2: Be sökmotorer att inte indexera enskilda sidor

Du kanske vill att sökmotorer ska genomsöka och indexera din webbplats, men inte inkludera ett visst inlägg eller en specifik sida i sökresultatsidorna.

Det enklaste sättet att göra det är att använda All in One SEO (AIOSEO) plugin. Det är det bästa SEO-verktyget för WordPress och litar på av över 3 miljoner företag.

För den här handledningen kommer vi att använda AIOSEO gratisversion eftersom den inkluderar verktyget SEO-analys. Det finns också en premiumversion av AIOSEO som erbjuder fler funktioner som sitemap-verktyg, omdirigeringshanterare, schema markup, robots.txt-redigerare och mer.

Det första du behöver göra är att installera och aktivera AIOSEO-pluginet på din webbplats. Du kan lära dig hur du installerar och konfigurerar pluginet genom att följa vår steg-för-steg-guide om hur man ställer in All in One SEO för WordPress.

När pluginet är inställt kan du använda det för att be sökmotorer att inte indexera vissa inlägg och sidor. Återigen, det är helt upp till sökmotorerna att acceptera denna begäran eller ignorera den.

Redigera helt enkelt inlägget eller sidan som du inte vill ska indexeras. Du behöver skrolla ner till AIOSEO-inställningar längst ner i WordPress-redigeraren och sedan klicka på fliken 'Avancerat'.

Lägg märke till att artikeln använder standardinställningarna för robotar.

För att ändra detta måste du växla omkopplaren 'Använd standardinställningar' till avstängt läge.

Nu kan du klicka på kryssrutan 'Indexera inte'. När inlägget är publicerat eller uppdaterat kommer sökmotorer att uppmanas att inte indexera det.

För att lära dig mer, se vår detaljerade AIOSEO-recension.

Metod 3: Lösenordsskydda en hel webbplats med cPanel

Om din WordPress-värdleverantör erbjuder cPanel-åtkomst för att hantera ditt värdkonto, kan du skydda hela din webbplats med cPanel.

Allt du behöver göra är att logga in på din cPanel-instrumentpanel och sedan klicka på ikonen 'Directory Privacy' i avsnittet 'Files'.

Därefter måste du hitta mappen där du installerade WordPress. Vanligtvis är det mappen public_html.

Därefter klickar du helt enkelt på knappen 'Redigera' bredvid den mappen.

Detta tar dig till en skärm där du kan aktivera lösenordsskydd.

Markera helt enkelt rutan som säger 'Lösenordsskydda den här katalogen' och klicka på knappen 'Spara'. Om du vill kan du också anpassa namnet på den skyddade katalogen.

Du kommer att se ett bekräftelsemeddelande som säger att åtkomstbehörigheterna för katalogen har ändrats.

Därefter måste du klicka på knappen 'Gå tillbaka'.

Du kommer att tas till en skärm där du kan skapa ett användarnamn och lösenord som måste användas när du får åtkomst till den här katalogen.

Du måste ange ett användarnamn och lösenord och sedan bekräfta lösenordet. Se till att notera ditt användarnamn och lösenord på en säker plats, till exempel en lösenordshanteringsapp.

När du har klickat på knappen 'Spara' har du framgångsrikt lagt till lösenordsskydd till din WordPress-webbplats.

Nu, när en användare eller sökmotor besöker din webbplats, kommer de att uppmanas att ange användarnamn och lösenord som du skapade tidigare för att visa webbplatsen.

Metod 4: Lösenordsskydda WordPress med ett plugin

Om du använder en hanterad WordPress-hosting-lösning, kanske du inte har tillgång till cPanel. I så fall kan du använda ett WordPress-plugin för att lösenordsskydda din webbplats.

Här är de två mest populära lösningarna:

1. SeedProd är den främsta pluginen för kommande och underhållsläge för WordPress, som används på över 2 miljoner webbplatser. Den levereras med fullständig åtkomstkontroll och behörighetsfunktioner som du kan använda för att dölja din webbplats från alla, inklusive sökmotorer. Vi har en steg-för-steg guide för SeedProd.
2. Password Protected är ett mycket enkelt sätt att lösenordsskydda din WordPress-webbplats med ett enda lösenord (ingen användarskapning behövs). Se vår steg-för-steg-guide om hur man lösenordsskyddar en WordPress-webbplats.

Vanliga frågor (FAQ)

Här är svar på några av de vanligaste frågorna vi får om att stoppa sökmotorer från att genomsöka WordPress-webbplatser.

1. Vad är skillnaden mellan att blockera krypning och att blockera indexering?

Att blockera genomsökning (med robots.txt) är som att sätta upp en 'tillträde förbjuden'-skylt. Det ber sökmotorernas bottar att inte titta på din webbplats innehåll. Att blockera indexering (med en noindex-tagg) talar om för sökmotorer att inte lista din webbplats i deras sökresultat, även om de har genomsökt den.

2. Räcker WordPress inbyggda alternativ 'Avskräck sökmotorer' för att dölja min webbplats?

För tillfällig utveckling är det ofta tillräckligt. Denna metod är dock bara en begäran, och vissa sökmotorer kanske inte följer den. För fullständig integritet eller för att skydda känslig information är lösenordsskydd den enda garanterade metoden.

3. Kommer lösenordsskydd av min webbplats att skada min SEO när jag är redo att lansera?

Nej, det kommer inte att skada din SEO. När din webbplats är lösenordsskyddad kan sökmotorer inte komma åt den, så den har ingen SEO-status (positiv eller negativ). När du tar bort lösenordsskyddet och tillåter indexering kommer sökmotorer att börja genomsöka och rangordna den normalt.

4. Hur kan jag kontrollera om Google redan har indexerat min webbplats?

Det enklaste sättet är att göra en sökning på webbplatsen i Google. Gå till google.com och skriv site:dindomän.com i sökfältet, ersätt 'dindomän.com' med din faktiska webbplatsadress. Om några resultat visas har din webbplats indexerats.

Experthandledningar om genomsökning och indexering av sökmotorer

Vi hoppas att den här artikeln hjälpte dig att stoppa sökmotorer från att genomsöka eller indexera din WordPress-webbplats. Du kanske vill se några andra guider relaterade till sökmotorers genomsökning och indexering:

• Hur man döljer en WordPress-sida från Google
• Hur får jag min WordPress-webbplats listad på Google? (Ny guide)
• Varför blev min WordPress-webbplats avindexerad från Google?
• Hur du ber Google att genomsöka URL:er på din WordPress-webbplats igen
• Hur du optimerar din WordPress Robots.txt för SEO
• WordPress SEO Crawl Budget-problemet och hur du åtgärdar det

Om du gillade den här artikeln, prenumerera då på vår YouTube-kanal för WordPress-videoguider. Du kan också hitta oss på Twitter och Facebook.