Robots.txt
Robots.txt är en textfil som tillåter en webbplats att ge instruktioner till webb-crawling-robotar. Den talar om för sökmotorer som Google vilka delar av din webbplats de kan och inte kan komma åt när de indexerar din webbplats. Det gör robots.txt till ett kraftfullt verktyg för SEO och kan… Läs mer »


