Suchen Sie nach einer Möglichkeit, Spammer und Betrüger davon abzuhalten, Ihre WordPress-Blogbeiträge mit Hilfe von Content Scrapers zu stehlen?
Als Inhaber einer Website ist es sehr frustrierend zu sehen, dass jemand Ihre hochwertigen Inhalte ohne Erlaubnis stiehlt, sie zu Geld macht, Ihnen in Google den Rang abläuft und Ihr Publikum klaut.
In diesem Artikel erfahren Sie, was Blog-Content-Scraping ist, wie Sie Content-Scraping einschränken und verhindern können und sogar, wie Sie Content-Scraper zu Ihrem eigenen Vorteil nutzen können.
Was ist Blog Content Scraping in WordPress?
Blog-Content-Scraping bedeutet, dass Inhalte aus zahlreichen Quellen entnommen und auf einer anderen Website veröffentlicht werden. Normalerweise geschieht dies automatisch über den RSS-Feed Ihres Blogs.
Leider ist es sehr einfach und sehr häufig, dass die Inhalte Ihres WordPress-Blogs auf diese Weise gestohlen werden. Wenn Ihnen das passiert ist, dann wissen Sie, wie stressig und frustrierend das sein kann.
Manchmal werden Ihre Inhalte einfach kopiert und direkt in eine andere Website eingefügt, einschließlich Ihrer Formatierung, Bilder, Videos und mehr.
In anderen Fällen werden Ihre Inhalte mit Quellenangabe und einem Link zu Ihrer Website, aber ohne Ihre Erlaubnis veröffentlicht. Obwohl dies für Ihre Suchmaschinenoptimierung hilfreich sein kann, sollten Sie Ihre Originalinhalte nur auf Ihrer Website bereitstellen.
Warum klauen Content Scraper Inhalte?
Einige unserer Nutzer haben uns gefragt, warum Scraper Inhalte klauen. Normalerweise ist die Hauptmotivation für den Diebstahl von Inhalten, von Ihrer harten Arbeit zu profitieren:
- Provisionen für Partner: Unehrliche Affiliate-Vermarkter könnten Ihre Inhalte nutzen, um Besucher über Suchmaschinen auf ihre Website zu leiten, um ihre Nischenprodukte zu bewerben.
- Lead-Generierung: Anwälte und Immobilienmakler können jemanden dafür bezahlen, dass er Inhalte hinzufügt und Autorität in ihrer Gemeinschaft erlangt, ohne zu bemerken, dass diese Inhalte aus anderen Quellen übernommen wurden.
- Werbeeinnahmen: Blog-Besitzer können Inhalte auslesen, um ein Wissenszentrum in einer bestimmten Nische „zum Wohle der Gemeinschaft“ zu schaffen, und dann die Website mit Werbung zupflastern.
Ist es möglich, das Scraping von Inhalten vollständig zu verhindern?
In diesem Artikel zeigen wir Ihnen einige Maßnahmen, die Sie ergreifen können, um das Scraping von Inhalten zu reduzieren und zu verhindern. Aber leider gibt es keine Möglichkeit, einen entschlossenen Dieb vollständig zu stoppen.
Deshalb haben wir diesen Artikel mit einem Abschnitt darüber beendet, wie Sie sich die Vorteile von Content-Scrapern zunutze machen können. Auch wenn Sie einen Dieb nicht immer aufhalten können, so können Sie doch durch die von ihm gestohlenen Inhalte etwas Traffic und Einnahmen erzielen.
Was sollten Sie tun, wenn Sie feststellen, dass jemand Ihre Inhalte abgegriffen hat?
Da es nicht möglich ist, Scraper vollständig zu stoppen, könnten Sie eines Tages feststellen, dass jemand Inhalte verwendet, die er aus Ihrem Blog gestohlen hat. Sie fragen sich vielleicht, was Sie tun sollen, wenn das passiert.
Im Folgenden werden einige Vorgehensweisen im Umgang mit Content Scrapers vorgestellt:
- Nichts tun: Man kann viel Zeit damit verbringen, gegen Scraper zu kämpfen, daher entscheiden sich einige bekannte Blogger, nichts zu tun. Google sieht bekannte Websites bereits als Autoritäten an, aber das gilt nicht für kleinere Websites. Daher ist dieser Ansatz unserer Meinung nach nicht immer der beste.
- Herunternehmen: Sie können den Scraper kontaktieren und ihn bitten, den Inhalt herunterzunehmen. Wenn er sich weigert, können Sie eine Takedown-Notiz einreichen. Wie das geht, erfahren Sie in unserem Leitfaden zum einfachen Auffinden und Entfernen gestohlener Inhalte in WordPress.
- Profitieren Sie davon: Während wir aktiv daran arbeiten, dass Inhalte, die von WPBeginner gescrappt werden, entfernt werden, nutzen wir auch einige Techniken, um Traffic zu bekommen und Geld mit Scrapern zu verdienen. Sie können lernen, wie im Abschnitt „Nutzen Sie Content Scraper“ unten.
Werfen wir also einen Blick darauf, wie man Blog-Scraping in WordPress verhindern kann. Da es sich um einen umfassenden Leitfaden handelt, haben wir zur leichteren Navigation ein Inhaltsverzeichnis eingefügt:
1. Urheberrecht oder Markenzeichen für den Namen und das Logo Ihres Blogs
Marken- und Urheberrechtsgesetze schützen Ihre Rechte an geistigem Eigentum, Ihre Marke und Ihr Unternehmen vor vielen rechtlichen Angriffen. Dazu gehören Plagiate und die illegale Verwendung Ihres urheberrechtlich geschützten Materials oder des Namens und Logos Ihrer Marke.
Sie sollten auf Ihrer Website deutlich einen Urheberrechtshinweis anbringen. Der Inhalt Ihrer Website fällt zwar automatisch unter das Urheberrecht, aber ein entsprechender Hinweis macht Sie darauf aufmerksam, dass Ihr Inhalt urheberrechtlich geschützt ist und Ihr geschütztes Eigentum nicht für geschäftliche Zwecke genutzt werden darf.
Sie können zum Beispiel einen Copyright-Hinweis mit einem dynamischen Datum in Ihre WordPress-Fußzeile einfügen. So bleibt Ihr Copyright-Hinweis immer auf dem neuesten Stand.
Dies kann einige Nutzer davon abhalten, sie zu stehlen. Es hilft auch für den Fall, dass Sie eine Unterlassungsaufforderung schicken oder eine DCMA-Beschwerde einreichen müssen, um die gestohlenen Inhalte zu entfernen.
Sie können die Registrierung von Urheberrechten auch online beantragen. Dieses Verfahren kann kompliziert sein, aber zum Glück gibt es kostengünstige juristische Dienste, die kleinen Unternehmen und Privatpersonen helfen können.
Erfahren Sie in unserem Leitfaden, wie Sie den Namen und das Logo Ihres Blogs marken- und urheberrechtlich schützen können.
2. Erschweren Sie das Scrapen Ihres RSS-Feeds
Da das Scraping von Bloginhalten in der Regel automatisch über den RSS-Feed Ihres Blogs erfolgt, möchten wir Ihnen einige hilfreiche Änderungen vorstellen, die Sie an Ihrem Feed vornehmen können.
Fügen Sie nicht den gesamten Inhalt eines Beitrags in Ihren WordPress-RSS-Feed ein
Sie können statt des vollständigen Inhalts nur eine Zusammenfassung jedes Beitrags in Ihren RSS-Feed aufnehmen. Dazu gehören ein Auszug sowie die Metadaten des Beitrags wie Datum, Autor und Kategorie.
In der Blogger-Gemeinde wird sicherlich darüber diskutiert, ob man vollständige RSS-Feeds oder Zusammenfassungen haben sollte. Darauf wollen wir jetzt nicht eingehen, sondern nur sagen, dass einer der Vorteile von Zusammenfassungen darin besteht, dass sie das Auslesen von Inhalten verhindern helfen.
Sie können die Einstellungen ändern, indem Sie in Ihrem WordPress-Administrationsbereich auf Einstellungen “ Lesen gehen. Wählen Sie die Option „Auszug“ und klicken Sie dann auf die Schaltfläche „Änderungen speichern“.
Jetzt wird im RSS-Feed nur ein Auszug Ihres Artikels angezeigt. Wenn jemand Ihre Inhalte über Ihren RSS-Feed stiehlt, erhält er nur die Zusammenfassung und nicht den vollständigen Beitrag.
Wenn Sie die Zusammenfassung anpassen möchten, lesen Sie bitte unsere Anleitung zur Anpassung von WordPress-Auszügen.
Optimieren Sie Ihren RSS-Feed, um Scraping zu verhindern
Es gibt noch weitere Möglichkeiten, Ihren WordPress-RSS-Feed zu optimieren, um Ihre Inhalte zu schützen, mehr Backlinks zu erhalten, Ihren Webverkehr zu erhöhen und vieles mehr. Eine der besten Möglichkeiten ist, das Erscheinen von Beiträgen im RSS-Feed zu verzögern.
Wenn Sie die Veröffentlichung von Beiträgen in Ihrem RSS-Feed hinauszögern, geben Sie den Suchmaschinen Zeit, Ihre Inhalte zu crawlen und zu indizieren, bevor sie an anderer Stelle, z. B. auf Scraper-Websites, erscheinen. Die Suchmaschinen sehen dann Ihre Website als die Autorität an.
Der sicherste und einfachste Weg, dies zu tun, ist die Verwendung von WPCode, da es ein Rezept hat, das automatisch den korrekten benutzerdefinierten Code in WordPress einfügt.
Detaillierte Anweisungen finden Sie in unserer Anleitung, wie Sie das Erscheinen von Beiträgen in Ihrem WordPress-RSS-Feed verzögern können.
3. Trackbacks, Pingbacks und REST API deaktivieren
In den Anfängen des Bloggens wurden Trackbacks und Pingbacks eingeführt, damit sich Blogs gegenseitig über Links informieren können. Wenn jemand auf einen Beitrag in Ihrem Blog verlinkt, sendet seine Website automatisch einen Ping an Ihre Website.
Dieser Pingback erscheint dann in der Warteschlange für die Moderation von Kommentaren in Ihrem Blog mit einem Link zu ihrer Website. Wenn Sie ihn genehmigen, erhalten sie einen Backlink und eine Erwähnung von Ihrer Website.
Dies gibt dem Spammer einen Anreiz, Ihre Website zu scrapen und Trackbacks zu senden. Glücklicherweise können Sie Trackbacks und Pingbacks deaktivieren, um Scrapern einen Grund weniger zu geben, Ihre Inhalte zu stehlen.
Weitere Informationen finden Sie in unserem Leitfaden zur Deaktivierung von Trackbacks für alle zukünftigen Beiträge. Vielleicht möchten Sie auch erfahren , wie Sie Trackbacks und Pings für bestehende WordPress-Beiträge deaktivieren können.
WordPress REST API deaktivieren
Abgesehen von Trackbacks und Pingbacks empfehlen wir auch, die WordPress REST API zu deaktivieren, da sie es Spammern erleichtern kann, Ihre Inhalte zu scrapen.
Wir haben eine detaillierte Anleitung, wie Sie die WordPress REST API deaktivieren können.
Sie müssen lediglich das kostenlose WPCode-Plugin installieren und aktivieren und das vorgefertigte Snippet verwenden, um die REST-API zu deaktivieren.
4. Blockieren Sie den Zugriff des Scrapers auf Ihre WordPress-Website
Eine Möglichkeit, Scraper davon abzuhalten, Ihre Inhalte zu stehlen, besteht darin, ihnen den Zugang zu Ihrer Website zu verwehren. Sie können dies manuell tun, indem Sie ihre IP-Adresse blockieren, aber die meisten Nutzer werden es einfacher finden, ein Sicherheits-Plugin wie eine Web Application Firewall zu verwenden.
Blockieren Sie den Scraper mit einem Sicherheits-Plugin (empfohlen)
Das manuelle Blockieren von Scrapern ist knifflig und macht eine Menge Arbeit. Vor allem, weil viele Hacking-Versuche und Angriffe über eine Vielzahl zufälliger IP-Adressen aus der ganzen Welt durchgeführt werden. Es ist fast unmöglich, mit all diesen zufälligen IP-Adressen Schritt zu halten.
Aus diesem Grund benötigen Sie eine Web Application Firewall (WAF) wie Wordfence oder Securi. Diese fungieren als Schutzschild zwischen Ihrer Website und dem gesamten eingehenden Datenverkehr, indem sie den Datenverkehr Ihrer Website überwachen und gängige Sicherheitsbedrohungen blockieren, bevor sie Ihre WordPress-Website erreichen.
Für die WPBeginner-Website verwenden wir Sucuri. Dabei handelt es sich um einen Website-Sicherheitsdienst, der Ihre Website mithilfe einer Website-Anwendungsfirewall vor solchen Angriffen schützt.
Grundsätzlich läuft der gesamte Datenverkehr Ihrer Website über die Server des Sicherheitsdienstes, wo er auf verdächtige Aktivitäten untersucht wird. Verdächtige IP-Adressen werden automatisch daran gehindert, Ihre Website überhaupt zu erreichen. Sehen Sie, wie Sucuri uns geholfen hat, 450.000 WordPress-Angriffe in 3 Monaten zu blockieren.
Manuelles Blockieren oder Umleiten der IP-Adresse des Scrapers
Fortgeschrittene Benutzer können die IP-Adresse eines Scrapers auch manuell blockieren. Das ist mehr Arbeit, aber Sie können die Adresse des Scrapers gezielt anvisieren, sobald Sie sie kennen. Der Webentwickler Jeff Star schlägt diesen Ansatz vor, wenn er darüber schreibt, wie er mit Content-Scrapern umgeht.
Hinweis: Das Hinzufügen von Code zu Website-Dateien kann gefährlich sein. Selbst ein kleiner Fehler kann zu großen Fehlern auf Ihrer Website führen. Deshalb empfehlen wir diese Methode nur für fortgeschrittene Benutzer.
Sie können die IP-Adresse des Scrapers herausfinden, indem Sie die „Raw Access Logs“ im cPanel-Dashboard Ihres Webhosting-Kontos aufrufen. Sie müssen nach IP-Adressen mit einer ungewöhnlich hohen Anzahl von Anfragen suchen und diese aufzeichnen, indem Sie sie beispielsweise in eine separate Textdatei kopieren.
Tipp: Sie müssen sicherstellen, dass Sie sich selbst, legitime Nutzer oder Suchmaschinen nicht am Zugriff auf Ihre Website hindern. Kopieren Sie eine verdächtig aussehende IP-Adresse und verwenden Sie Online-Tools zum Nachschlagen von IP-Adressen, um mehr über sie herauszufinden.
Wenn Sie sicher sind, dass die IP-Adresse zu einem Scraper gehört, können Sie sie mit dem cPanel-Tool „IP-Blocker“ oder durch Hinzufügen des folgenden Codes in Ihrer Stamm- .htaccess-Datei blockieren:
Deny from 123.456.789
Ersetzen Sie die IP-Adresse im Code durch diejenige, die Sie blockieren möchten. Sie können mehrere IP-Adressen sperren, indem Sie sie durch Leerzeichen getrennt in dieselbe Zeile eingeben.
Detaillierte Anweisungen finden Sie in unserer Anleitung zum Blockieren von IP-Adressen in WordPress.
Anstatt die Scraper einfach zu blockieren, schlägt Jeff vor, ihnen stattdessen Dummy-RSS-Feeds zu schicken. Sie könnten Feeds voller Lorem Ipsum und lästiger Bilder erstellen oder sie sogar direkt auf ihre eigene Website zurückschicken, was eine Endlosschleife verursacht und ihren Server zum Absturz bringt.
Um sie auf einen Dummy-Feed umzuleiten, müssen Sie einen Code wie den folgenden in Ihre .htaccess-Datei einfügen:
RewriteCond %{REMOTE_ADDR} 123\.456\.789\.
RewriteRule .* http://dummyfeed.com/feed [R,L]
5. Verhindern Sie Bilddiebstahl in WordPress
Nicht nur Ihre schriftlichen Inhalte müssen Sie schützen. Sie sollten auch den Diebstahl von Bildern in WordPress verhindern.
Wie beim Text gibt es keine Möglichkeit, den Diebstahl von Bildern vollständig zu verhindern, aber es gibt viele Möglichkeiten, den Diebstahl von Bildern auf einer WordPress-Website zu unterbinden.
Sie können zum Beispiel das Hotlinking Ihrer WordPress-Bilder deaktivieren. Das bedeutet, dass, wenn jemand Ihren HTML-Inhalt scrappt, seine Bilder nicht auf seine Website geladen werden.
Außerdem werden dadurch die Serverlast und die Bandbreitennutzung reduziert, was die Geschwindigkeit und Leistung von WordPress erhöht.
Alternativ dazu können Sie Ihre Bilder mit einem Wasserzeichen versehen, das Sie als Urheber ausweist. So wird deutlich, dass der Scraper Ihre Inhalte gestohlen hat.
Diese beiden Techniken sowie weitere Möglichkeiten zum Schutz Ihrer Bilder finden Sie in unserem Leitfaden zum Schutz vor Bilddiebstahl in WordPress.
6. Verhindern Sie das manuelle Kopieren Ihrer Inhalte
Während die meisten Scraper automatische Tools verwenden, versuchen manche Content-Diebe, Ihren gesamten Inhalt oder Teile davon manuell zu kopieren.
Eine Möglichkeit, dies zu erschweren, besteht darin, sie daran zu hindern, Ihren Text zu kopieren und einzufügen. Sie können dies tun, indem Sie es ihnen erschweren, den Text auf Ihrer Website auszuwählen.
Wie Sie das manuelle Kopieren Ihrer Inhalte verhindern können, erfahren Sie in unserer Schritt-für-Schritt-Anleitung, wie Sie die Textauswahl und das Kopieren/Einfügen in WordPress verhindern können.
Allerdings sind Ihre Inhalte dadurch nicht vollständig geschützt. Denken Sie daran, dass technisch versierte Benutzer immer noch den Quellcode einsehen oder das Tool Inspect verwenden können, um alles zu kopieren, was sie wollen. Außerdem funktioniert diese Methode nicht mit allen Webbrowsern.
Denken Sie auch daran, dass nicht jeder, der Ihren Text kopiert, ein Content-Dieb ist. Manche Leute wollen zum Beispiel den Titel kopieren, um Ihren Beitrag in den sozialen Medien zu teilen.
Deshalb empfehlen wir Ihnen, diese Methode nur dann anzuwenden, wenn Sie der Meinung sind, dass sie für Ihre Website wirklich erforderlich ist.
7. Nutzen Sie die Vorteile von Content Scrapers
Wenn Ihr Blog größer wird, ist es fast unmöglich, alle Scraper zu stoppen oder zu verfolgen. Wir verschicken immer noch DMCA-Beschwerden. Wir wissen jedoch, dass es tonnenweise andere Websites gibt, die unsere Inhalte klauen, und wir können einfach nicht mehr mithalten.
Stattdessen versuchen wir, die Vorteile von Content-Scrapern zu nutzen. Es ist nicht so schlimm, wenn Sie sehen, dass Sie mit Ihren gestohlenen Inhalten Geld verdienen oder viel Traffic von der Website eines Scrapers erhalten.
Machen Sie die interne Verlinkung zur Gewohnheit, um Traffic und Backlinks von Scrapern zu gewinnen
In unserem ultimativen Leitfaden zur Suchmaschinenoptimierung empfehlen wir Ihnen, die interne Verlinkung zur Gewohnheit zu machen. Indem Sie in Ihren Blogbeiträgen Links zu Ihren anderen Inhalten setzen, können Sie die Seitenaufrufe erhöhen und die Absprungrate auf Ihrer eigenen Website verringern.
Aber es gibt noch einen zweiten Vorteil, wenn es um Scraping geht. Durch interne Links erhalten Sie wertvolle Backlinks von den Leuten, die Ihre Inhalte stehlen. Suchmaschinen wie Google verwenden Backlinks als Ranking-Signal, so dass die zusätzlichen Backlinks gut für Ihre SEO sind.
Und schließlich können Sie mit diesen internen Links das Publikum des Scrapers abwerben. Talentierte Blogger platzieren Links zu interessanten Schlüsselwörtern, was die Nutzer zum Klicken verleitet. Die Besucher der Scraper-Website werden ebenfalls auf die Links klicken, was sie direkt auf Ihre eigene Website zurückführt.
Auto-Link Keywords mit Affiliate-Links, um Geld von Scrapers zu verdienen
Wenn Sie auf Ihrer Website Geld mit Affiliate-Marketing verdienen, empfehlen wir, die automatische Verlinkung in Ihren RSS-Feeds zu aktivieren. So können Sie Ihre Einnahmen von Lesern, die Ihre Website nur über RSS-Reader lesen, maximieren.
Noch besser: Sie können damit Geld von den Websites einnehmen, die Ihre Inhalte stehlen.
Verwenden Sie einfach ein WordPress-Plugin wie ThirstyAffiliates, das zugewiesene Keywords automatisch durch Affiliate-Links ersetzt. Wie das geht, zeigen wir Ihnen in unserem Leitfaden zur automatischen Verknüpfung von Keywords mit Affiliate-Links in WordPress.
Bewerben Sie Ihre Website in Ihrer RSS-Fußzeile
Sie können das All in One SEO-Plugin verwenden, um benutzerdefinierte Elemente zu Ihrer RSS-Fußzeile hinzuzufügen.
Sie können zum Beispiel ein Banner hinzufügen, das Ihre eigenen Produkte, Dienstleistungen oder Inhalte bewirbt.
Das Beste daran ist, dass diese Banner auch auf der Website des Scrapers erscheinen.
In unserem Fall fügen wir immer einen kleinen Haftungsausschluss am Ende der Beiträge in unseren RSS-Feeds ein. Auf diese Weise erhalten wir einen Backlink zum Originalartikel von der Scraper-Website.
So können Google und andere Suchmaschinen erkennen, dass wir die Autorität sind. Es lässt auch ihre Nutzer wissen, dass die Website unsere Inhalte klaut.
Weitere Tipps finden Sie in unserem Leitfaden zur Steuerung der Fußzeile Ihres RSS-Feeds in WordPress.
Wir hoffen, dass dieses Tutorial Ihnen geholfen hat zu lernen, wie Sie das Scraping von Bloginhalten in WordPress verhindern können. Vielleicht interessieren Sie sich auch für unseren ultimativen WordPress-Sicherheitsleitfaden oder unsere Expertenauswahl der besten Analyselösungen für WordPress.
Wenn Ihnen dieser Artikel gefallen hat, dann abonnieren Sie bitte unseren YouTube-Kanal für WordPress-Videotutorials. Sie können uns auch auf Twitter und Facebook finden.
Syed Balkhi says
Hey WPBeginner readers,
Did you know you can win exciting prizes by commenting on WPBeginner?
Every month, our top blog commenters will win HUGE rewards, including premium WordPress plugin licenses and cash prizes.
You can get more details about the contest from here.
Start sharing your thoughts below to stand a chance to win!
Moinuddin Waheed says
I have many friends who used to talk to me about using RSS feed and make content on their website this way. I was not aware exactly how it worked and what benefits they incurred by doing that.
Scraping others content and showing as if they are themselves have created is an offense but in unethical world who cares. Thanks for making this guide by following which we can prevent our content from scraping and atleast can turn it to our advantage.
Jiří Vaněk says
Thank you for the article. I have a blog with over 1200 articles, and I need to start addressing that as well. Thanks for the valuable advice.
WPBeginner Support says
You’re welcome!
Admin
Toheeb Temitope says
Thanks for the post.
But can I even remove the or disable RSS feed totally or is there any special benefit in it.
Then if I want to disable RSS feed totally, how will I do it.
Thanks.
WPBeginner Support says
If you want to disable the RSS feed for your site, our guide below would be helpful:
https://www.wpbeginner.com/wp-tutorials/how-to-disable-rss-feeds-in-wordpress/
RSS feeds can be helpful to certain users of your site who use RSS feed readers to know when a site has new content.
Admin
Moinuddin Waheed says
it is good idea to know that we can even disable the RSS feed thus by preventing the potential theft and scraping of the content.
though disabling the RSS feed has some trade off as well.
is there any seo disadvantage of disabling the RSS feed?
or it has nothing to do with seo and ranking ?
WPBeginner Support says
Your RSS feed should not affect your site’s SEO.
Giovanni says
Thank you. Exactly the information I need. But do scrapers use RSS feed still in 2019?
WPBeginner Support says
They certainly can and will try to
Admin
Nergis says
We hear so much about getting site content by doing content curation. Is content scrapping the same as content curation? If not what’s the difference between the two?
WPBeginner Support says
Content scraping is taking content from other sites to place on your site without permission, content curation is normally linking to other content within content you have created
Admin
Kingsley Felix says
I am facing these issues, i had 20+ for one of our brands, then we moved elsewhere and they are back again.
WPBeginner Support says
content scrapers are a constant strugle sadly
Admin
slevin smith says
I found a realy bad content scaper from by blog, not only they steal my content, used the same name for they spam blog only separatedwith a – and all description, tag, basicly trying to be me, is used links in rssfeed with my blog, youtube channel, facebook, twitter, pinterest & google plus, which shows up on there spam blog, also found that png images shows up on the front page but jpeg dose not, but that maybe just on blogger.
astrid maria boshuisen says
I absolutely love the interlinking-idea. Will have to look at the RSS suggestion, since I forgot how that works exactly, having focussed on writing Kindle e-books for a while (talk about content scraping – zero protection there!.. hence my return to website writing) but I feel I have really got a place to start with protecting my content! Thanks!
Danni Phillips says
WOW! So much to take into consideration when starting a blog. My blog is only 2 weeks old. I have used mainly WP Beginner to set up my blog. So much good info set out in a way a newbie can follow.
I don’t know if this works for content scraping but I have installed a plugin called Copyright Proof. It disables right click so that people can not copy and paste your content.
I decided to use this plugin as it was a recommended plugin for author sites.
Eri says
your post can be copied easy , trust me.
Reo says
Disabling selection is good method but it only support famous web browser like Chrome, Safari and Opera but not IE and Edge.
Dave Coldwell says
Another great article, I work as a freelance journalist so I sell a lot of articles and it’s up to the people who buy it to decide on their policies.
But I also have a couple of blogs and affiliate websites so I think I might need to take a look at what’s happening with my content.
Absynth says
Does not giving credit where it’s due count as „content scraping“?
Because Jeff Starr wrote this same post at Perishable Press over 5 years ago:
Check the structure and terminology of your article and compare it to the original.
Just sayin.
WPBeginner Support says
We did give credit to Jeff Starr. Please read the actual article before pointing out errors.
Admin
Absynth says
Yes my apologies.. I missed that the first time through. My bad
Sieu says
i has just develop a theme for blogger and that theme need a full feed to work, i worry about scrapping content, i think if many scrapper use my content on their blogger site, which have the same content with my site, backlink point to mysite, my blog will be spam in Google ’s eye and will be deleted.
Lori says
Thanks for this amazing article with useful tips! I actually just got a „Thin Content“ penalty from Google. I asked an SEO expert for help, they told me to stop scraping content. They sent me a link of an article I wrote yesterday and thought I had stolen it from another website. The crappy thing is, they were stealing from me, not just that article, but probably a couple thousand articles! They are still in Google search, and I am not. I am being the one penalized! Turns out there are at least three websites scraping my content, not even sure what to do.
Raviraj says
Awesome article.
I sort of agree with most of the points you have discussed. Actually few of the points are pretty awesome.
But if your sole business is based on content in your website, shouldn’t we be more careful about scrapers?
I don’t think content theft would ever be good to the owner of the content.
I guess we all should think of opting some preventive measure rather than reactive measure. You can consider using ShieldSquare, a content protection solution to stop content scraping permanently.
Andre says
I know this is an old article, but the one source that is NOTORIOUS for allowing content scaping is WordPress with their „Press This“ feature. They are basically encouraging this.
Sara says
I think I may have finally found the answer to my problem. I have been thinking someone has been stealing my stories and making them into „new“ stories. I thought either someone is out to get me or I am losing my mind. I was almost losing my mind over thinking like this. Paranoid. Concerned someone was listening to my private phone calls. When really, all the information has come directly from my blog! This article may have saved my life. Literally. I am not even joking because I have been so afraid that I was going crazy and very selectively trying to talk about it with friends, to get feedback or support and being looked at like I am nuts and need to go to the psych ward for a while. This article makes what has been happening to me, make total sense. Thank you! I am so overwhelmed with relief.
John says
Thanks for some tips but a good chunk of this article is not very helpful. Most scrappers are not blind scrappers, the content is generally sucked, looked at by a human eye and then published. Which means that even by taking a minute to look at an article the spam kid is able to publish hundred of copied article a day. Backlinks problem is very easy to circumvent for content scrapper as the feed importers have pre-process options and they generally set it to delink the body. Also I do not see how turning rss into summary may help at all, the feed importers only use the rss to grab the new content link and from there they follow the skeleton of your html, which you have nicely set with proper image, title, link etc tags for the convenience of Google and very easily extract the content.
Obviously blocking the IP is a very good solution. DMCAs are generally a waste of time; they take time to formulate and stupid hosts take time to respond (since spammers choose these host specifically because they’re lax on spam-like activity). Of all, Google is the most frustrating; no matter how many reports you file with them they never take action on any of the stolen content on which they’re showing ads and still rank the crap-spam site well on the search results despite it being easy for their systems to detect copies
Evie says
John, I couldn’t agree with you more. Google got mad at me stating that I was the person stealing my own content. This person stole my content and put it on blogger. The nerve. There needs to be a solution for this. At this point, I just block!
WPBeginner Staff says
Then perhaps the best way for you is to change the licensing and aggressively send take down notices to content scrappers. Meanwhile keep focusing on creating quality content.
Philipp D says
Hi there,
I just stumbled upon your article while looking for answers to some of my concerns.
I, together with some friends, launched a website about DIY in Italy, few months ago, which is working unexpectedly well, rankings are high, lots of traffic, etc. Still, PR is yet 0. Our content has a Creative Commons 4.0 license, because we realyl believe it’s a good way to share contents. HOWEVER:
Some time ago we noticed a PR4 site with lots of traffic copying our top articles, linking back to our homepage (which is not what you’re supposed to do with a CC license, but it’s still ok). The problems are these:
1. there’s a whole lot of smaller sites scraping their (our) content and linking back to them instead of our site
2. the PR4 site and some of the smaller sites somehow rank better than our site
3. there’s strong suggestions that a Google penalty to OUR content has taken place, as it has lower PR than most of the other pages (which have been online for a long time).
We’re in contact with the PR4 site and it’s ok for us if they use our content, as long as they link back to the original article (that’s the whole point of the CC license), BUT we’re trying to find a solution to avoid getting Google penalties: would rel canonical do the job? What is your opinion? Whould we change our license and be more aggressive towards content copying?
Thank you!
WPBeginner Support says
Philipp, If you have not already done so, then you should create a webmaster tools account for your site and submit your sitemap. It helps you figure out if there is a problem with your site, how your site is doing on search, and you can use lots of other tools. It also helps Google better understand where some content first appeared.
We don’t think changing the license will stop content scrappers from copying your content.
Admin
Philipp says
hi! Yes, we set up a webmaster tools account, linked the site to our google+ page, and most of the authors to their google+ profiles using publisher and author tags. authorship seems to be working fine in search snippets, but so far it doesn’t seem to make much difference in case of scraped content. Higher PR pages scraping our content are still on top…
Garratt says
One of the best ways not to be effected by this is to ping effectively. Pinging, and manually submitting pages to Google and Bing gets spiders on your site FAST. They index the pages ASAP, then when they find duplicate content on other sites consider you as the authority.
I do however have the sneaky suspicion this might have to do with PageRank though… But Matt Cutts (webspam team @ Google) has advocated using pinger’s on this very topic. I’m just not sure how much I can trust what he says though.
To add more services, go to Settings -> Writing Settings -> Update Services -> Open the „Update services“ link in a new tab and copy all the update services. Back in WordPress paste them in the ping list and click save.
Open account in Bing Webmaster tools for manual URL submission for fast indexing.
Chris Backe says
I recently discovered a guy that can taking an RSS feed from my blog – bear in mind that my blog is a summary feed with Yoast’s ‚This post was found first on‘ line. I sent the guy a thank-you message, basically telling him that he’s giving me backlinks, AND telling Google he’s copying my website (since they can look at the timestamps to see which was published first).
Checked out 2 days later, and all my stuff was mysteriously gone…
Editorial Staff says
Hah yup. Most of these scammers aren’t very bright lol. Glad you got it fixed.
-Syed
Admin
Ian says
Has anyone seen or used this WP anti scraping plugin http://wordpress.org/plugins/wordpress-data-guards/ it sounds solid but very few people have downloaded it ? I’m not technical – so would appreciate opinions on its worth or effect on SEO
Editorial Staff says
You can definitely use that plugin. It blocks right clicks, keyboard shortcuts for copying, ip blacklist etc. Those all prevent manual scraping however most content scrapers use automatic tools. So none of those would be super helpful.
Admin
Ian says
Thanks for your reply – the pro version states it protects you from bot attacks so I assume that means scrapper bots? the price puts me off installing it on all my sites, but I may use it on one just to see how well it works
Mark Conger says
This is one of, if not the best, „beginner“ article I’ve ever come across on the web.
After reading it I feel like I just had a meeting with a security consultant.
I’m applying these techniques right frickin now!
Thanks. I’m now a follower of this site.
Editorial Staff says
Thanks for the very kind words Mark
Admin
Neil Ferree says
Its only happened to me a few times. Some blogger from outside the USA has taken my post word-for-word and posted to their site as if it were their own. Since it was just a single post with my YT video embedded, I didn’t sweat the details too much, since my channel CTR saw a nice spike it visits anyway.
Edward B. Rockower, Ph.D. says
Just want to say thanks, thanks, and thanks!
I just today discovered your website, only read 3 articles so far (including this one)… but I’m extremely impressed.
I’ve only been blogging now for 5 weeks, but finding it addictive, especially seeing the growing traffic and user engagement as a result of my efforts. Seeing 100 visitors to my blog site in one day, and being able to see who’s referring them, motivates me to learn all I can to increase the social media marketing and interactions with new visitors.
Best regards,
@earthlingEd
Debbie Gilbert says
I love your Website and was floored to read about content scraping! Is there and way to create a watermark somehow which is not distracting to your readers but to the scraper’s site is dead obvious?
Editorial Staff says
You can do hotlink protection among other things to disable images on domains that are not whitelisted.
Admin
Usman says
Is it legal to post the complete article from another website and writing source website name at bottom of article?
Editorial Staff says
No.
Admin
Usman says
And if we give direct link to article at bottom?
Dan says
It is still not good unless the owner approves it
Abdul Karim says
Is there any way / plugin
someone is copy my fashion blog picture and post it at their forum
but when i click on image at that forum . its open in new window
i want any plugin or script that if he copy my images when someone click on that images, then that person redirect to my blog post related to that images ?
any plugin yet ? link with post images ?
Editorial Staff says
None that we know of.
Admin
Abdul Karim says
I’ll done it just change
when someone upload any picture on right side it shows url link
default setting is media file
u have to change it in attachment url
then done!
when someone copy your blog images .that give backlink to your posted page
Anton says
If someone takes an article written in English and translate it, using their heads and not google translate, into some other language, lets say because the majority of the people in the country of that other language doesn’t understand English. Would you point them out as scrapers anyway? Or what is your opinion on that?
For me personally I don’t find it extremely problematic, of course I believe the „author“ should link bank to the original article while clarifying that his article is translated.
Editorial Staff says
Unless you have written permission of the author, then it is technically scraping.
Admin
Greg says
This is a tremendous article. After reading it I hope you do not see me as a content scraper. I have used excepts from you (curated), I always have the ‚Read the Full Article“ and have your page link there and also many of my posts are tweeted and I include your twitter account in there. If you do not want this please let me know and I will gladly remove it. I am very appreciative of your work and want to share it with my visitors. it is not intended to steal your visitors but to be able to give good value to mine and send them on to you for more.
Editorial Staff says
Greg, as long as you only display an excerpt and send the user over to our site to read the full article, then it is not scraping. As you said, it is curation. Tons of popular sites do that (i.e reddit, digg, etc).
Admin
ryan says
My site has a lot of original security articles and a couple have been scraped. The site that scraped me was in yahoo! News with my article and had people commenting on it. I dealt with the issue by commenting and saying I was the original author and replied to a few comments. I had internal links, that’s how I found out so quickly. A trick I am going to write about is getting people who come from a scrapers site and have a banner or image appear telling them what happened. The never ending request suggestion sounds illegal under the computer fraud and abuse act. I am not a lawyer. I just write about security, so I have to know the security laws for computers.
I Do not like it that your form didn’t take my companies email as a valid email.
Editorial Staff says
Sorry Ryan that our form didn’t approve your business email. Not sure what happened there, but it is meant to approve all valid emails.
Admin
andre says
how to use this code, can you provide more details or tutorials, thank you
RewriteCond %{REMOTE_ADDR} 123\.456\.789\.
RewriteRule .* http://dummyfeed.com/feed [R,L]
Editorial Staff says
You would have to edit the .htaccess file.
Admin
Ali Rashid says
nice and informative writeup i like your approach of taking advantage of the scrappers however blocking an ip may not always work; a serious scrapper would often use a list of anonymous or free proxies in that case blacklisting one ip might not be an effective solution as the scrapper would change it often. One solution is to write a small script that will detect any abnormal traffic from a given ip, say more than 20 hits/sec and challenge it with a captcha if no reply, put the ip in a temp blacklist for about 30 mins. you can hardened it with another javascript that detects mouse, touch or keyboard movement after few hits, if no keyboard, mouse, or touch is detected you can again put the scrapper in the temp blacklist, worked like a charm for us.
Arihant says
Your solutions are good enough for content scrapers.
But what if people are manually coping and pasting content into their Facebook pages.
We have implemented tynt but they remove the link back to original article, any ideas on how you can handle this kind of situation.
Editorial Staff says
If people really want to steal your content, there is nothing you can do about it. It’s a sad truth, but it’s a truth.
Admin
Garratt says
Actually there’s a plugin created by IMWealth Builders, probably the only one of their plugins I like, the rest are pretty trashy and involve scraping Ecommerce sites (CB,Azon,CJ etc) for affiliate commisions.
It’s called „Covert Copy Traffic“ is actually allows you to set any text pre or post a set number of words. So say I set it to post „This content was taken from xxxxxxx.com“ after 18 words. Then anytime someone copied/paste more than 18 words from the website it would add that text at the bottom, 17 words or less it would do nothing.
These were just example settings. Pretty useful plugin, works a charm. I’ve tried just about every way I could think of to bypass the text insertion but it seems to be impossible. Plugin is to stronk.
Editorial Staff says
Sounds like you are describing this tutorial here:
https://www.wpbeginner.com/wp-tutorials/how-to-add-a-read-more-link-to-copied-text-in-wordpress/
Garratt says
Yeah, that’s right. You can just use that script to say „Content came from yourwebsite.com“ rather than „Read More“.
Jennae Barker says
Is this true that their amazon etc programs are scrapers – if that is the case – I have made whopper of mistake on a purchase from them – luckily, I have not used it yet.
Garratt says
Yeah Jennae, it’s legal in terms of Amazon allow you to copy content from their pages. It helps there sales, affiliates are the reason Amazon is Amazon.
However Google and other search engines (that matter) just consider it a „thin affiliate site“ as in no original content. Therefore they don’t rank unless there’s a certain percentage of original content on the site as well.
A scraper, is nothing more than a spider/crawler generally it runs in socket mode, however some run in browser.
Just because it’s labeled as a scraper doesn’t make it bad per say, I use scrapers and spiders regularly to check my site for unnatural links, I check others for competition analysis, and keyword research and a variety of other tasks that do not harm anyone, but benefit me.
However I don’t like or condone anyone scraping for the purpose of copyright infringement. Which is what this discussion is really about.
Google uses the spider „Google Bot“ to index the web along with 100’s of other search engines, there’s thousands, hundreds of thousands of spiders crawling the web for a variety of purposes. Google also scrapes websites to „cache“ them. As do a lot of important services we need such as the historical web archives.
Troy says
I’m about to begin aggressively searching for sites that are copying my content and have the content removed. I no it is impacting how my site ranks so I have to do something about it. Any idea how much has to be copied before you can deliver DMCA notices? Is a paragraph in an article enough to legally be able to call it plagiarized?
Editorial Staff says
We are not legal experts here, so we refrain from giving legal advice on this site.
Admin
Dallas says
You fail to mention that any self respecting autoblogger will strip out links and insert their own affiliate links rather than using your content as it comes, so your approach to getting links from them will usually fail.
Editorial Staff says
Is there such thing as a self respecting autoblogger? If they have any self respect, then they will write original content.
Admin
David Halver says
Agreed! There’s a very special „Hot Place“ near the center of the Earth for Spammers, Scrapers and Auto-Bloggers…
VeryCreative says
I think that the best idea is to include affiliate links.
After the last Pinguin update, my website was penalized. I started to analyze it and I’ve discovered that many other sites copied my content. I don’t know why, but those websites rank better than me in search engines, using my content.
Editorial Staff says
Not just affiliate links. Include as many internal links. Because if those sites are linking back to your other pages, then Google will KNOW that you are the authority site.
Admin
Bayer says
Hi wpbeginner.com Team. I really appreciate this article, but have one question in regards to having internal links in your pages/posts.
I suppose you mean ‚absolute‘ links?? Otherwise this may not work in your favour, once the content has been scraped… Well, so far I have always been going along with relative links, as you do I suppose. Which is the best method? Cheers!
Editorial Staff says
We always use absolute links because it keeps thing working smooth.
Gautam Doddamani says
first of all your tutorial is just fantastic..hats off! just one doubt how to know if a site is a scraper site? i used your method and found out that Google Webmaster Tools is reporting that there are 262 links to my site and there are many sites which dont know of…thus i am in a confusion….how to check if a site is a scraper site or an authoritative site?? is der a tool available for that? thanks in advance!
Editorial Staff says
Trust me, no authority site will ever STEAL your article word-for-word.
Admin
Gautam Doddamani says
yes that is true…but what if i dont want to find my article on those scraping sites…i know my article is there as it is being reported by GWT and i just want to block that IP address by inserting those rewritecond rules in the htaccess file…i dont want to waste my time searching those bad sites for my article or requesting them to takedown my article…
Nathan says
Thank you for this article – and for your site in general!. I like this so much that I had wondered how I would keep track of this resource. And now I see the subscriptions options below. What a way to get a comment!
Yeasin says
Preventing content scraping is almost impossible. I don’t think content scrapper does hurt me any way. They are just voting me that i have got some high quality contents. Google is smart enough to detect the original publishers. No-one should worry.
mrwindowsx says
really informative, if you use cloudflare, there is new apps called ScrapeShield, and you can easily protect and track/monitor your site contents free.
wpbeginner says
@mrwindowsx Oh didn’t know that. Thanks for pointing it out.
Gautam Doddamani says
wow dats great man…do you use cloudflare? i just wanted your review because i have never used that cdn service..i know it is free and all but i think my site load time is already gr8 that i didnt require it…now that scrapeshield is there i think i will definitely check it out…what all other apps will we get if we start using cloudflare?? thanks
Matt says
Hello,
IMO @cloudflare really is awesome. I have two sites on it (both mine and my wife’s blog) and it really is incredibly fast, but that’s not to mention all of the security, traffic analysis, app support (automatic app installs) that they provide.
I know that all hosting setups are different, but I have both of our sites running on the Media Temple (gs)Grid Service. I can honestly say that our sites run faster now than they did when I was using W3 Total Cache and Amazon S3 as my CDN. Actually, I still use W3TC on my site to minimize & cache my content, but I use CloudFlare for CDN, DNS, and security services.
Highly recommend… Actually, I would really appreciate it if someone at WPBeginner would give us their in-depth, experienced opinion of the CloudFlare services. To me, they have been awesome!
shivabeach says
You can also get a plugin whose name eludes me at this time that does the google search for you. It also adds a code into your RSS that the app searches for
MuhammadWaqas says
Great post, I know there are many autoblogs fetching my content. Although after penguin update my site is getting 3 times more traffic from google than before. But after reading about many disasters or original content generators I’m worried about future penalties by google.
Its my experience that usually google respect high PR sites with good authority backlinks. but site is just one year old and PR is less than 5.
I try to contact scrappers but most of them don’t have contact forms. so I think I’ll try that htaccess method to blog the scrappers ip addresses. But only the other hand some of them can use feedburner.
Garratt says
Personally I don’t bother with RSS as most users don’t use it. Instead supply a newsletter feed. It does the same trick + you get emails to market to (if done correctly). Majority of people are more likely to subscribe to a blog rather than bookmark a RSS in my experience. So it’s better to turn off RSS. You can do this using WordPress SEO by Yoast, and various other plugins.
Then if you also implement above mentioned strategies, you should be good. Remove all unnecessary headers RSD WLM etc.
There will be a couple still able to scrape effectively but those tricks will diminish a great deal of them.