Magazin Duplicate Content finden und vermeiden

Duplicate Content (auch „duplizierter Content“ oder „doppelter Content“) bezeichnet sehr ähnliche oder gar identische Inhalte, die im Internet zu finden sind. Gibt es auf zwei unterschiedlichen URLs also deckungsgleiche Textabschnitte, ist von Duplicate Content die Rede. Dabei müssen nicht die gesamten Texte 1:1 übernommen werden – auch einzelne identische Passagen reichen vollkommen aus.

Beim Duplicate Content ist zu unterscheiden, ob die Inhalte auf zwei unabhängigen Websites oder innerhalb einer Domain vorhanden sind.

• Gibt es innerhalb ein und der selben Website Dopplungen, gilt dies als interner Duplicate Content. Das betrifft nicht nur gleiche Inhalte im Main Content oder Fließtext – auch gleichbleibende Texte in der Seitenleiste einer jeden URL erhöhen die Gefahr von Duplikationen.
• Sind die doppelten Inhalte hingegen auf zwei unabhängigen Domains zu finden, handelt es sich um externen Duplicate Content. Ein Beispiel hierfür ist das Abschreiben von Inhalten anderer Websites. Haben Sie einen Artikel zum Thema „Kölner Dom“ geschrieben und dabei beispielsweise Inhalte von Wikipedia 1:1 kopiert, haben Sie auf Ihrer Website externen Duplicate Content geschaffen.

Nicht jeder doppelte Inhalt gilt automatisch als Duplicate Content, deswegen ist es wichtig zu wissen, ab wann Google davon ausgeht. Haben Sie eine Website in verschiedenen Sprachversionen, handelt es sich nicht um Duplicate Content. Auch Zitate oder zitierte Textpassagen, die Sie 1:1 übernehmen, werden nicht als duplizierter Inhalt gewertet – vorausgesetzt, Sie haben diese im Quellcode semantisch entsprechend ausgezeichnet.

Vermeiden Sie darüber hinaus identische Metadaten (Title und Description) auf Ihren Webseiten – unterschiedliche Inhalte sollten schließlich auch individuelle Zusammenfassungen erhalten. Ähnlich sieht es bei gleichen Inhalten auf mehreren URLs einer Domain oder beim Content auf Subdomains aus. Hier reichen schon größere Teile gleichen Inhalts aus, um als Duplikate zu gelten – ohne komplett identisch zu sein. 

Der Grund, weshalb wir das Kopieren aus unserer Sichtweise als erfahrene SEO-Agentur aus Köln (abseits von rechtlichen Gründen) nicht empfehlen: Suchmaschinen legen großen Wert auf Einzigartigkeit (Uniqueness) und eine positive Nutzererfahrung. Hierzu gehören, neben vielen weiteren Faktoren, auch einmalige Inhalte mit Mehrwert. 

Zur Einstufung nutzt Google spezifische Signale für die Wertigkeit für User. Dazu gehören beispielsweise das Alter der Inhalte, die Qualität des Contents (umfassender/qualitativ hochwertiger Text), die Relevanz des Inhaltes für die Suchphrase und noch viele weitere Faktoren. Haben nun zwei oder mehr Webseiten die gleichen Inhalte, orientieren sich die Suchmaschinen an genau diesen Signalen, um schließlich die beste und vertrauenswürdigste Quelle höher für ein Keyword ranken zu lassen.

Grundsätzlich versucht Google, Nutzer:innen nur Seiten mit unterschiedlichen Informationen anzuzeigen, damit diese relevante Antworten auf ihre Suchanfrage finden. Wenn Google duplizierte Inhalte erkennt, wird die Kopie als Konsequenz aus den Suchergebnissen entfernt, um die Nutzer:innen nicht mit doppelten Inhalt langweilen.

Google geht in den seltensten Fällen davon aus, dass Inhalte böswillig oder mit der Absicht dupliziert werden, das Ranking zu manipulieren oder Nutzer:innen zu täuschen. Zum Beispiel zählen laut Google vor allem Diskussionsforen oder Druckversionen von Websites zu den nicht böswillig duplizierten Inhalten. Werden Inhalte jedoch mit einer manipulativen Absichten kopiert (bekannt als „Scraping“ oder „Suchmaschinen-Spam“), werden die betroffenen Websites entweder niedriger eingestuft oder sogar vollständig aus dem Google-Index entfernt.

Suchmaschinen wie Google setzen zur Erkennung von doppelten Inhalten einen speziellen Algorithmus ein. Wie Google hier genau vorgeht, ist ein Betriebsgeheimnis. Möglich ist jedoch ein Vorgehen nach dem Shingle Algorithmus, der oft zur Identifizierung von Duplicate Content genutzt wird. Haben Sie einen kompletten Text vor sich, wird dieser in einzelne Shingles (Schindeln) eingeteilt und verglichen. Der Algorithmus vergleicht also einzelne Wortpakete miteinander – in der Praxis bieten sich Level-3-Shingles an, die aus 3 Worten bestehen. Hier ein Beispiel:

Bei einem Vergleich beider Sätze wird deutlich, dass zwei der vier Shingles identisch sind (Schnittmenge). Die Vereinigungsmenge beträgt vier (Anzahl der Shingles, die entweder zu A oder B gehören). Das bedeutet, der Satz gleicht sich zu 50 %.

Da ein hoher Prozentsatz der User über die organische Suche und somit über die Suchmaschine kommt, bedeutet dies oftmals einen großen Einbruch der Besuchszahlen und somit letzten Endes auch Einbußen in Sachen Umsatz.

Anders sieht es mit internem Duplicate Content aus, hier unterscheiden sich die Folgen je nach Umfang der doppelten Inhalte. Bei nahezu identischen Inhalten auf mehreren Seiten können diese als Spam deklariert werden oder sich gegenseitig im Ranking behindern. Das ist insbesondere der Fall, wenn die Inhalte in einzelnen Begriffen variieren, aber sonst identisch bleiben.

Hier gibt es verschiedene Möglichkeiten – je nachdem, ob Sie vor der Content-Erstellung und -Veröffentlichung aktiv werden oder nachträglich eine Überprüfung starten. Wenn Sie einen neuen Text verfasst haben und diesen mit einem bereits bestehenden Artikel – der als Quelle diente – auf die Einzigartigkeit vergleichen wollen, lesen Sie beide Texte noch einmal und prüfen Sie kritisch, ob Sie tatsächlich einen inhaltlich anderen Schwerpunkt gesetzt haben. Hier ist das Vier-Augen-Prinzip durchaus sinnvoll: Lassen Sie im Zweifel eine zweite Person vergleichend über die Inhalte lesen.

Ein gutes Tool, um Ihre Website nach internem Duplicate Content zu durchsuchen, ist Siteliner: Hier können Sie Ihre Website in gewissem Rahmen sogar kostenlos checken. So erfahren Sie nicht nur den aktuellen Duplicate Content Anteil, sondern erhalten auch einen Performance-Vergleich mit anderen gescannten Sites. Hier werden beispielsweise Ladezeiten, Wörter pro Seite, interne und externe Links sowie ähnlicher Content aufgezeigt.

Auch über die Google-Suche können Sie ganz leicht Duplikate ermitteln. Hierzu geben Sie einfach den zu testenden Textabschnitt in Anführungszeichen in die Suchleiste ein. Erscheint in der Ergebnisliste nur ein Suchergebnis, können Sie beruhigt sein. Gibt es allerdings den exakt gleichen Textteil an anderer, externer Stelle, hat jemand ungefragt von Ihnen dupliziert. Jetzt sollten Sie Gegenmaßnahmen ergreifen. Dabei lohnt es sich übrigens auch, auf „Suche unter Einbeziehung der übersprungenen Ergebnisse wiederholen“ zu klicken. So wird keine Kopie übersehen, die Google in den Suchergebnissen listet.

Arbeiten Sie gerne mit Google-Tools, dann nutzen Sie doch auch den Google Alert. Hier können Sie einen Alert für einzelne Textabschnitte erstellen – selbstverständlich müssen Sie die eigene Domain vorher ausschließen. Sobald Google die Inhalte an anderer Stelle im Netz findet, erhalten Sie eine Benachrichtigung. 

Wie sich externer Duplicate Content vermeiden lässt, ist schnell erklärt: Übernehmen Sie keine Inhalte von fremden Websites! Seien Sie kreativ und schreiben Ihre eigenen SEO-Inhalte. Zudem sollten Sie Ihre Website regelmäßig auf externe doppelte Inhalte überprüfen. Doch wie sieht es jetzt mit dem internen Duplicate Content aus? Lässt sich dieser (teilweise) nicht vermeiden, können Sie sich folgende Methoden zu Hilfe nehmen.

Besonders Online Shops haben häufig Probleme mit Duplicate Content. Manche Artikel gleichen sich, daher werden Beschreibungen nicht groß abgeändert und ohne besondere Vorkehrungen unter mehreren URLs veröffentlicht – ein Fehler. Hier dient das Canonical-Tag als nützliche Hilfe. Das Tag dient dazu, Duplicate Content entsprechend auszuzeichnen – dabei kann dieses auf einer Domain oder domainübergreifend als Verweis agieren.

Möchten Sie Duplicate Content entsprechend mit dem Canonical-Tag auszeichnen, fügen Sie dieses als Meta-Tag im Headerbereich des Quelltextes innerhalb eines Link-Elements ein. Nutzen Sie hierzu das Attribut rel=“canonical“. Das Tag verweist nun auf die Originalquelle des Contents, die als „kanonische“ Seite bezeichnet wird.

Crawler der Suchmaschinen erkennen dieses Tag und stufen den entsprechenden Inhalt nicht als Duplicate Content ein. Zudem rankt die Originalquelle in der SERP – es entsteht keine Ranking-Konkurrenz untereinander.

Das Canonical-Tag ist zwar ein guter Kompromiss für doppelte Inhalte, jedoch gehört in erster Linie das Erstellen von hochwertigem Unique Content zu den wichtigen OnPage-Arbeiten der Suchmaschinen-Optimierung. Im besten Fall publizieren Sie erst gar keine doppelten Inhalte. Bei einem Online Shop ist es natürlich unrealistisch, für jedes Produkt einen eigenen Inhalt auf hohem Niveau zu erstellen. Konzentrieren Sie sich hier auf solche Produkte, die besonders relevant für Sie sind.

Müssen Inhalte aus bestimmten Gründen umziehen, wie es beispielsweise bei einem Relaunch der Fall ist, denken Sie an die Weiterleitungen. Für eine dauerhafte Weiterleitung nutzen Sie den Statuscode 301 – für temporäre Weiterleitungen den Statuscode 302. Bedenken Sie bei der Wahl der passenden Weiterleitung: In der Regel sind Weiterleitungen permanenter Natur.

Duplicate Content ist nicht immer einfach zu finden und kann auch an unauffälligeren Stellen auftreten. Womöglich haben Sie auf Ihrer Site doppelte Textinhalte und wissen nichts davon. Hier zeigen wir Ihnen, an welchen Stellen sich Duplicate Content besonders gerne versteckt.

Besitzen Sie zwei oder mehrere Domains, die identische Inhalte anbieten? Dann befinden Sie sich in einem Konkurrenzkampf mit Ihrem eigenen Duplicate Content.

Lösung: Die einfachste Lösung ist es, die Inhalte nur auf einer Domain verfügbar zu machen, und alle anderen Domains per Weiterleitung mit dem Statuscode 301 auf diese weiterzuleiten. Wenn andere Gründe hiergegen sprechen, darf trotzdem nur eine Version für Suchmaschinen erreichbar sein. Alle anderen Domains müssen domainweit das folgende Tag im Header tragen:

Die einzige Ausnahme hierzu stellen länderspezifische Domains dar (siehe nachfolgender Punkt).

Aufgrund unterschiedlicher Portokosten und Steuersätze ist es für Shops teilweise sinnvoll, eigene Domains oder Verzeichnisse für unterschiedliche Länder zu unterhalten. Übersetzungen werden, wie Sie oben schon erfahren haben, nicht als Duplicate Content gewertet. Anders sieht es bei Ländern mit der selben Landessprache aus. Gleicher deutscher Content, wie beispielsweise auf Domains in der Schweiz, Deutschland und Österreich, beinhalten in diesem Fall Duplicate Content.

Lösung: Google selbst empfiehlt in dieser Situation, die Inhalte für jede Version mit dem Tag „hreflang“ auszuzeichnen. Hier ist es wichtig, dass die Seiten in der gleichen Sprachen aufeinander verweisen.

Viele Betreiber:innen eines Online Shops nutzen zum Verkauf nicht nur die eigene Domain, sondern verkaufen auch auf eBay, Amazon Marketplace oder ähnlichen Portalen. Werden hier die Produktbeschreibungen dupliziert, haben Sie Duplicate Content geschaffen. Zudem arbeiten zahlreiche Shops mit Produkt- und Preisvergleichsseiten zusammen, denen sie ebenfalls neue Daten über einen Feed zukommen lassen. Vielfach sind diese Inhalte identisch auf der eigenen Domain zu finden.

Lösung: In diesem Fall lässt es sich leider nicht vermeiden: Sie müssen auf der eigenen Domain individuellen Inhalt erstellen. Gerade, wenn der Text zuerst auf dem großen Portal veröffentlicht und von Google indexiert wurde, sind Ihre Chancen extrem gering, mit dem identischen Text Rankings zu erzielen.

Nicht nur auf unterschiedlichen Portalen finden sich gleiche (Produkt)Texte, sondern oftmals auch auf der eigenen Domain. Diese Art von Duplicate Content ist vornehmlich in einigen Shops zu finden: Ein Artikel passt zu mehreren Kategorien, daher ist er in jeder Kategorie auffindbar und hat auch verschiedene URLs. Alternativ gibt es zwei ähnliche Artikel in einer Kategorie, die sich nur gering unterscheiden – auch hier werden oft identische Texte genutzt.

Lösung: Bestimmen Sie, auf welcher URL das Produkt bei Google gefunden werden soll. Alle anderen Versionen erhalten das oben vorgestellte Canonical-Tag, um auf das „Original-Produkt“ zu verweisen.

Bei Relaunchs oder für Tests wird oft auf einer anderen (Sub-)Domain eine Kopie der kompletten Website erstellt. Machen Sie diese für Crawler der Suchmaschinen erreichbar, werden die Inhalte doppelt indexiert. Fatalerweise beinhaltet die Testdomain häufig neue Inhalte zuerst – ein Zeichen für Google, die Testdomain und nicht die richtige Version ranken zu lassen.

Lösung: Eine Testdomain sollte niemals für Außenstehende erreichbar sein! Aus diesem Grund müssen Sie einen Passwortschutz über die .htaccess einstellen.

Je nach Einstellung kann es sein, dass eine Domain sowohl unter www.website-xy.de als auch unter website-xy.de erreichbar ist.

Lösung: Auch hier müssen Einstellungen in der .htaccess-Datei vorgenommen werden. Hier können Sie einstellen, dass die eine Version auf die identische URL der anderen URL weiterleitet (Statuscode 301). Die Weiterleitung sähe dann folgendermaßen aus:

RewriteEngine On
Options +SymLinksIfOwnerMatch
RewriteCond %{HTTP_HOST} ^website-xy.de
RewriteRule (.*) www.website-xy.de/$1 [R=301,L]

Auch bei der Verwendung sogenannter Trailing Slashes kann es zu Duplicate Content kommen. Mit dem Trailing Slash ist der Schrägstrich am Ende einer URL gemeint, der dadurch ein Verzeichnis kennzeichnet. Zum Beispiel:

www.website-xy.de/verzeichnis1/verzeichnis2/

Fehlt der abschließende Slash hingegen, versteht der Server die URL als eine Datei anstelle eines Verzeichnisses.

www.website-xy.de/verzeichnis1/verzeichnis2

Der Server stellt fest, dass diese Datei nicht existiert, findet aber heraus, dass es ein Verzeichnis mit diesem Namen gibt und lädt dieses, genauso wie die obere URL. So ist ein und dieselbe Seite unter beiden URLs zu erreichen – und das kann zu Duplicate Content führen, sobald ein Link auf diese „falsche“ der beiden URLs verweist.

Lösung: Auch hier besteht die Lösung, wie im vorherigen Fall, darin, eine Weiterleitung in der .htaccess anzulegen (Statuscode 301).

RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^(.*)/$ /$1 [R=301,L]

Durch Filterungen sowie Sortier- und Darstellungsoptionen entstehen URLs, die Parameter (Beispiel: ?sort=highest, ?mode=list) beinhalten. Sind diese Inhalte für Google sicht- und somit indexierbar, handelt es sich um Duplicate Content.

Lösung: Je nach Domain müssen Sie andere Schritte ergreifen, um den Duplicate Content zu eliminieren. Meist werden die parametrisierten URLs jedoch mit einem Canonical-Tag oder mit einem „noindex“-Zusatz im Header des Dokuments ausgezeichnet.