Duplicate-Content finden und beseitigen

Es gibt Vergehen, die der Google-Algorithmus besonders hart abstraft: Kein Kavaliersdelikt ist Duplicate Content. Damit sind doppelte Inhalte auf verschiedenen Webseiten gemeint. Identische Inhalte sind hier über mehrere URLs erreichbar, was das Suchmaschinen-Ranking negativ beeinflusst.

Wie Sie Duplicate Content ausfindig machen und beseitigen können, haben wir für Sie zusammengefasst.

Was genau ist Duplicate Content?

Werden Inhalte einer Webseite oder die komplette (Einzel-)Seite kopiert und an anderer Stelle im Internet veröffentlicht, entsteht Duplicate Content. Der selbe Content liegt also doppelt an mehreren Orten vor. Suchmaschinen können nicht zuverlässig entscheiden, welche Version des Inhalts die höchste Relevanz hat und im Suchmaschinenranking oben erscheinen soll.

Suchmaschinen möchten den User aber mit genauen Suchergebnissen beliefern und eine gute „User Experience“ übermitteln. Das bedeutet, dass „duplicate content“ bei Suchanfragen deutlich weniger angezeigt wird. Anstatt dessen ist die Suchmaschine gezwungen eine Version auszuwählen, die am passendsten erscheint. 

Häufige Ursachen für Duplicate-Content

Interner Duplicate Content

Grob definiert bedeutet interner Duplicate Content, dass sich auf einer Domain, erreichbar über verschiedene URLs, der gleiche Content befindet. Meist kommt interner DC unbewusst zustande, beispielsweise durch Beiträge und Seiten, die mehreren Kategorien zugewiesen werden können. So bilden sich verschiedene Link-Strukturen, die im Endeffekt aber alle bei dem gleichen Produkt landen. Da gerade Online-Shops viele Unterseiten und Kategorien besitzen, sind sie besonders häufig von internem DC betroffen. 

So könnte eine interne DC-Linkstruktur aussehen:

www.beispielshop.de/beispielkategorie/beispielproduktseite/beispielproduktdetailseite

www.beispielshop.de/beispielproduktdetailseite

Die zweite Linkstruktur kommt zustande, wenn die Detailansicht des Produkts auch ohne zugeordnete Kategorie unmittelbar aufrufbar ist. 

URLs können häufig zusätzliche Parameter beinhalten. Das kann an einer bestimmten Kampagnen-ID liegen. All diese Beispiel-URLs könnten zur gleichen Webseite führen:

http://www.example.com/page1

http://www.example.com/page1?source=organic

http://www.example.com/page1?campaignid=3532

Externer Duplicate Content

Es handelt sich um externen Duplicate Content, wenn die selben Inhalte auf verschiedenen Domains dargestellt werden. Externer DC kann entweder durch Eigen- oder Fremdverschulden zustande kommen. Ersteres ist beispielsweise dann der Fall, wenn ein Unternehmen mehrere Online-Projekte hat und auf seinen unterschiedlichen Domains identische Inhalte verfügbar macht.

Doch selbst, wenn Sie tunlichst darauf achten, dass so etwas nicht passiert, können Sie durch Content-Diebstahl von externem DC betroffen sein. In diesem Fall taucht Ihr Unique Content plötzlich auf einer fremden Domain auf, wodurch der Google-Algorithmus Probleme hat, das Original zu erkennen. 

Weitere Ursachen für Duplicate Content

• Druckerfreundliche Seiten: Oftmals gibt es die Möglichkeit, eine Drucker-freundliche Version von einer Website zu erstellen. Das kann jedoch zu Problemen mit Duplicate Content führen. Die folgenden URLs können nämlich zum Beispiel zur selben Seite führen: www.example.com/page1 und www.example.com/printer/page1.
• PDF-Unterseiten: Gerade bei erklärungsbedürftigen Produkten verwenden viele Webseiten-Betreiber zusätzliche PDFs, die Produktinfos beinhalten. Solche sollten aber bereits auf der Produkt-Landingpage angegeben sein. 
• Variationsseiten: Eine Vielzahl an Detailseiten eines Produkts, die sich nur in Größe oder Farbe unterscheiden.
• Vom Content-Management-System generierte Seiten: Ein CMS kann auch der Grund für Duplicate Content sein, beispielsweise durch Link-Endungen wie /index.htm/ oder /de/.
• Session-IDs: Viele Websites möchten die Sessions ihrer Besucher verfolgen. Durch Cookies und URI-Attribute kann beispielsweise in Onlineshops festgestellt werden, welche Artikel im Warenkorb des Kunden gelandet sind. URI-Attribute werden an die URL angehangen und kreieren mehrere Versionen der Seite: http://www.beispielshop.de/page1 und http://www.beispielshop.de/page1?sessionid=12455
• Kooperationen: Wenn Sie mit einem anderen Unternehmen eine Content-Kooperation eingehen, kann es schnell passieren, dass beide Parteien rechtmäßig die Inhalte auf ihren Pages publizieren. Dadurch entsteht externer Duplicate Content. 

Darum ist Duplicate Content problematisch 

Diese Probleme können doppelt indexierte Seiten auslösen:

• Suchmaschinen wissen nicht, welche Version der Seite indexiert werden soll.
• Suchmaschinen wissen nicht welche Version der Seite relevant für Suchergebnisse ist.
• Die Verleihung der Link Authority durch Suchmaschinen wird erheblich erschwert, wenn zwei verschiedene URLs zum selben Inhalt führen.
• Doppelte Inhalte lassen sich nicht mit dem Content-Marketing-Grundsatz vereinbaren, da sie nicht einzigartig sind.

Duplicate Content kann dazu führen, dass Ihre Seite ihre Position im Ranking und, damit verbunden, auch organischen Traffic verliert. Im schlimmsten Fall wertet Google Duplicate Content als Betrugsversuch, wie das Unternehmen auf seinen Support-Seiten klarstellt: 

„Gelegentlich werden Inhalte jedoch bewusst in verschiedenen Domains dupliziert, mit der Absicht, das Ranking bei Suchmaschinen zu beeinflussen oder mehr Zugriffe zu generieren. Solche betrügerischen Methoden können die Benutzerfreundlichkeit beeinträchtigen, z. B. weil Besuchern in den Suchergebnissen mehrere Male die gleichen Inhalte angezeigt werden.“

So finden Sie Duplicate-Content

Es gibt einige Tricks und Tools, die Ihnen helfen, Duplicate Content ausfindig zu machen.

Google Search Console

Die Google Search Console kann schnell und einfach Seiten finden, die Google als Duplikate einstuft. Klicken Sie dazu auf „Abdeckung“ unter der Spalte „Index“. Hier sehen Sie, welche Seiten Google indexieren kann und welche nicht – und warum. Auf dem angezeigten Diagramm klicken Sie nun auf „Ausgeschlossen“. Hier finden Sie Seiten, die absichtlich nicht indexiert wurden – von Ihnen oder von Google selbst.

Hier können Sie nun einsehen, wie Google die unterschiedlichen URLs einstuft:

Mit einem Klick auf die URL öffnet sich das URL-Prüfungstool, mit dem Sie der Sache auf den Grund gehen können.

Screaming Frog

Der Screaming Frog kann einfach heruntergeladen werden und bis zu 500 Seiten kostenlos überprüfen. Diese App verfügt über mehrere verschiedene Funktionen, sowie auch die Suche nach Duplicate Content.

Seiten Titel/Meta Descriptions

Sie können doppelte Seitentitel ganz einfach unter dem Tab „Page Titles“ oder „Meta Description“ finden. Filtern Sie dann für „Duplicate“ und los geht’s.

URLs

Auch Seiten mit der gleichen URL können beim klicken auf den „URL“ Tab und der Sortierung nach „Duplicate“ gefunden werden.

Für eine komplette Beschreibung der Funktionen von Screaming Frog können Sie sich den Artikel von SeerInteractive durchlesen. Dieser verrät noch mehr hilfreiche Funktionen und Tipps zur SEO-Analyse.

Manuelle Suche 

Zwar gibt es zahlreiche Tools, die dabei helfen, Duplicate Content zu vermeiden, doch besteht auch die Möglichkeit der manuellen Suche. Dazu können Sie prägnante Textausschnitte googeln und anhand der Ergebnisse erkennen, ob der eingespeiste Inhalt bereits auf einer Webseite vorhanden ist. Google geht an dieser Stelle jedoch präventiv vor und zeigt bei der klassischen Suche keine doppelten Inhalte an. Um diese dennoch zu sehen, müssen Sie folgenden Hinweis beachten: 

Wenn Sie auf „Suche unter Einbeziehung der übersprungenen Ergebnisse wiederholen" klicken, werden Ihnen die ungefilterten Ergebnisse angezeigt. Dadurch können Sie den manuellen Duplicate-Content-Check durchführen. 

Siteliner

Das Online-Tool Siteliner eignet sich, um sich innerhalb kurzer Zeit einen Überblick über möglichen internen Duplicate Content zu verschaffen. Dabei wird die gesamte Website nach Duplicate Content durchforstet und in anschaulichen Grafiken angezeigt:

Copyscape

Bei Copyscape können Sie externen Duplicate Content ausfindig machen. Die Bedienung könnte kaum einfacher sein: Sie fügen die gewünschte URL ein und das Tool beginnt seinen Check. Innerhalb von ein paar Sekunden haben Sie dann eine Auflistung von möglichem DC. Beim Klick auf ein Suchergebnis gelangen Sie auf die Detailansicht, wo der  gefundene Duplicate Content rot markiert ist:

So reparieren Sie Duplicate-Content

Duplicate Content ist ein Problem, das sowohl den organischen Traffic als auch auch Ihr Ranking beeinflussen kann. Es ist jedoch auch etwas, dass Sie schnell reparieren können. Die drei schnellsten Wege dieses Problem anzugehen sind:

1. Canonical Tag

Wenn Sie den canonical tag in Ihrem Code nutzen, dann können Sie Suchmaschinen konkret mitteilen welche Seite für Sie die höchste Relevanz hat. Solch ein Tag kann in dem Header einer Website platziert werden.

Dieser Tag ist die beste Möglichkeit mehrere Versionen einer Seite zu haben und trotzdem das SEO abzusichern. Wenn Sie HubSpot’s COS verwenden, dann wird dieser Code automatisch integriert. Hier ist kein manuelles Coden ist nötig.

2. 301-Redirect

Eine 301-Weiterleitung wird alle verwandten Seiten zu einer neuen URL leiten. So weisen Sie Google an, dass die Link Authority zur neuen URL übertragen werden soll und diese URL zum Ranking in den Suchergebnissen verwendet werden soll. Der 301-Redirect ist die beste Wahl, wenn Sie nicht auf mehrere Versionen Ihrer Seite angewiesen sind.

3. Meta Tags

Sie können Meta Tags verwenden, um einer Suchmaschine mitzuteilen, dass eine bestimmte Seite nicht indexiert werden soll.

<html>

<head>

<title>…</title>

<Meta Name=”Robots” Content=”noindex”>

</head>

Meta-Tags funktionieren am besten, wenn Sie die Seite veröffentlichen möchten, aber nicht bei Google indexiert. So können Nutzer die Seite sehen, doch für Google wird sie quasi unsichtbar sein.

Headerbild: HAKINMHAN / iStock / Getty Images Plus