Durch eine Logfile-Analyse können Sie hilfreiche Einblicke in die Nutzung Ihres Servers beziehungsweise der dort platzierten Website erhalten. Der Blick in die Logfiles ist eine wichtige Ergänzung zu SEO-Tools, Google Analytics und der Google Search Console. Wie Sie dabei am besten vorgehen, verraten wir Ihnen hier.
Was ist ein Logfile?
Bei einem Logfile handelt es sich um eine Datei, in der Prozesse, die in einem Computer- oder Netzwerksystem ablaufen, festgehalten werden. Es enthält unter anderem Angaben zum Namen und der IP-Adresse des Nutzers, dem verwendeten Browser, dem Betriebssystem der Zugriffszeit und den besuchten URLs auf der Website.
Mit diesen Daten als Grundlage lassen sich die Prozesse analysieren. Eine Logfile-Analyse gibt zum Beispiel Aufschluss darüber, wie viele Menschen Ihre Website beziehungsweise Ihren Server besuchen und was sie dort tun.
Auch, was genau Google auf Ihrer Seite crawlt, können Sie den Logfiles entnehmen. Entsprechend lassen sich aus den Dateien Rückschlüsse ziehen, welche Maßnahmen im Bezug auf die Suchmaschinenoptimierung (SEO) sinnvoll sein könnten.
Google-Crawler in den Logfiles erkennen
Logfiles geben Einblick in einige Daten, die Sie über die Google Search Console nicht einsehen können. Unter anderem können Sie erkennen, welche Website-Besucher Crawler von Google waren und welche URLs diese untersucht haben.
Bei jedem Aufruf Ihrer Seite wird ein User Agent mitgeliefert. Der Google-Bot heißt dort meist:
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Allerdings ist dieser Bot nicht Google vorbehalten. Jeder kann ihn nutzen, um damit zu crawlen. Wenn Sie die Crawler also zweifelsfrei identifizieren möchten, reicht der User Agent allein nicht aus. Schauen sie lieber zusätzlich auf die IP-Adresse. Google crawlt normalerweise von IP-Adressen aus, die mit der Zahlenfolge 66.249. beginnen. Weicht die IP ab, ist die Wahrscheinlichkeit groß, dass es sich trotz des richtigen Namens im User Agent nicht um einen Google-Crawler handelt.
Zu guter Letzt können Sie einen Blick in die Google Search Console werfen. Passen die dort aufgeführten Zahlen mit denen aus den Logfiles zusammen? Dann können Sie sicher sein, einen Crawler entdeckt zu haben.
Wie funktioniert eine Logfile-Analyse?
Möchten Sie eine Logfile-Analyse manuell durchführen, müssen Sie zunächst die großen Dateien herunterladen und entpacken. Im Anschluss sortieren Sie die Einträge in eine Excel-Tabelle ein und gehen jede Spalte einzeln durch, um die Google-Crawler ausfindig zu machen. Erst danach können Sie die für die Suchmaschinen-Optimierung relevanten Daten auswerten und darauf basierend Ihre nächsten Schritte planen.
Sie sehen schon: Je größer Ihre Webseite ist und je mehr Besucher sie hat, desto aufwendiger wird es, eine Logfile-Analyse händisch durchzuführen. Deshalb können Sie aus einer Reihe von SEO-Tools wählen, die Ihnen die Arbeit erheblich erleichtern.
Logfile-Analyse-Tools machen die Auswertung einfacher
Ein mögliches Tool für Ihre Logfile-Analyse ist der SEO Log File Analyser von Screaming Frog. Dort können Sie die Logfiles unkompliziert per Drag & Drop einfügen. Das Analyser sucht dann autonom alle Einträge von Crawlern heraus und zeigt in verschiedenen Diagrammen, wo genau die Bots auf Ihrer Website unterwegs waren. Den Screaming Frog SEO Log File Analyser können Sie für bis zu 1.000 Zeilen kostenlos nutzen. Falls Sie mehr Logfiles auswerten möchten, müssen Sie das kostenpflichtige Upgrade wählen.
Wenn Sie die Logfiles nicht einmalig, sondern fortlaufend auswerten wollen, ist das ELK-Stack eine Möglichkeit, die Sie nutzen können. Es besteht aus drei unterschiedlichen Open-Source-Programmen und hilft Ihnen, die Logfile-Analyse noch ein wenig mehr zu automatisieren als es mit dem SEO Log File Analyser von Screaming Frog möglich ist.
Darüber hinaus gibt es natürlich Dutzende weitere Tools, die Ihnen die Logfile-Analyse erleichtern. Heise.de hat dazu eine praktische Liste von fast 60 Software-Tools zusammengestellt, die Sie zu Hilfe nehmen können. In dieser können Sie die Einträge nach verschiedenen Kategorien filtern und so das für Sie passende Tool finden.
Die richtigen Rückschlüsse für SEO ziehen
Sie haben aus den Logfiles Ihrer Website erfolgreich die Crawler von Google herausgefiltert und alle wichtigen Daten vorliegen. Nun geht es darum, die richtigen Rückschlüsse für die SEO zu ziehen und passende Handlungen abzuleiten – denn sonst war der ganze Aufwand umsonst. Worauf Sie insbesondere achten sollten:
1) Indexierungsprobleme
Stellen Sie im Rahmen der Logfile-Analyse fest, dass der Webcrawler Ihre Seite nicht vollständig laden konnte, deutet dies auf technische Schwierigkeiten hin. Ihre erste Anlaufstelle in diesem Zusammenhang ist die robots.txt-Datei, in der Sie festlegen, welche Bereiche von den Bots untersucht werden dürfen. Liegen hier Fehler vor, behindert das die Indexierung.
2) Crawling-Probleme
Probleme beim Crawlen können dadurch entstehen, dass der Robot von Ihrer URL aus auf eine andere weitergeleitet wird – und dann auf eine dritte, vierte, fünfte. Eine solche Kette der Weiterleitung entsteht, wenn Sie mehrere 301 Redirect hintereinander einrichten. Der Googlebot wird das Crawling sehr wahrscheinlich abbrechen, wenn zu viele Weiterleitungen existieren – hier ist also Vorsicht geboten.
Crawlt Google hingegen Seiten, die nicht länger relevant sind, gibt es auch hier eine einfache Lösung: Sperren Sie die betroffenen Seiten in der robots.txt und entfernen Sie Links, die dorthin führen. Falls Sie die Links behalten möchten, setzen Sie sie auf „nofollow“, sodass die Crawler ihnen nicht folgen.
Ihren Logfiles können Sie darüber hinaus entnehmen, wie oft Google Ihre URL untersucht. Stellen Sie fest, dass dies eher selten der Fall ist, können Sie gegensteuern, indem Sie Inhalte regelmäßig updaten und erweitern, um die Bots öfter anzulocken.
3) Langsame Website
Lädt Ihre Webseite zu langsam, kann dies durch die Logfile-Analyse genauer beleuchtet werden. Auch Tracking Tools wie Google Analytics geben hier Aufschluss, doch mit der Logfile-Analyse kann genau festgestellt werden, wie lang die Crawler für das Herunterladen einzelner Ressourcen benötigen.
Logfile-Analyse als Ergänzung zur SEO-Analyse: Diese Methode ermöglicht es Webmastern, Besucherdaten selbst auszuwerten. Allerdings sind die Möglichkeiten beschränkt. Deshalb ist eine Logfile-Analyse nicht als alleinige Methode zur Benutzerdaten-Auswertung, sondern eher als Ergänzung zu SEO-Tools, Google Analytics und der Google Search Console zu empfehlen. Besonders bei großen Websites müssen sehr große Datenmengen betrachtet werden. Das ist manuell vergleichsweise aufwendig und sollte deshalb besser mithilfe vertrauenswürdiger Tools erfolgen.
Headerbild: danielvfung / iStock / Getty Images
