Protokolldateiauswertung: Unterschied zwischen den Versionen

Aus Mikiwiki
Zur Navigation springen Zur Suche springen
Keine Bearbeitungszusammenfassung
Keine Bearbeitungszusammenfassung
Zeile 1: Zeile 1:
Bei der <b>Logdateianalyse</b> wird die [[Logdatei]] eines bestimmten Zeitraums nach bestimmten Kriterien untersucht. Je nach Art und Umfang der Aufzeichnungen in der Logdatei lassen sich daraus verschiedene Schlüsse ziehen. Am häufigsten ist die Analyse der Logdateien von [[Firewalls]] und [[Webservern]].
Bei der <b>Logdateianalyse</b> wird die [[Protokolldatei]] eines bestimmten Zeitraums nach bestimmten Kriterien untersucht. Je nach Art und Umfang der Aufzeichnungen in der Protokolldatei lassen sich daraus verschiedene Schlüsse ziehen. Am häufigsten ist die Analyse der Protokolldateien von [[Firewalls]] und [[Webservern]].


Die händische Analyse der Logdateien ist bereits auf einem einfachen Rechner aufgrund der umfangreichen Datenmenge ein Ding der Unmöglichkeit, weswegen diese Arbeit üblicherweise durch Programme automatisiert wird, welche die Logdateien optisch aufbereiten, um so die Analyse zu erleichtern.
Die händische Analyse der Protokolldateien ist bereits auf einem einfachen Rechner aufgrund der umfangreichen Datenmenge ein Ding der Unmöglichkeit, weswegen diese Arbeit üblicherweise durch Programme automatisiert wird, welche die Protokolldateien optisch aufbereiten, um so die Analyse zu erleichtern.


Folgende Programme können verschiedene Arten von Logdateien auswerten.
Folgende Programme können verschiedene Arten von Protokolldateien auswerten.


{| class=wiki
{| class=wiki
Zeile 10: Zeile 10:
| [[logtool]] ||  
| [[logtool]] ||  
|-
|-
| [[logwatch]] || Regelmässige optische Aufbereitung der Logdateien.
| [[logwatch]] || Regelmässige optische Aufbereitung der Protokolldateien.
|-
|-
| [http://cert.uni-stuttgart.de/projects/fwlogwatch/ Logsurfer] || Echtzeit-Überwachung der Logdateien, allerdings mit aufwendiger Konfiguration.
| [http://cert.uni-stuttgart.de/projects/fwlogwatch/ Logsurfer] || Echtzeit-Überwachung der Protokolldateien, allerdings mit aufwendiger Konfiguration.
|-
|-
| [http://sourceforge.net/projects/lwatch/ Log Watcher] ||  
| [http://sourceforge.net/projects/lwatch/ Log Watcher] ||  
Zeile 19: Zeile 19:
|}
|}


== Analyse von Firewall-Logdateien ==
== Analyse von Firewall-Protokolldateien ==


Folgende Programm werten die Logdateien von Firewallmeldungen aus.
Folgende Programme werten die Protokolldateien von Firewallmeldungen aus.


{| class=wiki
{| class=wiki
Zeile 29: Zeile 29:
|}
|}


== Analyse von Webserver-Logdateien ==
== Analyse von Webserver-Protokolldateien ==


Bei den meisten Webservern kann eingestellt werden, welche Daten sie protokollieren - im Standard verwenden die meisten ein recht ähnliches Format für ihre Logdateien. Die einfachste Variante dabei ist das "Common Log File Format / CLF", welches unter anderem die IP-Adresse des anfragenden REchners, die Anzahl übertragener Byte sowie Datum und Uhrzeit des Zugriffs protokolliert. Um einige Einschränkungen von CLF zu umgehen, wurden weitere Formate wie das "Combined Log File Format" oder das "Extended Log File Format / ELFF" entwickelt, welche unter anderem zusätzlich die Webbrowserkennung (User-Agent) und die vom Benutzer zuvor besuchte Webseite (Referer) protokollieren.
Bei den meisten Webservern kann eingestellt werden, welche Daten sie protokollieren - im Standard verwenden die meisten ein recht ähnliches Format für ihre Protokolldateien. Die einfachste Variante dabei ist das "Common Log File Format / CLF", welches unter anderem die IP-Adresse des anfragenden REchners, die Anzahl übertragener Byte sowie Datum und Uhrzeit des Zugriffs protokolliert. Um einige Einschränkungen von CLF zu umgehen, wurden weitere Formate wie das "Combined Log File Format" oder das "Extended Log File Format / ELFF" entwickelt, welche unter anderem zusätzlich die Webbrowserkennung (User-Agent) und die vom Benutzer zuvor besuchte Webseite (Referer) protokollieren.


Beim [[Apache HTTP Server]] findet sich die Logdatei meist im Verzeichnis "/var/log" und heisst "access.log". Jede Zeile in dieser Logdatei berichtet unter anderem über
Beim [[Apache HTTP Server]] findet sich die Protokolldatei meist im Verzeichnis "/var/log" und heisst "access.log". Jede Zeile in dieser Protokolldatei berichtet unter anderem über
* die [[IP-Adresse]] des Besuchers
* die [[IP-Adresse]] des Besuchers
* welches [[Betriebssystem]] er benutzt
* welches [[Betriebssystem]] er benutzt
Zeile 39: Zeile 39:
* den Befehl, den sein Webbrowser an den Webserver gerichtet hat
* den Befehl, den sein Webbrowser an den Webserver gerichtet hat


Programme zur Analyse von Webserver-Logdateien liefern als Grunddaten üblicherweise die Gesamtzahl der Zugriffe, das Datenvolumen sowie eine Aufstellung der meistbesuchten Webseiten. Bei der Auswertung unterscheiden die Programme zwischen "Hits" und "Pageviews": Ein "Hit" bezieht sich auf die Anforderung eines einzelnen Elements, beispielsweise einer Grafikdatei. Besteht eine Webseite aus drei Grafikdateien und einer HTML-Datei, so führt der Abruf der Webseite (ein "Pageview" oder auch eine "Page Impression") also zu insgesamt vier Hits. Bei einem "Visit" (auch "Session" genannt) wird davon ausgegangen, dass alle Anfragen von eienr IP-Adresse in einem bestimmten Zeitraum (z. B. 30 Minuten) vom selben Benutzer stammen. Da Internetprovider IP-Adressen oft dynamisch vergeben, ist diese Zuordnung die beste Näherung, falls man nicht zu komplizierteren Mitteln wie [[Cookies]] greifen will. Wichtig, aber nicht mit allen Programmen möglich, ist die Auflösung von IP-Adressen in Rechner- und Domainnamen; die dabei gleichzeitig ermittelte Top-Level-Domain (z. B. ".ch") lässt Rückschlüsse auf das Land zu, aus dem die Anfrage kam.
Programme zur Analyse von Webserver-Protokolldateien liefern als Grunddaten üblicherweise die Gesamtzahl der Zugriffe, das Datenvolumen sowie eine Aufstellung der meistbesuchten Webseiten. Bei der Auswertung unterscheiden die Programme zwischen "Hits" und "Pageviews": Ein "Hit" bezieht sich auf die Anforderung eines einzelnen Elements, beispielsweise einer Grafikdatei. Besteht eine Webseite aus drei Grafikdateien und einer HTML-Datei, so führt der Abruf der Webseite (ein "Pageview" oder auch eine "Page Impression") also zu insgesamt vier Hits. Bei einem "Visit" (auch "Session" genannt) wird davon ausgegangen, dass alle Anfragen von eienr IP-Adresse in einem bestimmten Zeitraum (z. B. 30 Minuten) vom selben Benutzer stammen. Da Internetprovider IP-Adressen oft dynamisch vergeben, ist diese Zuordnung die beste Näherung, falls man nicht zu komplizierteren Mitteln wie [[Cookies]] greifen will. Wichtig, aber nicht mit allen Programmen möglich, ist die Auflösung von IP-Adressen in Rechner- und Domainnamen; die dabei gleichzeitig ermittelte Top-Level-Domain (z. B. ".ch") lässt Rückschlüsse auf das Land zu, aus dem die Anfrage kam.


Bekannte Programme zur Analyse von Webserver-Logdateien sind die folgenden.
Bekannte Programme zur Analyse von Webserver-Protokolldateien sind die folgenden.


{| class=wiki width=100%
{| class=wiki width=100%

Version vom 6. August 2011, 16:09 Uhr

Bei der Logdateianalyse wird die Protokolldatei eines bestimmten Zeitraums nach bestimmten Kriterien untersucht. Je nach Art und Umfang der Aufzeichnungen in der Protokolldatei lassen sich daraus verschiedene Schlüsse ziehen. Am häufigsten ist die Analyse der Protokolldateien von Firewalls und Webservern.

Die händische Analyse der Protokolldateien ist bereits auf einem einfachen Rechner aufgrund der umfangreichen Datenmenge ein Ding der Unmöglichkeit, weswegen diese Arbeit üblicherweise durch Programme automatisiert wird, welche die Protokolldateien optisch aufbereiten, um so die Analyse zu erleichtern.

Folgende Programme können verschiedene Arten von Protokolldateien auswerten.

Programm Beschreibung
logtool
logwatch Regelmässige optische Aufbereitung der Protokolldateien.
Logsurfer Echtzeit-Überwachung der Protokolldateien, allerdings mit aufwendiger Konfiguration.
Log Watcher
Multistat

Analyse von Firewall-Protokolldateien

Folgende Programme werten die Protokolldateien von Firewallmeldungen aus.

Programm Beschreibung
Fwlogwatch

Analyse von Webserver-Protokolldateien

Bei den meisten Webservern kann eingestellt werden, welche Daten sie protokollieren - im Standard verwenden die meisten ein recht ähnliches Format für ihre Protokolldateien. Die einfachste Variante dabei ist das "Common Log File Format / CLF", welches unter anderem die IP-Adresse des anfragenden REchners, die Anzahl übertragener Byte sowie Datum und Uhrzeit des Zugriffs protokolliert. Um einige Einschränkungen von CLF zu umgehen, wurden weitere Formate wie das "Combined Log File Format" oder das "Extended Log File Format / ELFF" entwickelt, welche unter anderem zusätzlich die Webbrowserkennung (User-Agent) und die vom Benutzer zuvor besuchte Webseite (Referer) protokollieren.

Beim Apache HTTP Server findet sich die Protokolldatei meist im Verzeichnis "/var/log" und heisst "access.log". Jede Zeile in dieser Protokolldatei berichtet unter anderem über

Programme zur Analyse von Webserver-Protokolldateien liefern als Grunddaten üblicherweise die Gesamtzahl der Zugriffe, das Datenvolumen sowie eine Aufstellung der meistbesuchten Webseiten. Bei der Auswertung unterscheiden die Programme zwischen "Hits" und "Pageviews": Ein "Hit" bezieht sich auf die Anforderung eines einzelnen Elements, beispielsweise einer Grafikdatei. Besteht eine Webseite aus drei Grafikdateien und einer HTML-Datei, so führt der Abruf der Webseite (ein "Pageview" oder auch eine "Page Impression") also zu insgesamt vier Hits. Bei einem "Visit" (auch "Session" genannt) wird davon ausgegangen, dass alle Anfragen von eienr IP-Adresse in einem bestimmten Zeitraum (z. B. 30 Minuten) vom selben Benutzer stammen. Da Internetprovider IP-Adressen oft dynamisch vergeben, ist diese Zuordnung die beste Näherung, falls man nicht zu komplizierteren Mitteln wie Cookies greifen will. Wichtig, aber nicht mit allen Programmen möglich, ist die Auflösung von IP-Adressen in Rechner- und Domainnamen; die dabei gleichzeitig ermittelte Top-Level-Domain (z. B. ".ch") lässt Rückschlüsse auf das Land zu, aus dem die Anfrage kam.

Bekannte Programme zur Analyse von Webserver-Protokolldateien sind die folgenden.

Name aclog Analog Awebvisit Awstats Lire Relax Sherlog Webalizer
Eingabeformate
  • Common Log File Format / CLF
  • Combined Log File Format
  • weitere

ja
ja
nein

ja
nein
frei definierbar

ja
nein
nein

ja
ja
nein

nein
Varianten
RefererLog, NCSA, Webstar, eigene Definitionen

ja
ja
nein

ja
ja
nein
Mit gzip gepackte Dateien nein nein nein ja ja nein ja
Umsetzung IP-Adressen in Namen nein ja nein nein ja ja (mit Zusatzmodul) ja (wenn einkompiliert)
Beliebteste Einstiegs-/Ausstiegsseiten ja nein ja ja nein nein ja
Liste der beliebtesten Seiten ja ja nein ja nein ja ja
Besucherpfade nein nein ja ja nein ja (rudimentär) nein
Anzahl Aufrufe nach Stunden, Tagen, Monaten ja ja nein ja nein nein ja
Berücksichtigung von Suchmaschinen ja (eingeschränkt) ja nein ja ja ja nein
Länderstatistik ja ja nein ja nein nein ja
Webbrowsertypen ja ja nein ja nein ja ja
Domains/IP-Adressen lassen sich von Analyse ausschliessen nein ja ja (bei editiertem Skript) ja ja ja ja
Ausgabeformate ASCII-Textdatei, Tabellenform, teilweise mit ASCII-Balkendiagrammen Text, Latex, HTML HTML, für Grafiken Zusatzprogramm benötigt (fly) Text, PDF, HTML, Docbook, XML Text, HTML, nur Tabellen ASCII-Textsatei, nur Tabellenform HTML mit Grafiken
Sprachen der erzeugten Auswertungen Englisch Deutsch, Englisch u. a. Englisch Englisch Englisch, Französisch, Finnisch Englisch, Französisch Englisch
Sicherheitsfunktionen Übersicht der häufigsten Fehlermeldungen Übersicht der häufigsten Fehlermeldungen Auswertung der Fehlermeldungen ja nein Übersicht der häufigsten Fehlermeldungen Übersicht der häufigsten Fehlermeldungen
Erläuterungen in der Auswertung nein ja nein ja nein nein nein

Vom Webalizer gibt es ausserdem die Forks Awffull, Stone Step Webalizer und Webalizer Xtended.

Pathalizer und Visitors stellen die Bewegungen der Besucher auf einer Website grafisch dar.

Weblinks

Herausgeber Sprache Webseitentitel Anmerkungen
Wikipedia ger Logfile-Analysewbm Enzyklopädischer Artikel