Protokolldateiauswertung: Unterschied zwischen den Versionen

Aus Mikiwiki
Zur Navigation springen Zur Suche springen
Keine Bearbeitungszusammenfassung
 
(14 dazwischenliegende Versionen desselben Benutzers werden nicht angezeigt)
Zeile 1: Zeile 1:
Bei der <b>Logdateianalyse</b> wird die [[Logdatei]] eines bestimmten Zeitraums nach bestimmten Kriterien untersucht. Je nach Art und Umfang der Aufzeichnungen in der Logdatei lassen sich daraus verschiedene Schlüsse ziehen.
Bei der <b>Protokolldateiauswertung</b> (auch: Logdateianalyse) wird die [[Protokolldatei]] eines bestimmten Zeitraums nach bestimmten Kriterien untersucht. Je nach Art und Umfang der Aufzeichnungen in der Protokolldatei lassen sich daraus verschiedene Schlüsse ziehen. Am häufigsten ist die Analyse der Protokolldateien von [[Firewalls]] und [[Webservern]].


Am häufigsten ist die Analyse der Logdateien von [[Webservern]] und [[Firewalls]].
Die händische Analyse der Protokolldateien ist bereits auf einem einfachen Rechner aufgrund der umfangreichen Datenmenge ein Ding der Unmöglichkeit, weswegen diese Arbeit üblicherweise durch Programme automatisiert wird, welche die Protokolldateien optisch aufbereiten, um so die Analyse zu erleichtern.


== Analyse von Webserver-Logdateien ==
Folgende Programme können verschiedene Arten von Protokolldateien auswerten.


Bei den meisten Webservern kann eingestellt werden, welche Daten sie protokollieren - im Standard verwenden die meisten ein recht ähnliches Format für ihre Logdateien. Die einfachste Variante dabei ist das "Common Log File Format / CLF", welches unter anderem die IP-Adresse des anfragenden REchners, die Anzahl übertragener Bytes sowie Datum und Uhrzeit des Zugriffs protokolliert. Um einige Einschränkungen von CLF zu umgehen, wurden weitere Formate wie das "Combined Log File Format" oder das "Extended Log File Format / ELFF" entwickelt, welche unter anderem zusätzlich die Webbrowserkennung (User-Agent) und die vom Benutzer zuvor besuchte Webseite (Referer) protokollieren.
{| class=wiki
! Programm !! Beschreibung
|-
| [[logtool]] ||
|-
| [[logwatch]] || Regelmässige optische Aufbereitung der Protokolldateien.
|-
| [http://cert.uni-stuttgart.de/projects/fwlogwatch/ Logsurfer] || Echtzeit-Überwachung der Protokolldateien, allerdings mit aufwendiger Konfiguration.
|-
| [http://sourceforge.net/projects/lwatch/ Log Watcher] ||
|-
| Multistat ||
|}
 
== Analyse von Firewall-Protokolldateien ==
 
Folgende Programme werten die Protokolldateien von Firewallmeldungen aus.
 
{| class=wiki
! Programm !! Beschreibung
|-
| [http://cert.uni-stuttgart.de/projects/fwlogwatch/ Fwlogwatch] ||
|}
 
== Analyse von Webserver-Protokolldateien ==
 
Bei den meisten Webservern kann eingestellt werden, welche Daten sie protokollieren - im Standard verwenden die meisten ein recht ähnliches Format für ihre Protokolldateien. Die einfachste Variante dabei ist das "Common Log File Format / CLF", welches unter anderem die IP-Adresse des anfragenden REchners, die Anzahl übertragener Byte sowie Datum und Uhrzeit des Zugriffs protokolliert. Um einige Einschränkungen von CLF zu umgehen, wurden weitere Formate wie das "Combined Log File Format" oder das "Extended Log File Format / ELFF" entwickelt, welche unter anderem zusätzlich die Webbrowserkennung (User-Agent) und die vom Benutzer zuvor besuchte Webseite (Referer) protokollieren.


Beim [[Apache HTTP Server]] findet sich die Logdatei meist im Verzeichnis "/var/log" und heisst "access.log". Jede Zeile in dieser Logdatei berichtet unter anderem über
Beim [[Apache HTTP Server]] findet sich die Protokolldatei meist im Verzeichnis "/var/log" und heisst "access.log". Jede Zeile in dieser Protokolldatei berichtet unter anderem über
* die [[IP-Adresse]] des Besuchers
* die [[IP-Adresse]] des Besuchers
* welches [[Betriebssystem]] er benutzt
* welches [[Betriebssystem]] er benutzt
Zeile 13: Zeile 39:
* den Befehl, den sein Webbrowser an den Webserver gerichtet hat
* den Befehl, den sein Webbrowser an den Webserver gerichtet hat


Programme zur Analyse von Webserver-Logdateien liefern als Grunddaten üblicherweise die Gesamtzahl der Zugriffe, das Datenvolumen sowie eine Aufstellung der meistbesuchten Webseiten. Bei der Auswertung unterscheiden die Programme zwischen "Hits" und "Pageviews": Ein "Hit" bezieht sich auf die Anforderung eines einzelnen Elements, beispielsweise einer Grafikdatei. Besteht eine Webseite aus drei Grafikdateien und einer HTML-Datei, so führt der Abruf der Webseite (ein "Pageview" oder auch eine "Page Impression") also zu insgesamt vier Hits. Bei einem "Visit" (auch "Session" genannt) wird davon ausgegangen, dass alle Anfragen von eienr IP-Adresse in einem bestimmten Zeitraum (z. B. 30 Minuten) vom selben Benutzer stammen. Da Internetprovider IP-Adressen oft dynamisch vergeben, ist diese Zuordnung die beste Näherung, falls man nicht zu komplizierteren Mitteln wie [[Cookies]] greifen will. Wichtig, aber nicht mit allen Programmen möglich, ist die Auflösung von IP-Adressen in Rechner- und Domainnamen; die dabei gleichzeitig ermittelte Top-Level-Domain (z. B. ".ch") lässt Rückschlüsse auf das Land zu, aus dem die Anfrage kam.
Programme zur Analyse von Webserver-Protokolldateien liefern als Grunddaten üblicherweise die Gesamtzahl der Zugriffe, das Datenvolumen sowie eine Aufstellung der meistbesuchten Webseiten. Bei der Auswertung unterscheiden die Programme zwischen "Hits" und "Pageviews": Ein "Hit" bezieht sich auf die Anforderung eines einzelnen Elements, beispielsweise einer Grafikdatei. Besteht eine Webseite aus drei Grafikdateien und einer HTML-Datei, so führt der Abruf der Webseite (ein "Pageview" oder auch eine "Page Impression") also zu insgesamt vier Hits. Bei einem "Visit" (auch "Session" genannt) wird davon ausgegangen, dass alle Anfragen von eienr IP-Adresse in einem bestimmten Zeitraum (z. B. 30 Minuten) vom selben Benutzer stammen. Da Internetprovider IP-Adressen oft dynamisch vergeben, ist diese Zuordnung die beste Näherung, falls man nicht zu komplizierteren Mitteln wie [[Cookies]] greifen will. Wichtig, aber nicht mit allen Programmen möglich, ist die Auflösung von IP-Adressen in Rechner- und Domainnamen; die dabei gleichzeitig ermittelte Top-Level-Domain (z. B. ".ch") lässt Rückschlüsse auf das Land zu, aus dem die Anfrage kam.


Bekannte Programme zur Analyse von Webserver-Logdateien sind die folgenden.
Bekannte Programme zur Analyse von Webserver-Protokolldateien sind die folgenden.


{| class=wiki width=100%
{| class=wiki width=100%
Zeile 67: Zeile 93:


{{cat|Firewall}}
{{cat|Firewall}}
{{cat|Logdateianalyse}}
{{cat|Protokolldateiauswertung}}
{{cat|Sicherheit}}
{{cat|Sicherheit}}
{{cat|Statistik}}
{{cat|Statistik}}
{{cat|Systemverwaltung}}
{{cat|Webserver}}
{{cat|Webserver}}

Aktuelle Version vom 6. August 2011, 17:07 Uhr

Bei der Protokolldateiauswertung (auch: Logdateianalyse) wird die Protokolldatei eines bestimmten Zeitraums nach bestimmten Kriterien untersucht. Je nach Art und Umfang der Aufzeichnungen in der Protokolldatei lassen sich daraus verschiedene Schlüsse ziehen. Am häufigsten ist die Analyse der Protokolldateien von Firewalls und Webservern.

Die händische Analyse der Protokolldateien ist bereits auf einem einfachen Rechner aufgrund der umfangreichen Datenmenge ein Ding der Unmöglichkeit, weswegen diese Arbeit üblicherweise durch Programme automatisiert wird, welche die Protokolldateien optisch aufbereiten, um so die Analyse zu erleichtern.

Folgende Programme können verschiedene Arten von Protokolldateien auswerten.

Programm Beschreibung
logtool
logwatch Regelmässige optische Aufbereitung der Protokolldateien.
Logsurfer Echtzeit-Überwachung der Protokolldateien, allerdings mit aufwendiger Konfiguration.
Log Watcher
Multistat

Analyse von Firewall-Protokolldateien

Folgende Programme werten die Protokolldateien von Firewallmeldungen aus.

Programm Beschreibung
Fwlogwatch

Analyse von Webserver-Protokolldateien

Bei den meisten Webservern kann eingestellt werden, welche Daten sie protokollieren - im Standard verwenden die meisten ein recht ähnliches Format für ihre Protokolldateien. Die einfachste Variante dabei ist das "Common Log File Format / CLF", welches unter anderem die IP-Adresse des anfragenden REchners, die Anzahl übertragener Byte sowie Datum und Uhrzeit des Zugriffs protokolliert. Um einige Einschränkungen von CLF zu umgehen, wurden weitere Formate wie das "Combined Log File Format" oder das "Extended Log File Format / ELFF" entwickelt, welche unter anderem zusätzlich die Webbrowserkennung (User-Agent) und die vom Benutzer zuvor besuchte Webseite (Referer) protokollieren.

Beim Apache HTTP Server findet sich die Protokolldatei meist im Verzeichnis "/var/log" und heisst "access.log". Jede Zeile in dieser Protokolldatei berichtet unter anderem über

Programme zur Analyse von Webserver-Protokolldateien liefern als Grunddaten üblicherweise die Gesamtzahl der Zugriffe, das Datenvolumen sowie eine Aufstellung der meistbesuchten Webseiten. Bei der Auswertung unterscheiden die Programme zwischen "Hits" und "Pageviews": Ein "Hit" bezieht sich auf die Anforderung eines einzelnen Elements, beispielsweise einer Grafikdatei. Besteht eine Webseite aus drei Grafikdateien und einer HTML-Datei, so führt der Abruf der Webseite (ein "Pageview" oder auch eine "Page Impression") also zu insgesamt vier Hits. Bei einem "Visit" (auch "Session" genannt) wird davon ausgegangen, dass alle Anfragen von eienr IP-Adresse in einem bestimmten Zeitraum (z. B. 30 Minuten) vom selben Benutzer stammen. Da Internetprovider IP-Adressen oft dynamisch vergeben, ist diese Zuordnung die beste Näherung, falls man nicht zu komplizierteren Mitteln wie Cookies greifen will. Wichtig, aber nicht mit allen Programmen möglich, ist die Auflösung von IP-Adressen in Rechner- und Domainnamen; die dabei gleichzeitig ermittelte Top-Level-Domain (z. B. ".ch") lässt Rückschlüsse auf das Land zu, aus dem die Anfrage kam.

Bekannte Programme zur Analyse von Webserver-Protokolldateien sind die folgenden.

Name aclog Analog Awebvisit Awstats Lire Relax Sherlog Webalizer
Eingabeformate
  • Common Log File Format / CLF
  • Combined Log File Format
  • weitere

ja
ja
nein

ja
nein
frei definierbar

ja
nein
nein

ja
ja
nein

nein
Varianten
RefererLog, NCSA, Webstar, eigene Definitionen

ja
ja
nein

ja
ja
nein
Mit gzip gepackte Dateien nein nein nein ja ja nein ja
Umsetzung IP-Adressen in Namen nein ja nein nein ja ja (mit Zusatzmodul) ja (wenn einkompiliert)
Beliebteste Einstiegs-/Ausstiegsseiten ja nein ja ja nein nein ja
Liste der beliebtesten Seiten ja ja nein ja nein ja ja
Besucherpfade nein nein ja ja nein ja (rudimentär) nein
Anzahl Aufrufe nach Stunden, Tagen, Monaten ja ja nein ja nein nein ja
Berücksichtigung von Suchmaschinen ja (eingeschränkt) ja nein ja ja ja nein
Länderstatistik ja ja nein ja nein nein ja
Webbrowsertypen ja ja nein ja nein ja ja
Domains/IP-Adressen lassen sich von Analyse ausschliessen nein ja ja (bei editiertem Skript) ja ja ja ja
Ausgabeformate ASCII-Textdatei, Tabellenform, teilweise mit ASCII-Balkendiagrammen Text, Latex, HTML HTML, für Grafiken Zusatzprogramm benötigt (fly) Text, PDF, HTML, Docbook, XML Text, HTML, nur Tabellen ASCII-Textsatei, nur Tabellenform HTML mit Grafiken
Sprachen der erzeugten Auswertungen Englisch Deutsch, Englisch u. a. Englisch Englisch Englisch, Französisch, Finnisch Englisch, Französisch Englisch
Sicherheitsfunktionen Übersicht der häufigsten Fehlermeldungen Übersicht der häufigsten Fehlermeldungen Auswertung der Fehlermeldungen ja nein Übersicht der häufigsten Fehlermeldungen Übersicht der häufigsten Fehlermeldungen
Erläuterungen in der Auswertung nein ja nein ja nein nein nein

Vom Webalizer gibt es ausserdem die Forks Awffull, Stone Step Webalizer und Webalizer Xtended.

Pathalizer und Visitors stellen die Bewegungen der Besucher auf einer Website grafisch dar.

Weblinks

Herausgeber Sprache Webseitentitel Anmerkungen
Wikipedia ger Logfile-Analysewbm Enzyklopädischer Artikel