Lire: Unterschied zwischen den Versionen

Aus Mikiwiki
Zur Navigation springen Zur Suche springen
(Die Seite wurde neu angelegt: „Das Programm <b>Lire</b> dient der Logdateianalyse auf Rechnern. Aufgrund seines modularen Aufbaus verarbeitet es nicht nur FTP- oder CUPS-Logdateien, son...“)
 
Keine Bearbeitungszusammenfassung
 
(15 dazwischenliegende Versionen desselben Benutzers werden nicht angezeigt)
Zeile 1: Zeile 1:
Das Programm <b>Lire</b> dient der [[Logdateianalyse]] auf [[Rechnern]]. Aufgrund seines modularen Aufbaus verarbeitet es nicht nur FTP- oder CUPS-Logdateien, sondern lässt sich auch um eigene Module erweitern. Unter anderem erstellt Lire auch eine Statistik, die Rückschlüsse auf Angriffe zulässt und gibt Informationen über Zugriffe von Suchmaschinen-Robotern. Die Ergebnisse können in verschiedenen Formaten ausgegeben werden (u. a. HTML mit Grafiken, Text und PDF)
Das Paket <b>Lire</b> ist in Perl geschrieben und dient der [[Protokolldateiauswertung]] von [[Netzwerkdiensten]]. Aufgrund seines modularen Aufbaus kann es auch um eigene Module erweitert werden. Unter anderem erstellt Lire auch eine Statistik, die Rückschlüsse auf Angriffe zulässt und gibt Informationen über Zugriffe von Suchmaschinen-Robotern. Die Ergebnisse können in verschiedenen Formaten ausgegeben werden (u. a. HTML mit Grafiken, Text und PDF). Das Paket enthält folgende Programme:
 
{| class=wiki
|-
| <b>lire</b> || Konfiguration von Lire und Aktivierung der automatischen Berichtserzeugung.
|-
| <b>lr_cron</b> || Ablauf der in einem "DLF store" konfigurierten regelmässigen Jobs.
|-
| <b>lr_log2report</b> || Erzeugt aus einer Protokolldatei einen Bericht.
* "lr_log2report --help dlf-converters" zeigt die verfügbaren DLF-Konverter.
* "lr_log2report --help output-formats" zeigt die verfügbaren Ausgabeformate (u. a. HTML, PDF, Text, XML).
|-
| <b>lr_run</b> || Ausführen eines Lire-Programms und Behandlung der Logausgaben.
|}
 
== Funktionsweise ==
 
[[image:lire_architektur01.jpg|framed|right|Die Architektur von Lire]] Lire eignet sich zur Protokolldateiauswertung sehr vieler [[Netzwerkdienste]], die so untereinander auch vergleichbar werden.
 
Lire ermöglicht die Planung von Hardware-Upgrades und eignet sich zur Entdeckung von Unregelmässigkeiten beim Gebrauch von Netzwerkdiensten. Unter anderem werden die Protokolldateiformate folgender Netzwerkdienste unterstützt.
 
{| class=wiki
! Netzwerkdienst !! Unterstützte Programme
|-
| WWW || [[Apache HTTP Server]], Boa, Microsoft IIS
|-
| DNS || bind v8 und v9 querylogs)
|-
| Firewall || Cisco IOS; Linux ipchains, ipfilter und iptables; BSD IP Filter; WELF von Webtrends
|-
| E-Mail || Exim, [[Postfix]], qmail, [[sendmail]], Netscape Messaging Server, Argosoft
|-
| Drucken || [[CUPS]], [[Lprng]]
|-
| FTP || Proftpd, Wu-ftpd, Microsoft IIS
|-
| Proxy || [[Squid]], WELF Proxies, Microsoft ISA
|-
| Datenbanken || [[Mysql]]
|}
 
Lire unterstützt verschiedene Ausgabeformate (HTML, XHTML, XML, PDF, ASCII-Text) für die erzeugten Berichte (engl. reports), wobei einige dieser Formate auch eine grafische Darstellung der Daten unterstützen.
 
Das Programm ist in Perl und Bash geschrieben und setzt besonders auf XML. Es arbeitet in mehreren Schritten:
* Die Protokolldateien werden in einem "Distilled Log Format / DLF" normalisiert. Lire 2.0.2 besitzt 38 Eingabeformate, ein neuer Dienst lässt sich einfach hinzufügen, indem ein entsprechender Konverter für das DLF-Format geschrieben wird.
* Die Protokolldateien werden mit generischen Werkzeugen für verschiedene Dienste analysiert.
* Das Ausgabeformat ist XML.
* Die XML-Dateien lassen sich in das jeweils gewünschte Protokolldateiformat überführen.
 
Zu den besonderen Stärken von Lire gehört sein modularer Aufbau, der es beispielsweise erlaubt, verschiedene Implementationen desselben Dienstes (z. B. Exim und Postfix) miteinander zu vergleichen.
 
Lire wandelt eine Protokolldatei erst ins interne "Distilled Log Format / DLF" um - eine einfache, kommagetrennte ASCII-Datei. Jedes aufgezeichnete Ereignis wird durch eine Zeile mit einer festgelegten Anzahl Felder dargestellt. Jeder unterstützte Netzwerkdienst besitzt sein eigenes Protokolldateiformat und ebenso seinen 2dlf-Konverter. Ein Superservice ist eine Klasse von Anwendungen, die dasselbe DLF unterstützen und so dieselben Berichte erzeugen. Ein Lire-Bericht besteht aus verschiedenen Unterberichten, die als Tabelle oder in grafischer Form angezeigt werden können. Zusätzlich zu den mitgelieferten Unterberichten können in der "Lire Report Specification Markup Language" auch eigene definiert werden, das sieht beispielsweise wie folgt aus:
 
...
<lire:report-calc-spec>
  <lire:group sort="-mail_volume" limit="$domain_to_show">
    <lire:field name="to_domain"/>
    <lire:sum name="mail_volume" field="size"/>
  </lire:group>
</lire:report-calc-spec>
...


== Installation ==
== Installation ==


=== Ubuntu 8.04 Hardy Heron ===
=== Ubuntu 8.04 Hardy Heron ===
Damit auch Grafiken korrekt erzeugt werden, muss vor Lire zuerst das Paket "ploticus" installiert werden.
$ <b>sudo apt-get install ploticus</b>
$ <b>sudo apt-get install lire</b>
=== Ubuntu 10.04 Lucid Lynx ===


  $ <b>sudo apt-get install lire</b>
  $ <b>sudo apt-get install lire</b>
Das Aufbereiten einer Protokolldatei ist leider nicht möglich, sondern bricht mit folgendem Fehler ab:
$ <b>lr_log2report combined /var/log/apache2/access.log</b>
Parsing log file using combined DLF Converter...
lr_log2report: ERROR store doesn't contain a 'lire_import_log' stream at
  /usr/share/perl5/Lire/DlfConverterProcess.pm line 170
Siehe dazu auch: https://bugs.launchpad.net/ubuntu/+source/lire/+bug/668719
== Konfiguration ==
Die Konfiguration von Lire findet über das Programm "lire" statt. Durch Drücken der Taste "F10" oder "CTRL+X" erscheint die zugehörige Menüleiste, mit der Tabulator-Taste kann zwischen den verschiedenen Fenstern navigiert werden.
* Im Menü "Lire > Preferences..." finden sich die allgemeinen Einstellungen.
* Im Menü "Store > New..." können zur regelmässigen Erzeugung von Berichten sogenannte "DLF stores" angelegt und dazu "import jobs" bzw. "report jobs" hinzugefügt werden.
** Ein "import job" parst und wandelt bestimmte Protokolldateien zur weiteren Verarbeitung in die "store database".
** Ein "report job" verarbeitet die gesammelten Daten, um Berichte herzustellen und zu formatieren.
Die mittels "lire" gemachten Konfigurationseinstellungen werden in der Datei "~/.lire/config.xml" gespeichert. Systemweite Einstellungen werden im Verzeichnis "/etc/lire" gespeichert.


== Verwendung ==
== Verwendung ==
Zeile 11: Zeile 97:
Anwendungsbeispiele finden sich in der Datei "/usr/share/doc/lire/README".
Anwendungsbeispiele finden sich in der Datei "/usr/share/doc/lire/README".


Aufruf von Lire, um die Logdatei "access.log" auszuwerten. Als Ausgabeformat ("-o") wird "html_page" festgelegt, danach wird mit "common" das Format der von Lire über "<" einzulesenden Logdateien angegeben. Die Auswertung wird im [[TAR]]-Format erzeugt (hier "report.tar").
Aufruf von Lire, um im Ausgabeformat ("-o") "html" die im Format "common" vorliegende Protokolldatei "/var/log/apache2/access.log" auszugeben und die Ergebnisse in das im aktuellen Verzeichnis liegende Unterverzeichnis "report" zu schreiben. Das Verzeichnis "report" enthält danach unter anderem die Datei "index.html", die über den Webbrowser angesehen werden kann.
 
$ <b>lr_log2report -o html common /var/log/apache2/access.log report</b>
Parsing log file using common DLF Converter...
Extracted 359 DLF records on 359 lines.
Encountered 359 errors and ignored 0 lines.
Running analysers...
Generating XML report...
Formatting report as html in report...
 
Ausgabe einer Liste aller von Lire interpretierbaren Formate.


  $ <b>lr_run lr_log2report -o html_page common < access.log > report.tar</b>
  $ <b>lr_log2report --help dlf-converters</b>


== Weblinks ==
== Weblinks ==


{{Weblinks1|{{url|NL|Stichting Nlnet|eng|http://www.logreport.org/|Logreport|Offizielle Homepage}}
{{Weblinks}}
}}
{{url|NL|Logreport Foundation|eng|http://www.logreport.org/|Logreport|Offizielle Homepage}}
{{url|DE|Linuxfocus International|eng|http://www.linuxfocus.org/English/September2001/article213.shtml|Analyzing your internet applications' log files}}
{{url|DE|Linuxfocus International|eng|http://www.linuxfocus.org/Deutsch/November2001/article218.shtml|Analyse der Logdateien Ihrer Internet-Anwendungen II : Konfiguration der Berichte}}
{{Fuss}}




{{cat|Logdateianalyse}}
{{cat|Protokolldateiauswertung}}
{{cat|Rechner}}
{{cat|Webserver}}
{{cat|Webserver}}

Aktuelle Version vom 6. August 2011, 17:07 Uhr

Das Paket Lire ist in Perl geschrieben und dient der Protokolldateiauswertung von Netzwerkdiensten. Aufgrund seines modularen Aufbaus kann es auch um eigene Module erweitert werden. Unter anderem erstellt Lire auch eine Statistik, die Rückschlüsse auf Angriffe zulässt und gibt Informationen über Zugriffe von Suchmaschinen-Robotern. Die Ergebnisse können in verschiedenen Formaten ausgegeben werden (u. a. HTML mit Grafiken, Text und PDF). Das Paket enthält folgende Programme:

lire Konfiguration von Lire und Aktivierung der automatischen Berichtserzeugung.
lr_cron Ablauf der in einem "DLF store" konfigurierten regelmässigen Jobs.
lr_log2report Erzeugt aus einer Protokolldatei einen Bericht.
  • "lr_log2report --help dlf-converters" zeigt die verfügbaren DLF-Konverter.
  • "lr_log2report --help output-formats" zeigt die verfügbaren Ausgabeformate (u. a. HTML, PDF, Text, XML).
lr_run Ausführen eines Lire-Programms und Behandlung der Logausgaben.

Funktionsweise

Die Architektur von Lire

Lire eignet sich zur Protokolldateiauswertung sehr vieler Netzwerkdienste, die so untereinander auch vergleichbar werden.

Lire ermöglicht die Planung von Hardware-Upgrades und eignet sich zur Entdeckung von Unregelmässigkeiten beim Gebrauch von Netzwerkdiensten. Unter anderem werden die Protokolldateiformate folgender Netzwerkdienste unterstützt.

Netzwerkdienst Unterstützte Programme
WWW Apache HTTP Server, Boa, Microsoft IIS
DNS bind v8 und v9 querylogs)
Firewall Cisco IOS; Linux ipchains, ipfilter und iptables; BSD IP Filter; WELF von Webtrends
E-Mail Exim, Postfix, qmail, sendmail, Netscape Messaging Server, Argosoft
Drucken CUPS, Lprng
FTP Proftpd, Wu-ftpd, Microsoft IIS
Proxy Squid, WELF Proxies, Microsoft ISA
Datenbanken Mysql

Lire unterstützt verschiedene Ausgabeformate (HTML, XHTML, XML, PDF, ASCII-Text) für die erzeugten Berichte (engl. reports), wobei einige dieser Formate auch eine grafische Darstellung der Daten unterstützen.

Das Programm ist in Perl und Bash geschrieben und setzt besonders auf XML. Es arbeitet in mehreren Schritten:

  • Die Protokolldateien werden in einem "Distilled Log Format / DLF" normalisiert. Lire 2.0.2 besitzt 38 Eingabeformate, ein neuer Dienst lässt sich einfach hinzufügen, indem ein entsprechender Konverter für das DLF-Format geschrieben wird.
  • Die Protokolldateien werden mit generischen Werkzeugen für verschiedene Dienste analysiert.
  • Das Ausgabeformat ist XML.
  • Die XML-Dateien lassen sich in das jeweils gewünschte Protokolldateiformat überführen.

Zu den besonderen Stärken von Lire gehört sein modularer Aufbau, der es beispielsweise erlaubt, verschiedene Implementationen desselben Dienstes (z. B. Exim und Postfix) miteinander zu vergleichen.

Lire wandelt eine Protokolldatei erst ins interne "Distilled Log Format / DLF" um - eine einfache, kommagetrennte ASCII-Datei. Jedes aufgezeichnete Ereignis wird durch eine Zeile mit einer festgelegten Anzahl Felder dargestellt. Jeder unterstützte Netzwerkdienst besitzt sein eigenes Protokolldateiformat und ebenso seinen 2dlf-Konverter. Ein Superservice ist eine Klasse von Anwendungen, die dasselbe DLF unterstützen und so dieselben Berichte erzeugen. Ein Lire-Bericht besteht aus verschiedenen Unterberichten, die als Tabelle oder in grafischer Form angezeigt werden können. Zusätzlich zu den mitgelieferten Unterberichten können in der "Lire Report Specification Markup Language" auch eigene definiert werden, das sieht beispielsweise wie folgt aus: 

...
<lire:report-calc-spec>
  <lire:group sort="-mail_volume" limit="$domain_to_show">
    <lire:field name="to_domain"/>
    <lire:sum name="mail_volume" field="size"/>
  </lire:group>
</lire:report-calc-spec>
...

Installation

Ubuntu 8.04 Hardy Heron

Damit auch Grafiken korrekt erzeugt werden, muss vor Lire zuerst das Paket "ploticus" installiert werden. 

$ sudo apt-get install ploticus
$ sudo apt-get install lire

Ubuntu 10.04 Lucid Lynx

$ sudo apt-get install lire

Das Aufbereiten einer Protokolldatei ist leider nicht möglich, sondern bricht mit folgendem Fehler ab: 

$ lr_log2report combined /var/log/apache2/access.log
Parsing log file using combined DLF Converter...
lr_log2report: ERROR store doesn't contain a 'lire_import_log' stream at
  /usr/share/perl5/Lire/DlfConverterProcess.pm line 170

Siehe dazu auch: https://bugs.launchpad.net/ubuntu/+source/lire/+bug/668719

Konfiguration

Die Konfiguration von Lire findet über das Programm "lire" statt. Durch Drücken der Taste "F10" oder "CTRL+X" erscheint die zugehörige Menüleiste, mit der Tabulator-Taste kann zwischen den verschiedenen Fenstern navigiert werden.

  • Im Menü "Lire > Preferences..." finden sich die allgemeinen Einstellungen.
  • Im Menü "Store > New..." können zur regelmässigen Erzeugung von Berichten sogenannte "DLF stores" angelegt und dazu "import jobs" bzw. "report jobs" hinzugefügt werden.
    • Ein "import job" parst und wandelt bestimmte Protokolldateien zur weiteren Verarbeitung in die "store database".
    • Ein "report job" verarbeitet die gesammelten Daten, um Berichte herzustellen und zu formatieren.

Die mittels "lire" gemachten Konfigurationseinstellungen werden in der Datei "~/.lire/config.xml" gespeichert. Systemweite Einstellungen werden im Verzeichnis "/etc/lire" gespeichert.

Verwendung

Anwendungsbeispiele finden sich in der Datei "/usr/share/doc/lire/README".

Aufruf von Lire, um im Ausgabeformat ("-o") "html" die im Format "common" vorliegende Protokolldatei "/var/log/apache2/access.log" auszugeben und die Ergebnisse in das im aktuellen Verzeichnis liegende Unterverzeichnis "report" zu schreiben. Das Verzeichnis "report" enthält danach unter anderem die Datei "index.html", die über den Webbrowser angesehen werden kann. 

$ lr_log2report -o html common /var/log/apache2/access.log report
Parsing log file using common DLF Converter...
Extracted 359 DLF records on 359 lines.
Encountered 359 errors and ignored 0 lines.
Running analysers...
Generating XML report...
Formatting report as html in report...

Ausgabe einer Liste aller von Lire interpretierbaren Formate. 

$ lr_log2report --help dlf-converters

Weblinks

Herausgeber Sprache Webseitentitel Anmerkungen
Logreport Foundation eng Logreportwbm Offizielle Homepage
Linuxfocus International eng Analyzing your internet applications' log fileswbm
Linuxfocus International eng Analyse der Logdateien Ihrer Internet-Anwendungen II : Konfiguration der Berichtewbm
Von «https://mikiwiki.org/mikiwiki/index.php?title=Lire&oldid=38359»