Lire: Unterschied zwischen den Versionen

Aus Mikiwiki
Zur Navigation springen Zur Suche springen
Keine Bearbeitungszusammenfassung
Zeile 1: Zeile 1:
Das Paket <b>Lire</b> dient der [[Logdateianalyse]] auf [[Rechnern]] und kann aufgrund seines modularen Aufbaus auch um eigene Module erweitert werden. Unter anderem erstellt Lire auch eine Statistik, die Rückschlüsse auf Angriffe zulässt und gibt Informationen über Zugriffe von Suchmaschinen-Robotern. Die Ergebnisse können in verschiedenen Formaten ausgegeben werden (u. a. HTML mit Grafiken, Text und PDF). Das Paket enthält folgende Programme:
Das Paket <b>Lire</b> ist in Perl geschrieben und dient der [[Logdateianalyse]] von [[Netzwerkdiensten]]. Aufgrund seines modularen Aufbaus kann es auch um eigene Module erweitert werden. Unter anderem erstellt Lire auch eine Statistik, die Rückschlüsse auf Angriffe zulässt und gibt Informationen über Zugriffe von Suchmaschinen-Robotern. Die Ergebnisse können in verschiedenen Formaten ausgegeben werden (u. a. HTML mit Grafiken, Text und PDF). Das Paket enthält folgende Programme:


{| class=wiki
{| class=wiki
Zeile 18: Zeile 18:
[[image:lire_architektur01.jpg|framed|right|Die Architektur von Lire]] Lire eignet sich zur Logdateianalyse sehr vieler [[Netzwerkdienste]], die so untereinander auch vergleichbar werden.
[[image:lire_architektur01.jpg|framed|right|Die Architektur von Lire]] Lire eignet sich zur Logdateianalyse sehr vieler [[Netzwerkdienste]], die so untereinander auch vergleichbar werden.


Lire ermöglicht die Planung von Hardware-Upgrades und eignet sich zur Entdeckung von Unregelmässigkeiten beim Gebrauch von Netzwerkdiensten. Unter anderem werden die Logdateiformate folgender Netzwerkdienste unterstützt.


Lire enables you to schedule hardware upgrades, detect anomalities in usage from services. It can be used as a tool in building a traffic-based accounting system for external customers. It gives insight in who's talking to who, which is valuable for marketing and business planners.
{| class=wiki
 
! Netzwerkdienst !! Unterstützte Programme
>Lire currently supports log files from
|-
 
| WWW || [[Apache HTTP Server]], Boa, Microsoft IIS
    * www (apache, IIS, Boa)
|-
    * dns (bind v8 and v9 querylogs)
| DNS || bind v8 und v9 querylogs)
    * firewall (cisco IOS, Linux ipchains ipfilter and iptables, BSD IP Filter, WELF from Webtrends)
|-
    * email (Exim, Postfix, qmail, sendmail, Netscape Messaging Server, ArGoSoft)
| Firewall || Cisco IOS; Linux ipchains, ipfilter und iptables; BSD IP Filter; WELF von Webtrends
    * print (CUPS, LPRng)
|-
    * ftp (ProFTPD, WU-FTPD, MS IIS)
| E-Mail || Exim, [[Postfix]], [[qmail]], [[sendmail]], Netscape Messaging Server, Argosoft
    * proxy (squid, WELF proxies, MS ISA)
|-
    * database (MySQL)
| Drucken || [[CUPS]], [[Lprng]]
          o Lire also supports various output formats for the generated reports: HTML, XHTML, XML, PDF and plain ASCII. Some of these formats support graphical representation of the data.
|-
 
| FTP || Proftpd, Wu-ftpd, Microsoft IIS
 
|-
 
| Proxy || [[Squid]], WELF Proxies, Microsoft ISA
|-
| Datenbanken || [[Mysql]]
|}


im Betriebssystem sowie von Webservern, Mailservern oder Datenbanken, die sämtliche eigene Logdateien führen.
Lire unterstützt verschiedene Ausgabeformate für die erzeugten Berichte (HTML, XHTML, XML, PDF, ASCII-Text), wobei einige dieser Formate auch eine grafische Darstellung der Daten unterstützen.


Das Programm ist in Perl und Bash geschrieben und setzt besonders auf XML. Es arbeitet in mehreren Schritten:
Das Programm ist in Perl und Bash geschrieben und setzt besonders auf XML. Es arbeitet in mehreren Schritten:
Zeile 45: Zeile 49:


Zu den besonderen Stärken von Lire gehört sein modularer Aufbau, der es beispielsweise erlaubt, verschiedene Implementationen desselben Dienstes (z. B. Exim und Postfix) miteinander zu vergleichen.
Zu den besonderen Stärken von Lire gehört sein modularer Aufbau, der es beispielsweise erlaubt, verschiedene Implementationen desselben Dienstes (z. B. Exim und Postfix) miteinander zu vergleichen.





Version vom 8. August 2009, 18:39 Uhr

Das Paket Lire ist in Perl geschrieben und dient der Logdateianalyse von Netzwerkdiensten. Aufgrund seines modularen Aufbaus kann es auch um eigene Module erweitert werden. Unter anderem erstellt Lire auch eine Statistik, die Rückschlüsse auf Angriffe zulässt und gibt Informationen über Zugriffe von Suchmaschinen-Robotern. Die Ergebnisse können in verschiedenen Formaten ausgegeben werden (u. a. HTML mit Grafiken, Text und PDF). Das Paket enthält folgende Programme:

lire Konfiguration von Lire und Aktivierung der automatischen Berichtserzeugung.
lr_cron Ablauf der in einem "DLF store" konfigurierten regelmässigen Jobs.
lr_log2report Erzeugt aus einer Logdatei einen Bericht.
  • "lr_log2report --help dlf-converters" zeigt die verfügbaren DLF-Konverter.
  • "lr_log2report --help output-formats" zeigt die verfügbaren Ausgabeformate (u. a. HTML, PDF, Text, XML).
lr_run Ausführen eines Lire-Programms und Behandlung der Logausgaben.

Funktionsweise

Die Architektur von Lire

Lire eignet sich zur Logdateianalyse sehr vieler Netzwerkdienste, die so untereinander auch vergleichbar werden.

Lire ermöglicht die Planung von Hardware-Upgrades und eignet sich zur Entdeckung von Unregelmässigkeiten beim Gebrauch von Netzwerkdiensten. Unter anderem werden die Logdateiformate folgender Netzwerkdienste unterstützt.

Netzwerkdienst Unterstützte Programme
WWW Apache HTTP Server, Boa, Microsoft IIS
DNS bind v8 und v9 querylogs)
Firewall Cisco IOS; Linux ipchains, ipfilter und iptables; BSD IP Filter; WELF von Webtrends
E-Mail Exim, Postfix, qmail, sendmail, Netscape Messaging Server, Argosoft
Drucken CUPS, Lprng
FTP Proftpd, Wu-ftpd, Microsoft IIS
Proxy Squid, WELF Proxies, Microsoft ISA
Datenbanken Mysql

Lire unterstützt verschiedene Ausgabeformate für die erzeugten Berichte (HTML, XHTML, XML, PDF, ASCII-Text), wobei einige dieser Formate auch eine grafische Darstellung der Daten unterstützen.

Das Programm ist in Perl und Bash geschrieben und setzt besonders auf XML. Es arbeitet in mehreren Schritten:

  • Die Logdateien werden in einem "Distilled Log Format / DLF" normalisiert. Lire 2.0.2 besitzt 38 Eingabeformate, ein neuer Dienst lässt sich einfach hinzufügen, indem ein entsprechender Konverter für das DLF-Format geschrieben wird.
  • Die Logdateien werden mit generischen Werkzeugen für verschiedene Dienste analysiert.
  • Das Ausgabeformat ist XML.
  • Die XML-Dateien lassen sich in das jeweils gewünschte Logdatei-Format überführen.

Zu den besonderen Stärken von Lire gehört sein modularer Aufbau, der es beispielsweise erlaubt, verschiedene Implementationen desselben Dienstes (z. B. Exim und Postfix) miteinander zu vergleichen.


           Lire represents the log file in a DLF file (for Distilled Log Format). This is a simple space-separated line-oriented ASCII file. Each logged event is represented by one fixed-fields line. A service coincides with one well-defined raw log file format. Each service has its 2dlf-convertor. A superservice is a class of applications which share the same DLF format, and which will give the same reports. A Lire report consists of several subreports, which can be displayed in graphical form, or as a table. A lot of subreports (144, as of march 2002) come with Lire predefined, but of course you can define your own reports. A report definition is written in the Lire Report Specification Markup Language; it looks like e.g.
           [...]
            <lire:report-calc-spec>
              <lire:group sort="-mail_volume" limit="$domain_to_show">
                 <lire:field name="to_domain"/>
                 <lire:sum name="mail_volume" field="size"/>
              </lire:group>
            </lire:report-calc-spec>
           [...] 
           We plan to ship Lire version 1.0 in June 2002. This release will enable the merging of reports stored in a report datawarehouse, in order to solve problems one frequently encounters in complex networked environments. Lire 1.0 will offer industry-strength log file analysis.
           Figure 2. A subreport from the www superservice.
           LogReport offers an Online Responder service. You can send (compressed) logfiles in email messages to dedicated addresses, like <log@postfix.logreport.org> and get a report back as a response. Optionally, you can anonimize the log before submitting it, using a simple script which comes with Lire. Logs can be submitted via an HTTP file upload interface as well.
           2. The LogReport Project
           If you like Lire, you can help! We need log files to test our code, and to be able to add support for more services. Of course we also welcome code contributions. Contact us if you would like to share your code.
           Finally: Fund us: Funding from the NLnet Foundation which currently enables us to spend a lot of time on Lire will run out in the near future. Other ways to support Lire's continued development are possible too, of course. Contact us if you're interested.

Installation

Ubuntu 8.04 Hardy Heron

Damit auch Grafiken korrekt erzeugt werden, muss vor Lire zuerst das Paket "ploticus" installiert werden.

$ sudo apt-get install ploticus
$ sudo apt-get install lire

Konfiguration

Die Konfiguration von Lire findet über das Programm "lire" statt. Durch Drücken der Taste "F10" oder "CTRL+X" erscheint die zugehörige Menüleiste, mit der Tabulator-Taste kann zwischen den verschiedenen Fenstern navigiert werden.

  • Im Menü "Lire > Preferences..." finden sich die allgemeinen Einstellungen.
  • Im Menü "Store > New..." können zur regelmässigen Erzeugung von Berichten sogenannte "DLF stores" angelegt und dazu "import jobs" bzw. "report jobs" hinzugefügt werden.
    • Ein "import job" parst und wandelt bestimmte Logdateien zur weiteren Verarbeitung in die "store database".
    • Ein "report job" verarbeitet die gesammelten Daten, um Berichte herzustellen und zu formatieren.

Die mittels "lire" gemachten Konfigurationseinstellungen werden in der Datei "~/.lire/config.xml" gespeichert. Systemweite Einstellungen werden im Verzeichnis "/etc/lire" gespeichert.

Verwendung

Anwendungsbeispiele finden sich in der Datei "/usr/share/doc/lire/README".

Aufruf von Lire, um im Ausgabeformat ("-o") "html" die im Format "common" vorliegende Logdatei "/var/log/apache2/access.log" auszugeben und die Ergebnisse in das im aktuellen Verzeichnis liegende Unterverzeichniss "report" zu schreiben. Das Verzeichnis "report" enthält danach unter anderem die Datei "index.html", die über den Webbrowser angesehen werden kann.

$ lr_log2report -o html common /var/log/apache2/access.log report
Parsing log file using common DLF Converter...
Extracted 359 DLF records on 359 lines.
Encountered 359 errors and ignored 0 lines.
Running analysers...
Generating XML report...
Formatting report as html in report...

Weblinks

Vorlage:Weblinks1