awk/Einstieg in awk
Ausführen eines awk-Programms
Es gibt mehrere Möglichkeiten, awk über die Befehlszeile aufzurufen:
- Aufruf des Programms ohne Eingabedatei
- Aufruf des Programms mit Eingabedatei
- Aufruf einer Programmdatei mit Eingabedatei
Aufruf des Programms ohne Eingabedatei
awk kann ganz ohne Eingabedatei aufgerufen werden, wobei das Programm dann solange auf die Standardeingabe angewendet wird, bis durch "CTRL+D" das Dateiende angezeigt wird.
awk 'program'
Beispiele
$ awk "BEGIN { print \"Don't panic\" }"
Don't panic
$ awk '{ print }'
Das ist ein Beispiel.
Das ist ein Beispiel.
CTRL+D
Aufruf des Programms mit Eingabedatei
Kurze Programme können von awk direkt über die Befehlszeile ausgeführt werden, wobei das Programm aus einzelnen Mustern und Aktionen besteht. Um das Programm werden einfache Anführungszeichen gesetzt, damit die Shell keine awk-Zeichen als spezielle Shellzeichen interpretiert. Die einfachen Anführunszeichen bewegen die Shell auch dazu, das ganze Programm als ein einzelnes Argument anzusehen, sodass das Programm länger als eine Zeile sein kann.
awk 'program' inputfile1 inputfile2 ...
Aufruf einer Programmdatei mit Eingabedatei
Längere Programme werden besser in eine Datei geschrieben und in dieser Art von awk über die Befehlszeile ausgeführt.
awk -f programfile inputfile1 inputfile2 ...
Beispiel
$ vi advice.awk
BEGIN { print "Don't panic!" }
$ awk -f advice.awk
Don't panic!
Der awk-Befehl kann auch direkt in eine ausführbare Datei geschrieben werden.
$ vi advice.awk
#!/usr/bin/awk -f
# Kommentarzeile, die in der Ausgabe nicht angezeigt wird
BEGIN { print "Don't panic!" }
$ chmod 744 advice.awk
$ ./advice.awk
Don't panic!
Quoting
Einfache und doppelte Anführungszeichen zu mischen ist schwierig. Es bleibt nichts anderes, als gewisse Tricks anzuwenden. Das folgende Beispiel besteht aus drei verknüpften Zeichenketten: die erste und die dritte arbeiten mit einfachen, die zweite mit doppelten Anführungszeichen.
$ awk 'BEGIN { print "Ein einfaches Anführungszeichen: <'"'"'>" }'
Ein einfaches Anführungszeichen: <'>
Diese Schreibweise kann vereinfacht werden zu:
$ awk 'BEGIN { print "Ein einfaches Anführungszeichen: <'\''>" }'
Ein einfaches Anführungszeichen: <'>
Eine weitere Möglichkeit ist es, die eingebetteten doppelten Anführungszeichen zu fluchten:
$ awk "BEGIN { print \"Ein einfaches Anführungszeichen: <'>\" }"
Ein einfaches Anführungszeichen: <'>
Wenn wirklich sowohl einfache wie doppelte Anführungszeichen verwendet werden müssen, ist es am einfachsten, die Befehle in eine eigene Datei zu schreiben, wo die Shell nicht mitinterpretiert.
Einige Beispiele
Suche in der Datei "bbslist" nach der Zeichenkette "foo". Dabei wird der reguläre Ausdruck "/foo/" verwendet, der das Muster "foo" enthält. Ausgegeben ("print") wird jeweils die aktuelle Zeile ("$0") - da "print" ohne Zusatz immer die aktuelle Zeile ausgibt, könnte hier der Zusatz "$0" auch weggelassen werden.
$ awk '/foo/ { print $0 }' bbslist
fooey 555-1234 2400/1200/300 B
foot 555-6699 1200/300 B
macfoo 555-6480 1200/300 A
sabafoo 555-2127 1200/300 C
In einer awk-Regel können entweder das Muster oder die Aktion weggelassen werden, aber nicht beide. Wird das Muster weggelassen, so wird die Aktion für alle Eingabezeilen ausgeführt. Wird die Aktion weggelassen, so werden standardmässig alle Zeilen ausgegeben, auf die das Muster passt.
Ausgabe der Länge der längsten Eingabezeile der Datei "file".
awk '{ if (length($0) > max) max = length($0) }
END { print max }' file
Ausgabe jeder Zeile der Datei "file", die länger ist als 80 Zeichen. Als Muster wird hier ein regulärer Ausdruck verwendet; da kein keine Aktion angegeben wurde, wird die Standardaktion angewendet: das Ausgeben der Zeile.
awk 'length($0) > 80' file
Ausgabe der Länge der längsten Zeile der Datei "file". Die Eingabedatei wird vom Programm expand verarbeitet, um Tabulatoren in Leerschläge umzuwandeln.
expand file | awk '{ if (x < length()) x = length() }
END { print "Die grösste Zeilenlänge ist " x }'
Ausgabe aller Zeilen der Datei "file", die mindestens ein Feld enthalten. So können beispielsweise Leerzeilen aus einer Datei entfernt werden.
awk 'NF > 0' file
Ausgabe von sieben zufälligen Zahlen zwischen 0 und einschliesslich 100.
awk 'BEGIN { for (i = 1; i <= 7; i++)
print int(101 * rand()) }'
Ausgabe der Anzahl Byte in den Dateien "bbslist" und "inventoryshipped".
ls -l bbslist inventoryshipped | awk '{ x+= $5 } ; END {print "Total byte: " x }'
Ausgabe der Anzahl Kilobyte in den Dateien "bbslist" und "inventoryshipped".
ls -l bbslist inventoryshipped | awk '{ x+= $5 }
END {print "Total K-byte: " x/1024 }'
Ausgabe einer Liste mit den Loginnamen aller Benutzer, wobei die Loginnamen erst ab dem dritten Zeichen ausgegeben werden.
awk -F: '{ print substr($1,3) }' /etc/passwd
Zählen der Zeilen ind der Datei "file".
awk 'END { print NR }' file
Ausgabe der Zeilen mit gerader Zeilennummer in der Datei "file".
awk 'NR % 2 == 0' file
Ausgabe der Zeilen mit ungerader Zeilennummer in der Datei "file".
awk 'NR % 2 == 1' file
Beispiel mit zwei Regeln
awk liest aus den Eingabedateien jeweils eine Zeile und versucht darauf die Muster jeder Regel anzuwenden. Wenn mehrere Muster passen, so werden mehrere Aktionen gemäss der Reihenfolge wie sie im awk-Programm erscheinen ausgeführt. Passt kein Muster, so werden keine Aktionen ausgeführt.
Nachdem alle Regeln die auf die Zeile passen ausgeführt wurden (also vielleicht auch keine), liest awk die nächste Zeile. Das geschieht solange, bis awk das Dateiende erreicht.
Das folgende Beispiel hat zwei Regeln. Die erste Regel hat die Zeichenkette "12" als Muster und "print $0" als Aktion. Die zweite Regel hat die Zeichenkette "21" als Muster und "print $0" als Aktion. Die Aktion jeder Regel ist in ihre eigenen Klammern eingeschlossen. Das Programm gibt jede Zeile aus, welche die Zeichenkette "12" oder "21" enthält. Falls eine Zeile beide Zeichenketten enthält, wird sie zweimal ausgegeben, je einmal von jeder Regel.
$ awk '/12/ { print $0 }
/21/ { print $0 }' bbslist
aardvark 555-5553 1200/300 B
alpo-net 555-3412 2400/1200/300 A
barfly 555-7685 1200/300 A
bites 555-1675 2400/1200/300 A
core 555-2912 1200/300 C
fooey 555-1234 2400/1200/300 B
foot 555-6699 1200/300 B
macfoo 555-6480 1200/300 A
sdace 555-3430 2400/1200/300 A
sabafoo 555-2127 1200/300 C
sabafoo 555-2127 1200/300 C
Das Programm könnte aus Gründen der Platzersparnis auch wie folgt geschrieben werden:
$ awk '/12/ { print $0 } ; /21/ { print $0 }' bbslist
Ein komplexeres Beispiel
Das folgende Beispiel zeigt, wie awk verwendet werden kann, um die Ausgabe eines anderen Programms zusammenzufassen, auszuwählen und neu zu ordnen.
Das Programm gibt die totale Anzahl Byte aller Dateien im aktuellen Verzeichnis aus, die zuletzt am 30. Oktober 2007 verändert wurden. Jedes Mal, wenn eine Zeile die Zeichenkette "2007-10-30" als sechstes Feld hat ("$6"), wird die Aktion "sum += $5" ausgeführt, also das fünfte Feld der Ausgabe von "ls -l" zur Variable "sum" hinzugefügt. Nach Verarbeitung der letzten Ausgabezeile von "ls -l" wird die Regel "END" ausgeführt und der Wert der Variable "sum" ausgegeben.
$ ls -l | awk '$6 == "2007-10-30" { sum += $5 }
END { print sum }'
awk Anweisungen und Zeilen
Normalerweise ist jede Zeile eines awk-Programms eine eigene Anweisung oder Regel. Allerdings ignoriert gawk Zeilenschaltungen (newlines) nach jedem der folgenden Zeichen und Schlüsselworte:
, { ? : || && do else
Soll eine einzelne Anweisung an einer Stelle fortgesetzt werden, an der eine Zeilenschaltung sie beenden würde, kann sie stattdessen durch Setzen eines umgekehrten Schrägstrichs ("\") fortgesetzt werden. Der umgekehrte Schrägstrich ist an jeder Stelle der Anweisung erlaubt, sogar mitten in einer Zeichenkette oder einem regulären Ausdruck (davon ist allerdings abzuraten). Er muss dafür allerdings zwingend als letztes Zeichen der Zeile stehen.
$ awk '/Dieser reguläre Ausdruck ist zu lang, setze ihn \
darum auf der nächsten Zeile fort/ { print $1 }'
In gawk gibt es keine Begrenzung der Zeilenlänge, sodass dieses Vorgehen niemals zwingend notwendig ist. Aus Lesbarkeitsgründen kann es dennoch z. B. beim Schreiben von Programmdateien verwendet werden.
awk ist eine zeilenorientierte Programmiersprache. Die Aktion jeder Regel muss auf derselben Zeile beginnen wie das zugehörige Muster. Um Muster und Aktion auf zwei verschiendenen Zeilen anzuzeigen muss zwingend der umgekehrte Schrägstrich verwendet werden.