wget
Der Shell-Befehl wget ist ein Downloadmanager, der über FTP, HTTP und HTTPS einzelne Dateien über ein Rechnernetz herunterlädt. Das Programm kann einen abgebrochenen Herunterladevorgang wieder aufnehmen, vollständige Webseiten mit Bildern sowie vollständige Websites herunterladen, etwa zur Archivierung. Zusätzlich kann über das Angeben einer IP-Adresse Multipath Routing genutzt, ein Webbrowser vorgetäuscht oder es können automatisch zufällig lange Pausen eingelegt werden.
gwget ist eine grafische Oberfläche für wget.
Konfiguration
Die systemweiten Voreinstellungen für wget werden in der Datei "/etc/wgetrc" vorgenommen.
Benutzerbezogene Voreinstellungen werden über die Datei "~/.wgetrc" vorgenommen.
Optionen
| Option | Beschreibung |
|---|---|
| --http-passwd= | Mitgeben eines Passworts |
| --http-user= | Mitgeben eines Benutzernamens |
| -k | Nach dem Herunterladen werden links so umgewandelt, dass sie fürs lokale Ansehen passen. Verknüpfungen zu ebenfalls heruntergeladenen Dateien werden über einen relativen Pfad referenziert; nicht heruntergeladene Dateien behalten ihren vollständigen URL. |
| --limit-rate=20k | Festlegung, wie viele KByte pro Sekunde für das Herunterladen zur Verfügung stehen. |
| -nH | (no Host) anstatt auf der eigenen Platte für jede URL ein eigenes Verzeichnis anzulegen, wird alles im aktuellen Verzeichnis gespeichert. |
| -Q40m | Begrenzung der Gesamtgrösse des Download-Volumens auf 40 MB. |
| -r | Verfolgen "lokaler" links auf dem Server und rekursive Spiegelung. |
Verwendung
Herunterladen der Seite "index.html" sowie aller dort eingebetteten links mit einer Rekursionstiefe von 1.
$ wget -r -l 1 www.linux-user.de
Es werden nur Dateien mit den Endungen "jpg", "png" und "gif" heruntergeladen. Die zuerst ebenfalls heruntergeladene Datei "index.html" wird am Ende wieder gelöscht.
$ wget -r -l 1 -A jpg,png,gif www.linux-user.de
Dateien mit den Endungen "avi", "mpg" und "wmv" werden nicht heruntergeladen.
$ wget -r -l 1 -R avi,mpg,wmv www.linux-user.de
wget ist nicht interaktiv, erwartet also keine Eingaben des Benutzers. Das ist ein Vorteil, wenn es auf einem entfernten Rechner eingesetzt wird, der über eine SSH-Sitzung gesteuert wird:
- Aufbau der SSH-Verbindung
- Start des Programms Screen: $ screen
- Start des Downloads mit dem passenden wget-Befehl
- Verlassen von Screen mit CTRL+A und einem abschliessenden D
- Abmelden (gestartete Prozesse laufen im Screen weiter)
- Beim nächsten Anmelden kann die Screen-Sitzung wieder belebt werden: $ screen -r
Weblinks
- Gwget (Sourceforge.net)