wget

Der Shell-Befehl wget ist ein Downloadmanager, der über FTP, HTTP und HTTPS einzelne Dateien über ein Rechnernetz herunterlädt. Das Programm kann einen abgebrochenen Herunterladevorgang wieder aufnehmen, vollständige Webseiten mit Bildern sowie vollständige Websites herunterladen, etwa zur Archivierung. Zusätzlich kann über das Angeben einer IP-Adresse Multipath Routing genutzt, ein Webbrowser vorgetäuscht oder es können automatisch zufällig lange Pausen eingelegt werden.

gwget ist eine grafische Oberfläche für wget.

Konfiguration

Die systemweiten Voreinstellungen für wget werden in der Datei "/etc/wgetrc" vorgenommen.

Benutzerbezogene Voreinstellungen werden über die Datei "~/.wgetrc" vorgenommen.

Optionen

Option	Beschreibung
-A	(accept) Angabe einer Liste mit Endungen von herunterzuladenenden Dateien.
-b	(background) wget läuft im Hintergrund, auch nach Abmeldung vom Rechner.
-E	(extension) Heruntergeladene Dateien werden mit der Endung ".html" versehen, auch wenn die Dateien auf dem Originalrechner dynamisch erzeugt wurden und gar keine Endung besitzen.
--http-passwd=	Mitgeben eines Passworts
--http-user=	Mitgeben eines Benutzernamens
-i	Angabe einer Datei, welche die URLs der herunterzuladenden Dateien enthält.
-k	Nach dem Herunterladen werden links so umgewandelt, dass sie fürs lokale Ansehen passen. Verknüpfungen zu ebenfalls heruntergeladenen Dateien werden über einen relativen Pfad referenziert; nicht heruntergeladene Dateien behalten ihren vollständigen URL.
-l 2	(level) Rekursionstiefe (hier zwei Verzeichnisebenen).
--limit-rate=20k	Festlegung, wie viele KByte pro Sekunde für das Herunterladen zur Verfügung stehen.
-nH	(no Host) anstatt auf der eigenen Platte für jede URL ein eigenes Verzeichnis anzulegen, wird alles im aktuellen Verzeichnis gespeichert.
-o logfile	Die Protokolldatei wird in die Datei "logfile" geschrieben. Ohne Angabe wird das Log standardmässig in die Datei "wget-log" im aktuellen Verzeichnis geschrieben.
-p	Zusätzlich zu den heruntergeladenen Dateien werden auch die darin enthaltenen Bilder mit heruntergeladenen, auch wenn sie sich in in anderen Verzeichnisebenen befinden.
-Q40m	Begrenzung der Gesamtgrösse des Download-Volumens auf 40 MB.
-R	(reject) Angabe einer Liste mit Endungen von nicht herunterzuladenden Dateien.
-r	(recursive) Verfolgen "lokaler" Links auf dem Server und rekursive Spiegelung.

Verwendung

Herunterladen der Dateien "1.jpg", "2.jpg" usw. und Speichern der Dateien als "A1.jpg", "A2.jpg" usw.

$ for i in $(seq 1 10); do wget -O A${i}.jpg https://server.xy/${i}.jpg; done

Herunterladen der Seite "index.html" sowie aller dort eingebetteten links mit einer Rekursionstiefe von 1.

$ wget -r -l 1 www.linux-user.de

Es werden nur Dateien mit den Endungen "jpg", "png" und "gif" heruntergeladen. Die zuerst ebenfalls heruntergeladene Datei "index.html" wird am Ende wieder gelöscht.

$ wget -r -l 1 -A jpg,png,gif www.linux-user.de

Dateien mit den Endungen "avi", "mpg" und "wmv" werden nicht heruntergeladen.

$ wget -r -l 1 -R avi,mpg,wmv www.linux-user.de

Herunterladen dynamisch erzeugter Inhalte als Datei "story?storyid=11629.html".

$ wget -E http://www.linux-community.de/Neues/story?storyid=11629

Herunterladen einer Datei über einen Proxy-Rechner (hier 10.3.0.48 mit Port 8080).

$ export http_proxy=10.3.0.48:8080
$ wget http://ecx.images-amazon.com/images/I/51Z894F9K7L._SL75_.jpg

wget ist nicht interaktiv, erwartet also keine Eingaben des Benutzers. Das ist ein Vorteil, wenn es auf einem entfernten Rechner eingesetzt wird, der über eine SSH-Sitzung gesteuert wird:

1. Aufbau der SSH-Verbindung
2. Start des Programms screen: $ screen
3. Start des Downloads mit dem passenden wget-Befehl
4. Verlassen von Screen mit CTRL+A und einem abschliessenden D
5. Abmelden (gestartete Prozesse laufen im Screen weiter)
6. Beim nächsten Anmelden kann die screen-Sitzung wieder belebt werden: $ screen -r

Weblinks

Herausgeber	Sprache	Webseitentitel	Anmerkungen
GNOME	eng	Gwgetwbm	Alte URL: http://gwget.sourceforge.net/
Wikipedia	ger	Wgetwbm	Enzyklopädischer Artikel
Lars Appel	eng	GNU wget for MPE/iXwbm Examples

• http://linuxers.org/tutorial/wget-proxy-how-run-wget-behind-proxy-server