wget: Unterschied zwischen den Versionen
Michi (Diskussion | Beiträge) |
Michi (Diskussion | Beiträge) |
||
| (Eine dazwischenliegende Version desselben Benutzers wird nicht angezeigt) | |||
| Zeile 46: | Zeile 46: | ||
== Verwendung == | == Verwendung == | ||
Herunterladen der Dateien "1.jpg", "2.jpg" usw. und Speichern der Dateien als "A1.jpg", "A2.jpg" usw. | |||
$ <b>for i in $(seq 1 10); do wget -O A${i}.jpg https://server.xy/${i}.jpg; done</b> | |||
Herunterladen der Seite "index.html" sowie aller dort eingebetteten links mit einer Rekursionstiefe von 1. | Herunterladen der Seite "index.html" sowie aller dort eingebetteten links mit einer Rekursionstiefe von 1. | ||
| Zeile 84: | Zeile 88: | ||
* [http://www.editcorp.com/Personal/Lars_Appel/wget/v1/wget_7.html Examples]}} | * [http://www.editcorp.com/Personal/Lars_Appel/wget/v1/wget_7.html Examples]}} | ||
{{Fuss}} | {{Fuss}} | ||
* http://linuxers.org/tutorial/wget-proxy-how-run-wget-behind-proxy-server | |||
{{cat|Downloadmanager}} | {{cat|Downloadmanager}} | ||
{{cat|Shell-Befehl}} | {{cat|Shell-Befehl}} | ||
Aktuelle Version vom 10. Juli 2021, 12:27 Uhr
Der Shell-Befehl wget ist ein Downloadmanager, der über FTP, HTTP und HTTPS einzelne Dateien über ein Rechnernetz herunterlädt. Das Programm kann einen abgebrochenen Herunterladevorgang wieder aufnehmen, vollständige Webseiten mit Bildern sowie vollständige Websites herunterladen, etwa zur Archivierung. Zusätzlich kann über das Angeben einer IP-Adresse Multipath Routing genutzt, ein Webbrowser vorgetäuscht oder es können automatisch zufällig lange Pausen eingelegt werden.
gwget ist eine grafische Oberfläche für wget.
Konfiguration
Die systemweiten Voreinstellungen für wget werden in der Datei "/etc/wgetrc" vorgenommen.
Benutzerbezogene Voreinstellungen werden über die Datei "~/.wgetrc" vorgenommen.
Optionen
| Option | Beschreibung |
|---|---|
| -A | (accept) Angabe einer Liste mit Endungen von herunterzuladenenden Dateien. |
| -b | (background) wget läuft im Hintergrund, auch nach Abmeldung vom Rechner. |
| -E | (extension) Heruntergeladene Dateien werden mit der Endung ".html" versehen, auch wenn die Dateien auf dem Originalrechner dynamisch erzeugt wurden und gar keine Endung besitzen. |
| --http-passwd= | Mitgeben eines Passworts |
| --http-user= | Mitgeben eines Benutzernamens |
| -i | Angabe einer Datei, welche die URLs der herunterzuladenden Dateien enthält. |
| -k | Nach dem Herunterladen werden links so umgewandelt, dass sie fürs lokale Ansehen passen. Verknüpfungen zu ebenfalls heruntergeladenen Dateien werden über einen relativen Pfad referenziert; nicht heruntergeladene Dateien behalten ihren vollständigen URL. |
| -l 2 | (level) Rekursionstiefe (hier zwei Verzeichnisebenen). |
| --limit-rate=20k | Festlegung, wie viele KByte pro Sekunde für das Herunterladen zur Verfügung stehen. |
| -nH | (no Host) anstatt auf der eigenen Platte für jede URL ein eigenes Verzeichnis anzulegen, wird alles im aktuellen Verzeichnis gespeichert. |
| -o logfile | Die Protokolldatei wird in die Datei "logfile" geschrieben. Ohne Angabe wird das Log standardmässig in die Datei "wget-log" im aktuellen Verzeichnis geschrieben. |
| -p | Zusätzlich zu den heruntergeladenen Dateien werden auch die darin enthaltenen Bilder mit heruntergeladenen, auch wenn sie sich in in anderen Verzeichnisebenen befinden. |
| -Q40m | Begrenzung der Gesamtgrösse des Download-Volumens auf 40 MB. |
| -R | (reject) Angabe einer Liste mit Endungen von nicht herunterzuladenden Dateien. |
| -r | (recursive) Verfolgen "lokaler" Links auf dem Server und rekursive Spiegelung. |
Verwendung
Herunterladen der Dateien "1.jpg", "2.jpg" usw. und Speichern der Dateien als "A1.jpg", "A2.jpg" usw.
$ for i in $(seq 1 10); do wget -O A${i}.jpg https://server.xy/${i}.jpg; done
Herunterladen der Seite "index.html" sowie aller dort eingebetteten links mit einer Rekursionstiefe von 1.
$ wget -r -l 1 www.linux-user.de
Es werden nur Dateien mit den Endungen "jpg", "png" und "gif" heruntergeladen. Die zuerst ebenfalls heruntergeladene Datei "index.html" wird am Ende wieder gelöscht.
$ wget -r -l 1 -A jpg,png,gif www.linux-user.de
Dateien mit den Endungen "avi", "mpg" und "wmv" werden nicht heruntergeladen.
$ wget -r -l 1 -R avi,mpg,wmv www.linux-user.de
Herunterladen dynamisch erzeugter Inhalte als Datei "story?storyid=11629.html".
$ wget -E http://www.linux-community.de/Neues/story?storyid=11629
Herunterladen einer Datei über einen Proxy-Rechner (hier 10.3.0.48 mit Port 8080).
$ export http_proxy=10.3.0.48:8080 $ wget http://ecx.images-amazon.com/images/I/51Z894F9K7L._SL75_.jpg
wget ist nicht interaktiv, erwartet also keine Eingaben des Benutzers. Das ist ein Vorteil, wenn es auf einem entfernten Rechner eingesetzt wird, der über eine SSH-Sitzung gesteuert wird:
- Aufbau der SSH-Verbindung
- Start des Programms screen: $ screen
- Start des Downloads mit dem passenden wget-Befehl
- Verlassen von Screen mit CTRL+A und einem abschliessenden D
- Abmelden (gestartete Prozesse laufen im Screen weiter)
- Beim nächsten Anmelden kann die screen-Sitzung wieder belebt werden: $ screen -r
Weblinks
| Herausgeber | Sprache | Webseitentitel | Anmerkungen |
|---|---|---|---|
 GNOME |
eng | Gwgetwbm | Alte URL: http://gwget.sourceforge.net/ |
 Wikipedia |
ger | Wgetwbm | Enzyklopädischer Artikel |
| Lars Appel |
eng | GNU wget for MPE/iXwbm |