wget: Unterschied zwischen den Versionen

Aus Mikiwiki
Zur Navigation springen Zur Suche springen
 
(14 dazwischenliegende Versionen desselben Benutzers werden nicht angezeigt)
Zeile 14: Zeile 14:
! width=15% | Option !! Beschreibung
! width=15% | Option !! Beschreibung
|-
|-
| <tt>-A</tt> || Angabe einer Liste von Endungen von herunterzuladenenden Dateien.
| <tt>-A</tt> || (accept) Angabe einer Liste mit Endungen von herunterzuladenenden Dateien.
|-
| <tt>-b</tt> || (background) wget läuft im Hintergrund, auch nach Abmeldung vom Rechner.
|-
| <tt>-E</tt> || (extension) Heruntergeladene Dateien werden mit der Endung ".html" versehen, auch wenn die Dateien auf dem Originalrechner dynamisch erzeugt wurden und gar keine Endung besitzen.
|-
|-
| <tt>--http-passwd=</tt> || Mitgeben eines Passworts
| <tt>--http-passwd=</tt> || Mitgeben eines Passworts
|-
|-
| <tt>--http-user=</tt> || Mitgeben eines Benutzernamens
| <tt>--http-user=</tt> || Mitgeben eines Benutzernamens
|-
| <tt>-i</tt> || Angabe einer Datei, welche die URLs der herunterzuladenden Dateien enthält.
|-
|-
| <tt>-k</tt> || Nach dem Herunterladen werden links so umgewandelt, dass sie fürs lokale Ansehen passen. Verknüpfungen zu ebenfalls heruntergeladenen Dateien werden über einen relativen Pfad referenziert; nicht heruntergeladene Dateien behalten ihren vollständigen URL.
| <tt>-k</tt> || Nach dem Herunterladen werden links so umgewandelt, dass sie fürs lokale Ansehen passen. Verknüpfungen zu ebenfalls heruntergeladenen Dateien werden über einen relativen Pfad referenziert; nicht heruntergeladene Dateien behalten ihren vollständigen URL.
|-
|-
| <tt>-l 2</tt> || Rekursionstiefe (hier zwei Verzeichnisebenen).
| <tt>-l 2</tt> || (level) Rekursionstiefe (hier zwei Verzeichnisebenen).
|-
|-
| <tt>--limit-rate=20k</tt> || Festlegung, wie viele KByte pro Sekunde für das Herunterladen zur Verfügung stehen.
| <tt>--limit-rate=20k</tt> || Festlegung, wie viele KByte pro Sekunde für das Herunterladen zur Verfügung stehen.
|-
|-
| <tt>-nH</tt> || (no Host) anstatt auf der eigenen Platte für jede URL ein eigenes Verzeichnis anzulegen, wird alles im aktuellen Verzeichnis gespeichert.
| <tt>-nH</tt> || (no Host) anstatt auf der eigenen Platte für jede URL ein eigenes Verzeichnis anzulegen, wird alles im aktuellen Verzeichnis gespeichert.
|-
| <tt>-o logfile</tt> || Die Protokolldatei wird in die Datei "logfile" geschrieben. Ohne Angabe wird das Log standardmässig in die Datei "wget-log" im aktuellen Verzeichnis geschrieben.
|-
| <tt>-p</tt> || Zusätzlich zu den heruntergeladenen Dateien werden auch die darin enthaltenen Bilder mit heruntergeladenen, auch wenn sie sich in in anderen Verzeichnisebenen befinden.
|-
|-
| <tt>-Q40m</tt> || Begrenzung der Gesamtgrösse des Download-Volumens auf 40 MB.
| <tt>-Q40m</tt> || Begrenzung der Gesamtgrösse des Download-Volumens auf 40 MB.
|-
|-
| <tt>-r</tt> || Verfolgen "lokaler" Links auf dem Server und rekursive Spiegelung.
| <tt>-R</tt> || (reject) Angabe einer Liste mit Endungen von nicht herunterzuladenden Dateien.
|-
| <tt>-r</tt> || (recursive) Verfolgen "lokaler" Links auf dem Server und rekursive Spiegelung.
|}
|}


== Verwendung ==
== Verwendung ==
Herunterladen der Dateien "1.jpg", "2.jpg" usw. und Speichern der Dateien als "A1.jpg", "A2.jpg" usw.
$ <b>for i in $(seq 1 10); do wget -O A${i}.jpg https://server.xy/${i}.jpg; done</b>


Herunterladen der Seite "index.html" sowie aller dort eingebetteten links mit einer Rekursionstiefe von 1.
Herunterladen der Seite "index.html" sowie aller dort eingebetteten links mit einer Rekursionstiefe von 1.
Zeile 46: Zeile 62:


  $ <b>wget -r -l 1 -R avi,mpg,wmv www.linux-user.de</b>
  $ <b>wget -r -l 1 -R avi,mpg,wmv www.linux-user.de</b>
Herunterladen dynamisch erzeugter Inhalte als Datei "story?storyid=11629.html".
$ <b>wget -E <nowiki>http://www.linux-community.de/Neues/story?storyid=11629</nowiki></b>
Herunterladen einer Datei über einen Proxy-Rechner (hier 10.3.0.48 mit Port 8080).
$ <b>export http_proxy=10.3.0.48:8080</b>
$ <b><nowiki>wget http://ecx.images-amazon.com/images/I/51Z894F9K7L._SL75_.jpg</nowiki></b>


wget ist nicht interaktiv, erwartet also keine Eingaben des Benutzers. Das ist ein Vorteil, wenn es auf einem entfernten Rechner eingesetzt wird, der über eine SSH-Sitzung gesteuert wird:
wget ist nicht interaktiv, erwartet also keine Eingaben des Benutzers. Das ist ein Vorteil, wenn es auf einem entfernten Rechner eingesetzt wird, der über eine SSH-Sitzung gesteuert wird:
Zeile 60: Zeile 85:
{{url|US|GNOME|eng|http://projects.gnome.org/gwget/|Gwget|Alte URL: http://gwget.sourceforge.net/}}
{{url|US|GNOME|eng|http://projects.gnome.org/gwget/|Gwget|Alte URL: http://gwget.sourceforge.net/}}
{{url_dewikipedia|Wget|Wget}}
{{url_dewikipedia|Wget|Wget}}
{{url|US|Lars Appel|eng|http://www.editcorp.com/Personal/Lars_Appel/wget/|GNU wget for MPE/iX|sublink=<br>
* [http://www.editcorp.com/Personal/Lars_Appel/wget/v1/wget_7.html Examples]}}
{{Fuss}}
{{Fuss}}
* http://linuxers.org/tutorial/wget-proxy-how-run-wget-behind-proxy-server




{{cat|Downloadmanager}}
{{cat|Downloadmanager}}
{{cat|Shell-Befehl}}
{{cat|Shell-Befehl}}

Aktuelle Version vom 10. Juli 2021, 12:27 Uhr

Der Shell-Befehl wget ist ein Downloadmanager, der über FTP, HTTP und HTTPS einzelne Dateien über ein Rechnernetz herunterlädt. Das Programm kann einen abgebrochenen Herunterladevorgang wieder aufnehmen, vollständige Webseiten mit Bildern sowie vollständige Websites herunterladen, etwa zur Archivierung. Zusätzlich kann über das Angeben einer IP-Adresse Multipath Routing genutzt, ein Webbrowser vorgetäuscht oder es können automatisch zufällig lange Pausen eingelegt werden.

gwget ist eine grafische Oberfläche für wget.

Konfiguration

Die systemweiten Voreinstellungen für wget werden in der Datei "/etc/wgetrc" vorgenommen.

Benutzerbezogene Voreinstellungen werden über die Datei "~/.wgetrc" vorgenommen.

Optionen

Option Beschreibung
-A (accept) Angabe einer Liste mit Endungen von herunterzuladenenden Dateien.
-b (background) wget läuft im Hintergrund, auch nach Abmeldung vom Rechner.
-E (extension) Heruntergeladene Dateien werden mit der Endung ".html" versehen, auch wenn die Dateien auf dem Originalrechner dynamisch erzeugt wurden und gar keine Endung besitzen.
--http-passwd= Mitgeben eines Passworts
--http-user= Mitgeben eines Benutzernamens
-i Angabe einer Datei, welche die URLs der herunterzuladenden Dateien enthält.
-k Nach dem Herunterladen werden links so umgewandelt, dass sie fürs lokale Ansehen passen. Verknüpfungen zu ebenfalls heruntergeladenen Dateien werden über einen relativen Pfad referenziert; nicht heruntergeladene Dateien behalten ihren vollständigen URL.
-l 2 (level) Rekursionstiefe (hier zwei Verzeichnisebenen).
--limit-rate=20k Festlegung, wie viele KByte pro Sekunde für das Herunterladen zur Verfügung stehen.
-nH (no Host) anstatt auf der eigenen Platte für jede URL ein eigenes Verzeichnis anzulegen, wird alles im aktuellen Verzeichnis gespeichert.
-o logfile Die Protokolldatei wird in die Datei "logfile" geschrieben. Ohne Angabe wird das Log standardmässig in die Datei "wget-log" im aktuellen Verzeichnis geschrieben.
-p Zusätzlich zu den heruntergeladenen Dateien werden auch die darin enthaltenen Bilder mit heruntergeladenen, auch wenn sie sich in in anderen Verzeichnisebenen befinden.
-Q40m Begrenzung der Gesamtgrösse des Download-Volumens auf 40 MB.
-R (reject) Angabe einer Liste mit Endungen von nicht herunterzuladenden Dateien.
-r (recursive) Verfolgen "lokaler" Links auf dem Server und rekursive Spiegelung.

Verwendung

Herunterladen der Dateien "1.jpg", "2.jpg" usw. und Speichern der Dateien als "A1.jpg", "A2.jpg" usw. 

$ for i in $(seq 1 10); do wget -O A${i}.jpg https://server.xy/${i}.jpg; done

Herunterladen der Seite "index.html" sowie aller dort eingebetteten links mit einer Rekursionstiefe von 1. 

$ wget -r -l 1 www.linux-user.de

Es werden nur Dateien mit den Endungen "jpg", "png" und "gif" heruntergeladen. Die zuerst ebenfalls heruntergeladene Datei "index.html" wird am Ende wieder gelöscht. 

$ wget -r -l 1 -A jpg,png,gif www.linux-user.de

Dateien mit den Endungen "avi", "mpg" und "wmv" werden nicht heruntergeladen. 

$ wget -r -l 1 -R avi,mpg,wmv www.linux-user.de

Herunterladen dynamisch erzeugter Inhalte als Datei "story?storyid=11629.html". 

$ wget -E http://www.linux-community.de/Neues/story?storyid=11629

Herunterladen einer Datei über einen Proxy-Rechner (hier 10.3.0.48 mit Port 8080). 

$ export http_proxy=10.3.0.48:8080
$ wget http://ecx.images-amazon.com/images/I/51Z894F9K7L._SL75_.jpg

wget ist nicht interaktiv, erwartet also keine Eingaben des Benutzers. Das ist ein Vorteil, wenn es auf einem entfernten Rechner eingesetzt wird, der über eine SSH-Sitzung gesteuert wird:

  1. Aufbau der SSH-Verbindung
  2. Start des Programms screen: $ screen
  3. Start des Downloads mit dem passenden wget-Befehl
  4. Verlassen von Screen mit CTRL+A und einem abschliessenden D
  5. Abmelden (gestartete Prozesse laufen im Screen weiter)
  6. Beim nächsten Anmelden kann die screen-Sitzung wieder belebt werden: $ screen -r

Weblinks

Herausgeber Sprache Webseitentitel Anmerkungen
GNOME eng Gwgetwbm Alte URL: http://gwget.sourceforge.net/
Wikipedia ger Wgetwbm Enzyklopädischer Artikel
Lars Appel eng GNU wget for MPE/iXwbm
Von «https://mikiwiki.org/mikiwiki/index.php?title=wget&oldid=47732»