Haben Sie sich jemals gefragt, ob es eine Möglichkeit gibt, eine Website ohne Webbrowser herunterzuladen? Du hast Glück. Mit der Leistung der Linux-Befehlszeile ist alles möglich. Es gibt mehrere Methoden, um diese Aufgabe abzuschließen, aber wir konzentrieren uns in diesem Artikel auf wget.
Was ist wget?
wget ist ein GNU-Befehlszeilenprogramm zum Abrufen von Inhalten von Webservern. Als Downloader ist wget an sich sehr mächtig. wget kann mit mehreren Protokollen wie HTTP, HTTPS und FTP arbeiten. Weitere Funktionen des Dienstprogramms wget sind:
- Fähigkeit, leise oder im Hintergrund zu laufen
- integriert in Linux-Skripte oder CRON-Jobs
- kann mehrere Downloads gleichzeitig ausführen
- lädt Dateien herunter, für die ein Kennwort erforderlich ist
Warum wget?
Während es eine Vielzahl von Tools gibt, die Website-Aktivitäten ausführen können, bietet wget einen breiten Anwendungsbereich. Es gibt dem Benutzer die Möglichkeit, ohne Webbrowser zu funktionieren, indem:
- Herunterladen einer vollständigen Kopie einer Website
- Herunterladen einer bestimmten Datei von einer Website
- Automatisieren des Abrufs einer Datei bei Bedarf
- Abrufen eines Dokuments von einem Authentifizierungsportal
wget ist auch in die meisten Linux-Distributionen integriert, sodass es von Anfang an verfügbar ist und keine weitere Installation erforderlich ist.
wget Grundlagen
Der Einstieg in wget ist ziemlich einfach. Öffnen Sie zunächst ein Linux-Terminal.
Sobald ein Terminalfenster geöffnet ist, können Sie wget wie folgt ausführen:
wget URL
Ersetzen Sie “URL” durch die genaue URL der Website.
Verwenden Sie a, um eine teilweise heruntergeladene Datei fortzusetzen -c Schalten Sie Ihren Befehl wie folgt ein:
wget -c URL
Fügen Sie das hinzu, um Ihren Wget-Download stumm zu schalten -q Wechseln Sie zu Ihrem anfänglichen wget-Befehl:
wget -q URL
Wenn Sie nicht sicher sind, ob die Optionen in wget ordnungsgemäß verwendet werden, verwenden Sie Folgendes:
wget --help
Neben Websites können Sie eine Datei auch mit wget herunterladen. Zum Beispiel:
wget https://example.com/file.zip
Es würde einfach die Datei greifen und sie im aktuellen Verzeichnis speichern.
Wenn Sie an einem anderen Dateinamen oder an einem anderen Ort speichern möchten, verwenden Sie die -O Flagge.
wget https://example.com/file.zip -O ~/Documents/my_downloaded_file.zip
FTP-Optionen
Wie bereits erwähnt, unterstützt wget auch FTP. Wenn Sie nur eine FTP-Site angeben:
wget ftp://ftp.example.com
wget geht davon aus, dass Sie eine anonyme Anmeldung wünschen. Alternativ können Sie Dinge wie Benutzername und Passwort manuell mit den folgenden Flags angeben:
-
--ftp-user=USER: Gibt den Benutzernamen für die Anmeldung an -
--ftp-password=PASS: Gibt das Passwort an -
--no-passive-ftp: Deaktiviert den passiven Übertragungsmodus
Zeitüberschreitungen, Wiederholungen und fehlgeschlagene Downloads
Schließlich bietet wget verschiedene Optionen für Serververbindungsprobleme und Zeitüberschreitungen. Natürlich können nicht alle Fehler behoben werden, aber die folgenden Flags sollen bei der Behebung von Serverproblemen helfen:
-
--tries=NUMBER: Gibt an, wie oft der Download wiederholt werden soll -
--retry-connrefused: Wiederholt den Download, auch wenn die Verbindung vom Server abgelehnt wird -
--timeout=SECONDS: globale Einstellung – wie lange vor Zeitüberschreitungen gewartet werden soll -
--wait=SECONDS: wie lange zwischen erfolgreichen Downloads gewartet werden soll (wenn wiederholt)
Wer würde wget verwenden?
Wenn Sie diesen Beitrag lesen, denken Sie vielleicht: „Das klingt kompliziert und weitaus schwieriger als die Verwendung eines Webbrowsers“, aber jeder kann dieses Dienstprogramm verwenden, sei es als Systemadministrator oder als Programmierer. Im Folgenden finden Sie zwei Beispiele dafür, wie ich diesen Befehl im Laufe meines Tages verwende, wobei sich meine Rolle manchmal ändert.
Dies erleichtert mir die Arbeit als Sicherheitsforscher, da ich diesen Befehl so planen kann, dass mehrere Websites gleichzeitig heruntergeladen werden. Ich kann dies tun, indem ich eine Textdatei (mit einem beliebigen Texteditor) erstelle, die eine Reihe von URLs in einer Liste enthält (eine URL pro Zeile). Durch Ausführen des folgenden Befehls mit dem -i wechseln, wget lädt jede Website in der Liste herunter.
wget -i download_file_name URL
Als Systemadministrator kann ich problemlos Dokumente von kennwortgeschützten Speicherorten abrufen. Dies hilft Ihnen möglicherweise nicht so gut offline, aber wenn Sie wget allow ausführen, können Sie einer Site Anmeldeinformationen hinzufügen.
wget --user=user_id --password=user_password URL
Hier hast du es! War es so schwierig wie du gedacht hast? Wenn Sie Ihre Aktionen mit wget automatisieren können, sparen Sie Zeit und können auch offline arbeiten. Was hast du zu verlieren?
Hinterlassen Sie unten einen Kommentar und teilen Sie uns mit, ob Sie dies nützlich fanden.
