Rekursiver Download (`wget -r`) für Firefox?

32112
rascher

Ich habe eine Website und möchte alle Seiten / Links dieser Website herunterladen. Ich möchte einen wget -rauf diese URL machen. Keiner der Links geht außerhalb dieses spezifischen Verzeichnisses, so dass ich mir keine Sorgen mache, das gesamte Internet herunterzuladen.

Die Seiten, die ich möchte, befinden sich hinter dem passwortgeschützten Bereich der Website. Während ich wget verwenden könnte, um diese Cookie-Aushandlung manuell durchzuführen, wäre es viel einfacher für mich, sich einfach über den Browser "anzumelden" und ein Firefox-Plugin zu verwenden, um alles rekursiv herunterzuladen.

Gibt es eine Erweiterung oder etwas, das mich dies tun lässt? Viele Erweiterungen konzentrieren sich auf das Abrufen von Medien / Bildern von der Seite (heh. Heh.), Aber ich interessiere mich für den gesamten Inhalt - HTML und alles.

Vorschläge?

Vielen Dank!

Bearbeiten

DownThemAll scheint ein cooler Vorschlag zu sein. Kann es einen rekursiven Download durchführen? Laden Sie alle Links auf der Seite herunter und laden Sie dann alle auf jeder dieser Seiten enthaltenen Links herunter usw.? Damit ich im Grunde den gesamten Verzeichnisbaum spiegele, indem ich Links folge? Irgendwie mag die -rOption wget?

14

3 Antworten auf die Frage

7
Shibu

DownThemAll doesn't do recursive downloading. It only grabs links from the current page. Only the HTML page of the linked URLS are downloaded. The linked pages' images and media are not downloaded.

6
nik

SpiderZilla soll das tun - aber es ist ein bisschen alt (2006).
Es basiert auf dem HTTrack-Website-Kopierer .
Welche hat Versionen für alle Plattformen aktualisiert .

Es gibt auch ein anderes älteres Addon, mit dem Sie sich wgetselbst ' ' einstecken können (ua).

Allerdings finde ich auch, dass DownThemAll wahrscheinlich eine gute Wahl ist.
Wenn Sie wissen, was Sie spiegeln möchten, sollte die Auswahl der richtigen Links kein Problem sein.
Sie können auch das Kontrollkästchen "Alle" aktivieren.

Also +1 für DownThemAll, wenn Sie sich an den Browser halten möchten.
Verwenden Sie HTTrack, wenn Sie ein Standalone-Tool möchten (und wget nicht praktisch ist).

Update: Sie können auch auf HTTrack Stimmen bei dieser Prämie Frage aussehen wollen,
Wie kann ich eine ganze Website herunterladen .

DTA unterstützt keine Rekursion Hayden Thring vor 9 Jahren 0
3
user

Sie können wget -rCookies vom Browser verwenden, die nach der Autorisierung extrahiert werden.

Firefox hat die Option "Als cURL kopieren" im Kontextmenü der Seitenanforderung auf der Registerkarte "Netzwerk" der Web Developer Tools, Tastenkombination Strg + Umschalt + Q (möglicherweise müssen Sie die Seite nach dem Öffnen der Tools erneut laden): Bildschirmfoto

Ersetzen Sie das Header-Flag von curl -Hdurch wget --header, und Sie haben alle erforderlichen Header, einschließlich Cookies, um die Browsersitzung mit wget fortzusetzen.

Verwandte Probleme