Befehlszeilen-HTTP-Crawler für Windows?

1443
Pekka 웃

Mögliches Duplikat:
Wie kann ich eine gesamte Website herunterladen?

Hat jemand eine Empfehlung für einen Website-Crawler, der aufgerufen und mit Einstellungen von der Befehlszeile aus ausgestattet werden kann?

Dies muss in einer Windows-Umgebung ausgeführt werden.

Das Speichern der Daten, das Durchführen von Stylesheet-Links usw. ist kein Problem. Ich brauche den Crawler nur, um mit einer Seite zu beginnen, sie zu analysieren und allen Links auf derselben Domain zu folgen, sodass am Ende alle Seiten der Site einmal angefordert wurden.

Hintergrund: Ich richte eine Website ein, die häufig von einem Bürostandort aus hochgeladen wird. Es kombiniert Daten aus verschiedenen Quellen und verfügt über mehrere Cache-Ebenen. Ich möchte nicht, dass der erste Benutzer, der die Website nach einem erneuten Upload besucht, warten muss, bis die Seite generiert und im Cache gespeichert wurde.

1

1 Antwort auf die Frage

2
grawity

wget --mirror

wget überrascht mich immer wieder: D Prost, werde dies zuerst versuchen. Pekka 웃 vor 13 Jahren 0

Verwandte Probleme