Zusammenstellung einer Liste von Links auf einer Website und deren Gültigkeit

489
Malfist

Ich möchte meine Website crawlen und eine Liste der internen und ausgehenden Links sowie des endgültigen Ziels und des HTTP-Codes (zumindest für interne Links) erstellen. Wie kann ich das machen?

Bitte beachten Sie: Der Inhalt der Seite interessiert mich nicht, es sei denn, Links darin zu finden.

-1
Software-Empfehlungen werden hier nicht ausgeführt. Da ich dein Bild mag, schau mal hier http://wummel.github.io/linkchecker/ Matthew Williams vor 10 Jahren 0
Linkchecker bereits ausprobiert, ich kann keine Liste aller Links auf der Seite ausspucken. Ich überprüfe nur, ob sie gültig sind, und meldet Fehler. Malfist vor 10 Jahren 0
Bitte zeigen Sie, was Ihre Forschung Ihnen sagt und was Sie bereits versucht haben. slhck vor 10 Jahren 0

1 Antwort auf die Frage

1
Awal Garg

Folgendes könnte in Betracht gezogen werden:

http://www.httrack.com - Obwohl es zum Herunterladen von Websites entwickelt wurde, können Sie einfach einen Bericht mit allen Links erstellen.

http://scrapy.org/download/ - Dies ist (meiner Meinung nach) am besten für Ihre Bedürfnisse geeignet.

Ich habe HtTrack persönlich unter Windows verwendet. Es ist auch für Linux verfügbar. Wenn Sie weitere Details benötigen, fügen Sie einen Kommentar hinzu.

Während scrappy funktionieren würde, akzeptierte ich diese Antwort. Ich habe jedoch ein Werkzeug benutzt, das Sitemaps generiert. Malfist vor 10 Jahren 0

Verwandte Probleme