Alle Links einer Website auf einer anderen Website auflisten

621
Jeegar Patel

Es gibt zwei Websites.

1) www.aa.com 2) www.bb.com

Nun gibt es so viele Links zu aa.com und seinen Webseiten auf bb.com

aa.com/blhahhaa.html aa.com/beautifulday.html aa.com

also möchte ich diese Liste herausfinden.

Gibt es dafür irgendwelche Skripte oder Werkzeuge? eine Idee, wie man ein solches Werkzeug entwickelt?

Dies ist etwas, wie Google alle Websites crawlen, aber hier möchte ich nur eine Website crawlen.

-1
Produktberatung Fragen sind nicht Thema. Es liest sich auch, als hätten Sie keine Nachforschungen angestellt. Ja, dies ist zwar möglich, aber Sie müssen wahrscheinlich eine Sprache lernen, wenn Sie kein Skript finden (ich schreibe diese Anwendungen häufig in .NET). Dave vor 10 Jahren 1

1 Antwort auf die Frage

2
Szymon Toda

Wenn Sie unter Linux laufen, würde ich die Bash- Skriptleseseite mit wget verwenden und analysieren, indem Sie nach Links suchen und dann diese Verknüpfungen durchforsten. Nutzen Sie Google dafür, es gibt viele fertige Skripte.

Wenn ich unter Windows Ihre bevorzugte Sprache mit der cURL- Erweiterung verwenden würde, um stattdessen den Seiteninhalt zu erhalten wget. Wenn Sie die Wiki-Seite lesen, wird die "Siehe auch" -Seite auch zu weitergeleitet wget. Grabe es.

PS: Diese Frage scheint wenig faul zu sein.

Verwandte Probleme