So kopieren Sie automatisch Text von verschiedenen Websites

1002
BDstat

Ich möchte wissen, wie man automatisch Text von verschiedenen Websites kopiert. Ich baue eine Datenbank mit Unternehmen auf, die bestimmten Verbänden angehören. Die Website enthält eine Liste von Unternehmen mit der Beschreibung der einzelnen Unternehmen, die ich manuell kopiere. Gibt es eine Möglichkeit, ein Makro zu erstellen und dieses automatisch zu erstellen, da immer wieder derselbe Vorgang wiederholt wird.

Oder weiß jemand, in welcher Sprache ich etwas Ähnliches entwickeln könnte? Vielen Dank,

4

2 Antworten auf die Frage

2
duenni

Sie suchen nach einer Technik namens web scraping. Sie können dies verwenden, um Daten von Websites zu sammeln, die keine APIs zum Abrufen der Daten bieten. Es gibt viele Werkzeuge dafür und es gibt auch viele Bibliotheken für verschiedene Sprachen (zB BeautifulSoupPython). Beachten Sie, dass Sie möglicherweise rechtmäßig mit rechtlichen Problemen konfrontiert werden, wenn Sie eine Site ohne Erlaubnis ständig kratzen.

Vielleicht sehen Sie sich Powershell und Invoke-WebRequest an. ZB `$ a = Invoke-WebRequest -Uri http://superuser.com/questions/1182298/how-to-automatically-copy-text-from-different-websites`` $ a | get-member` Sie könnten also eine Liste von Links mit `$ a.links` usw. erhalten ... HelpingHand vor 7 Jahren 0
2
Bobby231

Bei "Software Recommendations" gibt es eine Liste guter Web-Scraping-Anwendungen, die alle das können, was Sie brauchen.

Wenn Sie gerade mit dem Bildschirm-Scraping beginnen, sind Werkzeuge mit einem Rekorder möglicherweise am besten. Dadurch wird vermieden, dass alle Selektoren manuell erstellt werden. Es gibt jedoch keine Lösung, die auf magische Weise mit jeder Website funktioniert. Selbst die Tools mit einem Rekorder erfordern oft einige Anpassungen für jede Seite.

Verwandte Probleme