Neue Fragen mit dem Tag «screen-scraping»

Ich wollte die Liste der Titel, die ich in meiner Wiedergabeliste bei Amazon Music gespeichert habe, archivieren, aber irgendwie scheint es keine integrierte Schnittstelle zu haben, um diese in ein TXT- oder PDF-Format usw. zu exportieren. Aber es ist alles auf meinem Bildschirm, also dachte ich, i...

Ich versuche, dass mein Excel VBA zu einer bestimmten Seite einer Finanzwebsite navigiert, aber ich kann nicht richtig durchklicken oder eine Dropdown-Option in einem "Hover-Menü" auswählen, um zu dieser Seite zu gelangen. Ich habe versucht, ähnliche Fragen zu emulieren, die auf dieser Tafel zu sehe...

In einer früheren Antwort ( vba - html table to excel workheet ) über das Analysieren / Einfügen von HTML-Tabelleninhalten in eine Excel-Tabelle teilte wbeard2 diesen sehr hilfreichen, illustrativen Code. Er / Sie stellt fest, dass die Tabellendaten in Excel eingefügt werden, nicht jedoch die Übersc...

Wenn ich die Geschwindigkeit eines Web-Scrapers auf die Geschwindigkeit eines Menschen reduzieren kann, kann dann ein Dritter zwischen ihnen unterscheiden? Welche anderen Kriterien verwenden Websites, um zwischen Benutzern und Scrapern zu unterscheiden?

Ich plane, einen Bot in vielen separaten parallelen Instanzen auszuführen, und möchte den Speicherbedarf auf einem Minimum halten. Der Bot benötigt nur funktionelles JS und das Laden der Seite, aber nichts Grafisches. Es wird immer nur eine einzige Registerkarte verwendet. Gibt es Einstellungen, die...

Ich weiß, wie man ein GIF speichert, es ist sehr einfach. Einfach rechtsklicken und speichern. Voila! Aber mit diesen neuen animierten PNGs habe ich nicht den Nebelsprung. Ich bin nicht einmal sicher, ob es möglich ist, ohne eine Art Bildschirmkratzer zu verwenden, bei dem ich den gesamten Desktop p...

Ich versuche, die Website und ihren gesamten Inhalt zu kratzen. Die Website i zu kratzen versuchen verwendet cloudflare, also, wenn es E - Mail - Adressen auf der Website sind, es verschleiert wird, und es zeigt, [email protected]wenn ich versuche, mit zu kratzenphp simple_html_dom Wenn ich diese S...

Ich habe nach einer einfachen Möglichkeit gesucht, eine Website in ein paginiertes PDF-Dokument mit auswählbarem Text umzuwandeln. Ich habe viele Browsererweiterungen ausprobiert, aber sie erlauben nur PNG, ganzseitige Screenshots und das Drucken mit Systemdialogfeldern bricht den Stil und das Layou...

Ich möchte wissen, wie man automatisch Text von verschiedenen Websites kopiert. Ich baue eine Datenbank mit Unternehmen auf, die bestimmten Verbänden angehören. Die Website enthält eine Liste von Unternehmen mit der Beschreibung der einzelnen Unternehmen, die ich manuell kopiere. Gibt es eine Möglic...

Ich habe ein paar statische Webseiten, die auf Amazon S3 gehostet werden und sehr häufig aktualisiert werden. Ich möchte ein paar Anti-Scraping-Mechanismen implementieren, wie das Verbot von IPs, die zu viele Anfragen machen oder Anfragen erscheinen, die als Roboter erscheinen. Ich weiß, dass nichts...

Ich habe eine Liste mit 9.000 Webadressen und ein paar Keywords. Ich würde gerne wissen, ob eine Webseite dieses Wort enthält. Idealerweise würde die automatisierte Google-Suche mit einigen Suchoperatoren hervorragend funktionieren, beispielsweise wenn Sie suchen "keyword" site:"https://www.example...

Beispiel für das, auf das ich zugreifen möchte: Ich frage mich nur, ob ich etwas schreiben könnte, das Google mit einer Suchzeichenfolge abfragen würde. Wenn das Zusammenfassungsfeld zurückgegeben wird, rufen Sie nur das ab. Andernfalls rufen Sie die ersten Links ab. Ich denke, das wird "Screen Scr...

Ich versuche, mehrere Seiten, die ein Suchergebnis einer Schlüsselarbeit sind, auszulagern. Ich habe diesen Code geschrieben, erhalte jedoch eine Fehlermeldung, wenn ich ihn ausführte. Error: Application \-defined or object-defined error. Wenn ich auf debug klicke, zeigt es mir die folgende Zeile a...

Ich versuche, httrack zu verwenden, um ein gesamtes Webarchiv von archive.org herunterzuladen. Die Idee ist, nur die Archiv-Links (so viele wie möglich) herunterzuladen, aber nur die Links, die wirklich aus dem Archiv stammen, nicht von der aktuellen Website. Mit anderen Worten, ich möchte nur die L...

Problem Hintergrund Ich habe ein Bildschirm-Scraping-Programm, das Bilder auf meinem Bildschirm identifiziert und nützliche Informationen an mich zurückmeldet. Ich mag um die Anwendung extrem vorsichtig sein, dass ich Screen Scraping bin, weil sie zum Schaben, dll Injektion aktiv aussehen usw. ( Net...

Ich habe eine Solarpaneleinheit, und das Unternehmen, das sie eingerichtet hat ( Fronius ), hat eine Website, auf der ich die vom Solarpanel gesammelten Daten live streamen kann (Aktuelle Leistung, Energie heute, Monats- und Jahresdaten). Ich möchte die Daten von der Website in meinem Haus anzeigen...

Mit DownThemAll! Ich kann alle Links auf einer bestimmten Seite herunterladen und filtern. Nehmen wir an, die Website ist www.google.com und ich möchte alle Suchergebnisse abrufen. Ich habe einen Filter eingerichtet: / search? Q = Dadurch werden alle Suchergebnisse auf dieser Seite (und ein paar Jun...

Ich versuche, 1265-HTML-Dateien auf einmal zu kratzen, um Namen und Beschreibungen von Elementen zu erhalten, die ich auf einer Website habe. Ich habe die Erlaubnis des Großhändlers, Daten dort zu kopieren, aber ich möchte nicht Tage damit verbringen, Beschreibungen zu erhalten. Gibt es eine Möglic...

Ein Freund hat mich gebeten, dieses Forum zu sichern: http://oldforums.comicbookresources.com/ Es wird von vBulletin unterstützt. Dort war etwas Schlimmes passiert, und die Gastgeber möchten nicht mehr als Gastgeber fungieren und reagieren nicht. Es wird jeden Moment dunkel werden. Sie sind wichtig...

Ich versuche, wget eine Seite + Voraussetzungen in einem Format zu speichern, das dem eines Webbrowsers ähnelt: article.html article_files/img.jpg article_files/script.js Ich kann fast dieses Verhalten bekommen, ist aber article.htmldrin article_files. Ist das möglich? Mein unvollständiger Befehl l...

Für meine Arbeit muss ich den Text aus einem großen Buch in Google Books herauskratzen. Das fragliche Buch ist ein sehr altes Buch und nicht urheberrechtlich geschützt. Das Buch ist ein Gazetteer der Welt. Wir werden den Text in eine Datenbank schreiben, also brauchen wir den Rohtext anstelle des PD...

Gibt es eine Möglichkeit, einen Bericht über die Fehler zu speichern, die Windows in einem USB-Stick gefunden und behoben hat? Windows präsentierte mir diesen Dialog, der übrigens nicht skalierbar ist: . Einige Probleme wurden gefunden und behoben. Wenn ich die Details öffne, gibt es eine lange List...

Ich kann den gesamten Fenstertext mit WinGetText () lesen, aber ich versuche, den Text an der aktuellen Mausposition abzurufen. Ich habe einige Beispiele in den AutoHotKey-Foren gefunden, aber sie sind alle sehr alt (von 2007-2009) und die Beispiele funktionieren nicht mehr, und in vielen Fällen si...

Ich möchte meine Kontoauszüge automatisch herunterladen. Meine Bankgebühren fallen monatlich für den Zugriff auf OFX an, also habe ich überlegt, die Datenpunkte auf andere Weise zu sammeln (Skripting, Screen Scraping), aber ich möchte wissen, ob dies in den USA legal ist. Hat jemand einen Einblick?

Ich bin auf der Suche nach einer Online-Startseite oder einer Chrome-Erweiterung, die eine iGoogle-Startseite anzeigt, aber ich kann Inhalte von anderen Seiten auswählen. Auf dieselbe Weise kann ich mit AdBlock ein div-Element auswählen, das gesperrt werden soll - ich möchte ein div-Element auswähle...

Ich verwende das IRobot-Kratzwerkzeug, um einige Daten von der Website zu erhalten, aber aus irgendeinem Grund kommt es nicht. Ich denke, das Problem der Proxy-Einstellungen kann mir jeder helfen, wie ich die Proxy-Einstellungen des IRobot-Kratzwerkzeugs ändern kann.

Es gibt einen Online- Atlas, aus dem ich Werte extrahieren möchte. Der Atlas bietet ein Werkzeug ('Query') zum Extrahieren von Werten, wenn Sie auf einen Ort klicken oder einen Bereich auf der Karte einschließen, oder Sie können den Breiten- / Längengrad eines Punkts angeben, an dem der Wert gewünsc...

Diese Frage ist in der gleichen Richtung wie diese: Programm zum Lesen von Daten aus gescannten Diagrammen In letzter Zeit tauchen immer mehr interaktive Diagramme im Internet auf. Schauen Sie sich folgendes an: http://www.finanzen.net/zertifikate/zertifikate_emittenten_detail.asp?inEmNr=47 Meine Fr...

Also benutze ich den Chrome / Chromium Browser (Put könnte Firefox verwenden, wenn nötig). Ich schaue mir Webseiten an, die "on the fly" mit (vermutlich) AJAX erstellt wurden (denken Sie darüber nach, wie Sie auf Facebook nach unten scrollen und Dinge einfach weiter erscheinen und erscheinen). Ich m...

Ich habe im Internet nach einer einfachen Lösung gesucht, aber es scheint, dass jeder seine eigene Methode (Programmiersprache) hat, um dies zu erreichen. Ich fange gerade erst an, um Linux zu lernen, und meine Programmierkenntnisse sind völlig unzureichend (nicht vorhanden). Ich liebe die Einfachhe...