Neue Fragen mit dem Tag «screen-scraping»

Insgesamt gefunden 36 Fragen

0
Bewertungen
0
Antworten
398
Ansichten

Screen Scraping oder HTML-Export zum Ablegen einer langen Liste von der Webseite in ein beliebiges Textformat; Amazon Musik

Ich wollte die Liste der Titel, die ich in meiner Wiedergabeliste bei Amazon Music gespeichert habe, archivieren, aber irgendwie scheint es keine integrierte Schnittstelle zu haben, um diese in ein TXT- oder PDF-Format usw. zu exportieren. Aber es ist alles auf meinem Bildschirm, also dachte ich, i...
fragte curious_cat vor 5 Jahren

0
Bewertungen
0
Antworten
428
Ansichten

Navigieren / Klicken durch Hover-Dropdowns auf einer Website

Ich versuche, dass mein Excel VBA zu einer bestimmten Seite einer Finanzwebsite navigiert, aber ich kann nicht richtig durchklicken oder eine Dropdown-Option in einem "Hover-Menü" auswählen, um zu dieser Seite zu gelangen. Ich habe versucht, ähnliche Fragen zu emulieren, die auf dieser Tafel zu sehe...

1
Bewertungen
0
Antworten
388
Ansichten

So fügen Sie HTML-Überschriften in Excel ein

In einer früheren Antwort ( vba - html table to excel workheet ) über das Analysieren / Einfügen von HTML-Tabelleninhalten in eine Excel-Tabelle teilte wbeard2 diesen sehr hilfreichen, illustrativen Code. Er / Sie stellt fest, dass die Tabellendaten in Excel eingefügt werden, nicht jedoch die Übersc...
fragte Reservist72 vor 5 Jahren

0
Bewertungen
1
Antwort
300
Ansichten

Kann eine Website zwischen einem Web-Scraper und einem legitimen Benutzer auf einer anderen Grundlage als der Geschwindigkeit des Durchlaufens unterscheiden?

Wenn ich die Geschwindigkeit eines Web-Scrapers auf die Geschwindigkeit eines Menschen reduzieren kann, kann dann ein Dritter zwischen ihnen unterscheiden? Welche anderen Kriterien verwenden Websites, um zwischen Benutzern und Scrapern zu unterscheiden?
fragte user239457 vor 5 Jahren

0
Bewertungen
0
Antworten
481
Ansicht

Minimaler Speicherverbrauch in kopflosem Firefox?

Ich plane, einen Bot in vielen separaten parallelen Instanzen auszuführen, und möchte den Speicherbedarf auf einem Minimum halten. Der Bot benötigt nur funktionelles JS und das Laden der Seite, aber nichts Grafisches. Es wird immer nur eine einzige Registerkarte verwendet. Gibt es Einstellungen, die...

0
Bewertungen
3
Antworten
1035
Ansichten

Auf einigen Websites werden anstelle von GIFs animierte PNG-Dateien angezeigt. Wie kann ich sie speichern / herunterladen?

Ich weiß, wie man ein GIF speichert, es ist sehr einfach. Einfach rechtsklicken und speichern. Voila! Aber mit diesen neuen animierten PNGs habe ich nicht den Nebelsprung. Ich bin nicht einmal sicher, ob es möglich ist, ohne eine Art Bildschirmkratzer zu verwenden, bei dem ich den gesamten Desktop p...

0
Bewertungen
0
Antworten
501
Ansicht

Wie kratzen Sie E-Mails von "Websites mit Cloudflare" ab? was gibt [email geschützt]

Ich versuche, die Website und ihren gesamten Inhalt zu kratzen. Die Website i zu kratzen versuchen verwendet cloudflare, also, wenn es E - Mail - Adressen auf der Website sind, es verschleiert wird, und es zeigt, [email protected]wenn ich versuche, mit zu kratzenphp simple_html_dom Wenn ich diese S...
fragte AMB vor 6 Jahren

0
Bewertungen
0
Antworten
389
Ansichten

Webseite zu paginiert, Text-PDF

Ich habe nach einer einfachen Möglichkeit gesucht, eine Website in ein paginiertes PDF-Dokument mit auswählbarem Text umzuwandeln. Ich habe viele Browsererweiterungen ausprobiert, aber sie erlauben nur PNG, ganzseitige Screenshots und das Drucken mit Systemdialogfeldern bricht den Stil und das Layou...

4
Bewertungen
2
Antworten
995
Ansichten

So kopieren Sie automatisch Text von verschiedenen Websites

Ich möchte wissen, wie man automatisch Text von verschiedenen Websites kopiert. Ich baue eine Datenbank mit Unternehmen auf, die bestimmten Verbänden angehören. Die Website enthält eine Liste von Unternehmen mit der Beschreibung der einzelnen Unternehmen, die ich manuell kopiere. Gibt es eine Möglic...

-3
Bewertungen
3
Antworten
747
Ansichten

Wie implementiere ich Anti-Scraping-Mechanismen für meine Amazon S3-basierte Site?

Ich habe ein paar statische Webseiten, die auf Amazon S3 gehostet werden und sehr häufig aktualisiert werden. Ich möchte ein paar Anti-Scraping-Mechanismen implementieren, wie das Verbot von IPs, die zu viele Anfragen machen oder Anfragen erscheinen, die als Roboter erscheinen. Ich weiß, dass nichts...

0
Bewertungen
0
Antworten
335
Ansichten

So können Sie feststellen, ob mehrere Websites ein Keyword enthalten

Ich habe eine Liste mit 9.000 Webadressen und ein paar Keywords. Ich würde gerne wissen, ob eine Webseite dieses Wort enthält. Idealerweise würde die automatisierte Google-Suche mit einigen Suchoperatoren hervorragend funktionieren, beispielsweise wenn Sie suchen "keyword" site:"https://www.example...

3
Bewertungen
1
Antwort
852
Ansichten

Wie heißt das Informationsfeld von Google (Bild innen)? Gibt es ein API, um über eine Google-Suche darauf zuzugreifen?

Beispiel für das, auf das ich zugreifen möchte: Ich frage mich nur, ob ich etwas schreiben könnte, das Google mit einer Suchzeichenfolge abfragen würde. Wenn das Zusammenfassungsfeld zurückgegeben wird, rufen Sie nur das ab. Andernfalls rufen Sie die ersten Links ab. Ich denke, das wird "Screen Scr...

0
Bewertungen
1
Antwort
495
Ansichten

Fehler beim Web Scraping-Makro

Ich versuche, mehrere Seiten, die ein Suchergebnis einer Schlüsselarbeit sind, auszulagern. Ich habe diesen Code geschrieben, erhalte jedoch eine Fehlermeldung, wenn ich ihn ausführte. Error: Application \-defined or object-defined error. Wenn ich auf debug klicke, zeigt es mir die folgende Zeile a...
fragte haytham vor 8 Jahren

0
Bewertungen
1
Antwort
1168
Ansichten

Httrack-Filterlinks mit bestimmten Mustern

Ich versuche, httrack zu verwenden, um ein gesamtes Webarchiv von archive.org herunterzuladen. Die Idee ist, nur die Archiv-Links (so viele wie möglich) herunterzuladen, aber nur die Links, die wirklich aus dem Archiv stammen, nicht von der aktuellen Website. Mit anderen Worten, ich möchte nur die L...

0
Bewertungen
0
Antworten
692
Ansichten

Screen Scraping über Display-Port / Splitter / Monitor-Hardware

Problem Hintergrund Ich habe ein Bildschirm-Scraping-Programm, das Bilder auf meinem Bildschirm identifiziert und nützliche Informationen an mich zurückmeldet. Ich mag um die Anwendung extrem vorsichtig sein, dass ich Screen Scraping bin, weil sie zum Schaben, dll Injektion aktiv aussehen usw. ( Net...

0
Bewertungen
0
Antworten
1146
Ansichten

Empfehlung zu Web-Scraping und Datenfluss

Ich habe eine Solarpaneleinheit, und das Unternehmen, das sie eingerichtet hat ( Fronius ), hat eine Website, auf der ich die vom Solarpanel gesammelten Daten live streamen kann (Aktuelle Leistung, Energie heute, Monats- und Jahresdaten). Ich möchte die Daten von der Website in meinem Haus anzeigen...
fragte trueCamelType vor 9 Jahren

0
Bewertungen
1
Antwort
359
Ansichten

Durchlaufen Sie Seiten automatisch, um gefilterte Links auf einer Website herunterzuladen

Mit DownThemAll! Ich kann alle Links auf einer bestimmten Seite herunterladen und filtern. Nehmen wir an, die Website ist www.google.com und ich möchte alle Suchergebnisse abrufen. Ich habe einen Filter eingerichtet: / search? Q = Dadurch werden alle Suchergebnisse auf dieser Seite (und ein paar Jun...

0
Bewertungen
1
Antwort
1040
Ansichten

Web-Scraping / Crawlen einer bestimmten Website

Ich versuche, 1265-HTML-Dateien auf einmal zu kratzen, um Namen und Beschreibungen von Elementen zu erhalten, die ich auf einer Website habe. Ich habe die Erlaubnis des Großhändlers, Daten dort zu kopieren, aber ich möchte nicht Tage damit verbringen, Beschreibungen zu erhalten. Gibt es eine Möglic...
fragte Jamie vor 9 Jahren

0
Bewertungen
0
Antworten
292
Ansichten

Wie kann ich ein Bulletin Board sichern, das von einem Drittanbieter gehostet wird?

Ein Freund hat mich gebeten, dieses Forum zu sichern: http://oldforums.comicbookresources.com/ Es wird von vBulletin unterstützt. Dort war etwas Schlimmes passiert, und die Gastgeber möchten nicht mehr als Gastgeber fungieren und reagieren nicht. Es wird jeden Moment dunkel werden. Sie sind wichtig...
fragte Ruby vor 9 Jahren

2
Bewertungen
0
Antworten
431
Ansicht

wget legte alle Voraussetzungen in ein flaches Unterverzeichnis, aber nicht auf die Root-Seite?

Ich versuche, wget eine Seite + Voraussetzungen in einem Format zu speichern, das dem eines Webbrowsers ähnelt: article.html article_files/img.jpg article_files/script.js Ich kann fast dieses Verhalten bekommen, ist aber article.htmldrin article_files. Ist das möglich? Mein unvollständiger Befehl l...
fragte Sridhar-Sarnobat vor 9 Jahren

2
Bewertungen
2
Antworten
2415
Ansichten

Web-Scraping / Crawlen eines bestimmten Google-Buchs

Für meine Arbeit muss ich den Text aus einem großen Buch in Google Books herauskratzen. Das fragliche Buch ist ein sehr altes Buch und nicht urheberrechtlich geschützt. Das Buch ist ein Gazetteer der Welt. Wir werden den Text in eine Datenbank schreiben, also brauchen wir den Rohtext anstelle des PD...
fragte user2661243 vor 10 Jahren

4
Bewertungen
4
Antworten
512
Ansichten

Speichern Sie den Bericht von Windows und prüfen Sie den Wechseldatenträger.

Gibt es eine Möglichkeit, einen Bericht über die Fehler zu speichern, die Windows in einem USB-Stick gefunden und behoben hat? Windows präsentierte mir diesen Dialog, der übrigens nicht skalierbar ist: . Einige Probleme wurden gefunden und behoben. Wenn ich die Details öffne, gibt es eine lange List...

1
Bewertungen
1
Antwort
1767
Ansichten

Wie verwende ich AutoHotKey, um den Text an der Mausposition zu lesen?

Ich kann den gesamten Fenstertext mit WinGetText () lesen, aber ich versuche, den Text an der aktuellen Mausposition abzurufen. Ich habe einige Beispiele in den AutoHotKey-Foren gefunden, aber sie sind alle sehr alt (von 2007-2009) und die Beispiele funktionieren nicht mehr, und in vielen Fällen si...
fragte shaneknysh vor 11 Jahren

1
Bewertungen
1
Antwort
968
Ansichten

Ist es legal, Ihre eigenen Kontoauszüge in den USA zu überprüfen?

Ich möchte meine Kontoauszüge automatisch herunterladen. Meine Bankgebühren fallen monatlich für den Zugriff auf OFX an, also habe ich überlegt, die Datenpunkte auf andere Weise zu sammeln (Skripting, Screen Scraping), aber ich möchte wissen, ob dies in den USA legal ist. Hat jemand einen Einblick?
fragte Matt vor 11 Jahren

1
Bewertungen
0
Antworten
242
Ansichten

igoogle-Stilseite mit von anderen Seiten entferntem Inhalt

Ich bin auf der Suche nach einer Online-Startseite oder einer Chrome-Erweiterung, die eine iGoogle-Startseite anzeigt, aber ich kann Inhalte von anderen Seiten auswählen. Auf dieselbe Weise kann ich mit AdBlock ein div-Element auswählen, das gesperrt werden soll - ich möchte ein div-Element auswähle...
fragte ChrisB vor 11 Jahren

0
Bewertungen
1
Antwort
403
Ansichten

IRobot-Schaber

Ich verwende das IRobot-Kratzwerkzeug, um einige Daten von der Website zu erhalten, aber aus irgendeinem Grund kommt es nicht. Ich denke, das Problem der Proxy-Einstellungen kann mir jeder helfen, wie ich die Proxy-Einstellungen des IRobot-Kratzwerkzeugs ändern kann.
fragte vor 11 Jahren

4
Bewertungen
1
Antwort
427
Ansichten

Extrahieren Sie Daten aus einem Online-Atlas

Es gibt einen Online- Atlas, aus dem ich Werte extrahieren möchte. Der Atlas bietet ein Werkzeug ('Query') zum Extrahieren von Werten, wenn Sie auf einen Ort klicken oder einen Bereich auf der Karte einschließen, oder Sie können den Breiten- / Längengrad eines Punkts angeben, an dem der Wert gewünsc...

0
Bewertungen
0
Antworten
384
Ansichten

Programme zum Lesen von Daten aus interaktiven Webkarten

Diese Frage ist in der gleichen Richtung wie diese: Programm zum Lesen von Daten aus gescannten Diagrammen In letzter Zeit tauchen immer mehr interaktive Diagramme im Internet auf. Schauen Sie sich folgendes an: http://www.finanzen.net/zertifikate/zertifikate_emittenten_detail.asp?inEmNr=47 Meine Fr...

6
Bewertungen
2
Antworten
2398
Ansichten

Holen Sie sich den aktuellen HTML-Code der mit AJAX-Anfragen erstellten Seite

Also benutze ich den Chrome / Chromium Browser (Put könnte Firefox verwenden, wenn nötig). Ich schaue mir Webseiten an, die "on the fly" mit (vermutlich) AJAX erstellt wurden (denken Sie darüber nach, wie Sie auf Facebook nach unten scrollen und Dinge einfach weiter erscheinen und erscheinen). Ich m...
fragte Richard vor 11 Jahren

1
Bewertungen
1
Antwort
1166
Ansichten

Alternative, effizientere Scraping-Methode für einen Nicht-Codierer als importxml und xpath von Google Doc.

Ich habe im Internet nach einer einfachen Lösung gesucht, aber es scheint, dass jeder seine eigene Methode (Programmiersprache) hat, um dies zu erreichen. Ich fange gerade erst an, um Linux zu lernen, und meine Programmierkenntnisse sind völlig unzureichend (nicht vorhanden). Ich liebe die Einfachhe...