Wie "legal" ist das Site-Scraping mit cURL?

6062
Chetan Sharma

Vor kurzem habe ich mit cURL experimentiert, und ich habe festgestellt, dass damit viel möglich ist. Ich habe ein kleines Skript erstellt, das eine musikalische Site durchsucht, auf der Online-Songs abgespielt werden. Auf dem Weg meines Experiments habe ich festgestellt, dass es möglich ist, auch die Quelle des Songs zu crawlen. (Diese Website bietet kein Herunterladen).

Ich weiß nur, was zu wissen. Ist es völlig legal, die Websites zu crawlen? I bedeutet, mit http and port '80',

Auf dem Markt sind Downloadmanager verloren gegangen, sie können von fast allen Websites heruntergeladen werden. Alle sind gültig und legal.

11
cURL ist nur ein Werkzeug. Wie legal ist ein Schraubendreher? Greg Hewgill vor 13 Jahren 14
@Greg. Zustimmen. Aber nicht alle Gesetzgeber sind der gleichen Meinung. Thilo vor 13 Jahren 3
Die Rechtmäßigkeit wird von der Gerichtsbarkeit abhängen. Super User ist jedoch kein guter Ort, um rechtlichen Rat einzuholen. Stephen Jennings vor 13 Jahren 7
@musicfreak Ihr Schraubendreher ist genauso legal, es sei denn, die Person, die das Produkt herstellt, ist eine gesetzliche Behörde in Ihrem Land. Vergessen Sie nicht, dass Ihre Interaktion mit Herstellern von Produkten und Herausgebern von Websites nur durch geltende Gesetze geregelt ist und Sie im Wesentlichen niemals einen rechtlich durchsetzbaren Vertrag mit einer Website (oder einem Produkt mit Schrauben) abschließen, das Ihre normalen Rechte ersetzt . Colin Pickard vor 13 Jahren 1

4 Antworten auf die Frage

13
ssube

Die Antwort auf Ihre Frage lautet genau Ja. Die einzige mögliche Ausnahme ist die Kryptografie in Ihrem Land, wenn cURL mit statisch verknüpfter SSL-Unterstützung erstellt wurde oder Sie aus den USA in eines der wenigen Länder exportieren, die als feindlich eingestuft werden.

Das Ablegen der öffentlich sichtbaren Webseiten einer Website ist im Allgemeinen auch legal. Wenn Sie eine Kopie aller Seiten herunterladen, die Sie in Ihrem Browser sehen konnten, treten keine Probleme auf. Wenn Sie bei anderen Anwendungen Probleme verursachen, kann dies als Denial-of-Service-Angriff betrachtet werden. Möglicherweise müssen Sie auch die Bedingungen oder Bedingungen der Website überprüfen. Da Sie sie jedoch bereits herunterladen, um sie anzuzeigen, besteht kein großer Unterschied (im besten Fall eine subtile Technik).

Das Herunterladen von Musik ist jedoch genau das. Egal, ob Sie Limewire, uTorrent, Megaupload, Flashget oder cURL verwenden, Sie laden immer noch Musik herunter. Das ist legal, wenn das Label von Artist / Record dies angibt, wenn Sie eine Lizenz besitzen oder wenn Sie gesetzlich dazu berechtigt sind.

CURL ist also absolut legal. Aber wie alles andere auch, was Sie damit machen, ist vielleicht nicht so.

+1 für ** cURL ist absolut legal. Aber wie bei allem anderen auch, was Sie damit machen, ist vielleicht nicht. ** Nifle vor 13 Jahren 6
In erster Linie hängt es von Ihrer gesetzlichen Gerichtsbarkeit ab. Auf englischsprachigen Websites besteht die Tendenz, eine US-Gerichtsbarkeit anzunehmen, in anderen Ländern ist das Urheberrecht jedoch sehr unterschiedlich. Ich bezweifle, dass die US-Exportbeschränkungen auf diese Frage zutreffen, es sei denn, Sie exportieren cURL als US-Bürger, um den Sie sich keine Sorgen machen müssen. Musik unterscheidet sich auch nicht von Texten, Bildern oder anderen Online-Veröffentlichungen. Medien jeglicher Art können von Personen ohne Erlaubnis des Inhabers des Urheberrechts online veröffentlicht werden. In diesem Fall * verletzen Sie * möglicherweise ihr Urheberrecht, indem Sie sie herunterladen. Colin Pickard vor 13 Jahren 0
3
Sebastián Grignoli

IMDB.com verbietet ausdrücklich die Verwendung solcher Scrapper mit ihrer Website als Teil ihrer Nutzungsbedingungen.

Diese Nutzungsbedingungen versuchen Ihnen auch zu erklären, wie Sie mit ihrer Website verknüpfen können und welche nicht ... Luke Lowrey vor 13 Jahren 5
IMDB kann gerne nach Ihren Wünschen fragen, und Sie können ihren Wünschen nachkommen, wenn Sie möchten. Aber legal haben sie kein Bein, auf dem sie stehen können. Gehen Sie voran und kratzen Sie ihre Website. Colin Pickard vor 13 Jahren 6
@Colin Sind Sie sicher, dass das Scraping von Websites legal ist? Die meisten Sites wie Facebook haben einfach eine TOS, die Nein sagt, Sie können uns nicht kratzen, Sie verklagen uns. Wollen Sie damit sagen, dass sie nicht gegen den Fall gewinnen können, da nur das Site Scraping durchgeführt wird? Pacerier vor 11 Jahren 0
3
Falmarri

Antworten können nicht kommentiert werden, da ich keine Vertreter hier habe, aber mehrere Antworten haben angegeben, dass dies je nach den Nutzungsbedingungen der Website möglicherweise nicht legal ist. Und dies ist eine subtile Technik, aber wenn dies der Fall ist, ist es immer noch legal, aber Sie könnten zivilrechtlich wegen Vertragsverletzung oder Urheberrechtsverletzungen verklagt werden (obwohl Urheberrechtsverletzungen ebenfalls strafbar sein können). Aber im Allgemeinen, nur weil die TOS einer Website sagt, dass Sie nichts tun können, bedeutet das nicht, dass sie die rechtliche Autorität haben, Sie davon abzuhalten.

1
Nucleon

Im Allgemeinen ist es wichtiger, was Sie damit anfangen, als darauf, wie Sie es erwerben. IE, Sie können eine CD kopieren, aber was haben Sie mit dieser CD gemacht? Haben Sie es an jemanden verkauft (illegal) oder haben Sie es einfach auf ein Regal auf Ihrer alten CD gelegt, damit Sie eine nicht verkratzte (legale) Kopie haben. Auch wenn Sie die Musik vollständig besitzen, haben Sie nur das Recht, sie für Ihren eigenen Gebrauch zu kopieren, nicht einmal für andere.

Hier ist eine Frage. Wenn es sich um das Internet handelt, wenn es von jemandem "veröffentlicht" wird, der das Recht hat, es zu veröffentlichen, und es keine Bestimmungen gibt, die es nicht frei verwenden darf (IE a TOS), dann wird es normalerweise als faires Spiel betrachtet um es nicht kommerziell zu nutzen. Was aber, wenn der Inhalt nicht einmal Teil des "sichtbaren" Teils der Webseite ist und Quellenscraping und das Durchsuchen von Ordnern erforderlich ist, um Zugriff darauf zu erhalten. Es kann sich zwar in einem "öffentlichen" Netzwerk befinden und auf nicht sichere Weise zugänglich sein. Das ist fast so, als würde man behaupten, man könne jemandes Haus berauben, weil sie die Tür offen gelassen haben. Dies ist eine ziemlich weiträumige Analogie, die jedoch in gewissem Umfang gültig ist. Wenn auf der Seite keine Links vorhanden sind, könnte argumentiert werden, dass der Inhalt nicht "veröffentlicht" wurde.

Aber das ist wahrscheinlich viel Lärm um nichts, wenn Sie nichts Verrücktes tun oder versuchen, von der Arbeit anderer zu profitieren, dann kümmert es normalerweise niemanden, wenn Sie Kratzer bekommen.

Verwandte Probleme