Verteilte, dezentrale Datenfreigabe und Sicherung

1834
CAFxX

Stellen Sie sich das folgende Szenario vor: Sie haben ein Team von wenigen Leuten, die auf der ganzen Welt verstreut sind und mit den gleichen Daten arbeiten müssen. Jedes Mitglied des Teams hat eine Kopie der benötigten Daten. Wenn jemand an einigen Daten Änderungen vornimmt, muss er diese Daten mit den anderen Mitgliedern synchronisieren, die mit den gleichen Daten arbeiten. Einige der Daten, über die die Teammitglieder verfügen, sind "privat", in dem Sinne, dass dies nur für ein einzelnes Mitglied nützlich ist (und daher gibt es nur eine Kopie davon). Dennoch kann es für andere Mitglieder in der Zukunft und daher nützlich sein eine Sicherungskopie wäre nützlich.

Angesichts dieser Situation suche ich nach einer Möglichkeit, eine dezentrale Freigabe (dh eine Art Speicherlaufwerk, sei es lokal oder über das Netzwerk) zu haben, auf die alle Benutzer mit Zugriffsrechten schreiben und lesen können. (Wir sprechen derzeit über 3-4 Benutzer, aber es kann in naher Zukunft wachsen)

Der "dezentrale" Teil bedeutet, dass wir keinen Server haben, auf dem eine herkömmliche Freigabe ausgeführt werden kann. Daher muss er auf unseren Computern direkt laufen (und diese sind häufig ausgeschaltet). Dies bedeutet, dass jede lokale Freigabe funktionieren sollte, auch wenn zu diesem Zeitpunkt kein anderer Knoten verfügbar ist.

Wir brauchen dies aus einer Reihe von Gründen, vor allem aber aus folgenden Gründen:

  1. Wir haben eine Menge Daten, an denen wir täglich arbeiten (lesen / ändern / schreiben), und wir möchten, dass sie synchronisiert werden
  2. Wir haben eine Menge Daten (beide werden von mehreren Benutzern gemeinsam oder privat genutzt), von denen wir eine Sicherungskopie haben möchten, möglicherweise aus der Ferne
  3. Wir haben keine Verbindungen, die schnell genug sind, um jedes Mal, wenn wir sie benötigen oder ändern, alles von einem Server oder einem anderen Knoten abzurufen / zu übertragen (transparentes lokales Caching, differentielle Komprimierung)

Die meisten von uns arbeiten an Windows-Maschinen, daher wäre eine Windows-kompatible Lösung vorzuziehen. Irgendwelche Ideen?

5
Einige Punkte korrigiert und geklärt CAFxX vor 13 Jahren 0
Nur aus Neugierde, denn Ihre Herausforderung ist interessant: Um welche Art von Daten handelt es sich bei welcher Arbeit? Torben Gundtofte-Bruun vor 13 Jahren 0
Wir arbeiten hauptsächlich an Web-Entwicklung und Multimedia-Projekten. Der überwiegende Teil der Daten besteht aus Videos, Fotos und Projektdateien (z. B. AI / PSD / AEP / PRPROJ). CAFxX vor 13 Jahren 0

4 Antworten auf die Frage

2
Wells

Was für eine großartige Frage! Dieser Themenbereich kann verwirrend sein, weil es so viele verschiedene Technologien und Optionen gibt. Sie weisen darauf hin, dass so viele von Ihnen Ihre speziellen Anforderungen nicht erfüllen.

Lokaler verteilter Speicher - kontinuierliche Dateisynchronisierung

Wenn ich Ihre Bedürfnisse verstehe, arbeiten mehrere Personen auf ihrer eigenen lokalen Festplatte mit TBs von Daten . Aber Sie möchten, dass es funktioniert, WENN es nur eine Festplatte gibt, die für alle gleich ist und lokal ist . Wenn eine Person eine Datei hinzufügt oder ändert, haben alle Benutzer diese neue Datei oder ändern sich (fast) sofort auf ihren lokalen Festplatten.

ViceVersa Software - 49,95 US-Dollar

Ich glaube, die ViceVersa-Software von TGRMN Software wird dies für Sie tun: http://www.tgrmn.com/web/file_synchronization.htm Für 59,95 USD pro Benutzer (49,95 USD pro Person für 2-5 Benutzer) ist dies sicherlich erschwinglich. Es ist auf MS Windows beschränkt. (Ich habe kein finanzielles Interesse an TGRMN, aber ein starkes Interesse an der Synchronisierung und Sicherung über das Internet.)

Es ist wirklich dezentral. Sie richten Ihr WAN ein, vermutlich ein VPN. (Nachfolgend finden Sie eine einfachere Option für PogoPlug.) Auf jedem PC legen Sie fest, welche Verzeichnisse bidirektional synchronisiert werden sollen. Ich glaube, Sie möchten es so einrichten, dass die neueste Datei ihre älteren, unveränderten Dateien überschreibt. ViceVersa ist so intelligent, dass Sie den Konflikt manuell korrigieren, wenn sich eine Datei sowohl in Quelle als auch in Ziel ändert.

Dateikonflikte bei der Synchronisation

Dateikonflikte sind potenziell ein großes Problem in einer dezentralisierten, synchronisierten Welt. Sie müssen kluge Entscheidungen für den Umgang mit Löschungen treffen . Wenn Sie eine Datei löschen, möchten Sie, dass sie von allen anderen PCs gelöscht wird? Wenn jemand anderes an einem Dokument gearbeitet hat und Sie es löschen, bevor es auf der Festplatte gespeichert wird, was möchten Sie dann tun? Ich glaube, dass ViceVersa Ihnen alle Möglichkeiten gibt, aber Sie müssen deren Wirkung verstehen und mit Bedacht wählen.

Ich bin neugierig auf diese Situation. Angenommen, Sie haben auf jedem der drei PCs in Ihrem WAN einen Ordner "Docs": A, B und C. Sie haben eine kontinuierliche bidirektionale Synchronisierung zwischen Docs auf A und Docs auf B eingerichtet. Die gleiche Synchronisierung wird zwischen B und C eingerichtet. Und das gleiche für C und A.

Jetzt fügen Sie eine Datei zu A in Docs hinzu. Nehmen wir an, sie wird zuerst mit B und etwas später mit einer langsameren Verbindung mit C synchronisiert. Jetzt versucht B, die Datei mit C zu synchronisieren, aber C hat die Datei bereits und ist es Es ist wirklich wichtig, dass B und C jeweils erkennen, dass sie dieselbe Datei haben und dass sie NICHT synchronisiert werden müssen.

Sie können potenzielle Probleme vermeiden, die sich aus diesen Dreiwege-Verbindungen ergeben, indem Sie einen PogoPlug oder ein anderes Gerät als Hub verwenden.

Verwenden von ViceVersa mit PogoPlug oder NAS als Hub

Die folgende Option kann von Interesse sein, wenn Sie die Komplexität der Einrichtung eines VPN und der Synchronisierung zwischen jedem Computerpaar vermeiden möchten. Sie können ein großes USB-Laufwerk und sogar mehrere an einen PogoPlug angeschlossene USB-Laufwerke als Laufwerkbuchstaben auf allen Ihren PCs anzeigen lassen. (Amazon bietet gute Preise für PogoPlug in Höhe von etwa 80 US-Dollar.)

Siehe: www.pogoplug.com

Richten Sie ViceVersa auf jedem PC so ein, dass es mit dem Laufwerk P:, dem USB-Laufwerk des PogoPlugs, synchronisiert wird. Der Antrieb dient nur als Vermittler. Sie können dasselbe mit einem NAS-Gerät tun, aber der PogoPlug lässt sich erstaunlich einfach einrichten und verbinden. Jeder Ihrer Benutzer kann den PogoPlug hosten, indem Sie ihn an einen Port seines Kabelmodems oder Switches anschließen. Sie benötigen keinen PC, damit der PogoPlug verfügbar ist. Es verbindet sich nicht mit einem PC, sondern direkt mit dem Internet.

Aspera hat ein gutes Bild, das diese Konfiguration zeigt, aber statt eines großen Servers in der Mitte stellen Sie sich einen PogoPlug für 79 USD und mehrere TB-USB-Laufwerke in der Mitte vor:

www.asperastaging.info/images/connect_deployment_thb.png

Mögliche Alternativen

Ich habe einige mögliche Alternativen gefunden, aber keine so vielversprechende, einfache oder erschwingliche Alternative wie ViceVersa und PogoPlug.

FileReplicationPro Schreckliche Website, zumindest in FireFox 495,00 $

www.filereplicationpro.com/_cart/products.cfm

Aspera

www.asperastaging.info/de/products/client_software_2/aspera_connect_8

Peer-Software

www.peersoftware.com/purchase/registration.aspx

Dies ist übrigens mein erster Beitrag zu Super User. Ich hoffe, andere finden es trotz seiner Länge nützlich und stimmberechtigt!

1
dStulle

Eine andere Möglichkeit, wenn Sie über eine große Datenmenge verfügen oder Ihre Daten nicht auf Servern von Drittanbietern ablegen möchten, ist das Erstellen einer eigenen Dropbox:

http://fak3r.com/2009/09/14/howto-build-your-own-open-source-dropbox-clone/

0
RedGrittyBrick

Dafür verwende ich ein NAS-Gerät.

NAS

Die besten (und die teuersten) scheinen Synology oder QNAP zu sein, aber es gibt viele Anbieter. Es gibt NAS-Geräte in einer Vielzahl von Preisen und Kapazitäten. Viele von ihnen unterstützen mehrere Festplatten mit mindestens RAID-0 oder RAID-1 und können auf anderen NAS- oder Dateiservern sichern.

Ich persönlich bevorzuge einen NAS, der ohne spezielle auf dem PC installierte Client-Software arbeitet und Windows-, MAC- und Linux-Clients unterstützt.

Für eine Handvoll PCs ist etwas wie eine Synology DS210J eine Überlegung wert, aber dies ist keine Produktempfehlung - es gibt viele gute Marken und viele gute Produkte.

Wolke

Eine andere Möglichkeit ist die Anmietung von internetbasierten Online-Cloud-Speichern. ZB Amazon S3, Google Storage, Mozy, DriveHQ, I2drive ...

Lokaler verteilter Speicher

Es gibt zwar ein verteiltes Dateisystem, das die konsistente Verfügbarkeit von Daten auf zeitweilig aktiven Computern gewährleistet, aber ich vermute, dass es schwieriger ist, es als ein NAS einzurichten.

Surfnet hat einen interessanten Überblick

BitTorrent

In Wikipedia zu BitTorrent und diesem Artikel erfahren Sie, wie Sie große Dateien mit Ihren Freunden teilen können (privat).

Wir können NAS nicht verwenden, weil wir nicht in demselben LAN sind und wie ich in der Frage gesagt habe, dass wir nicht so schnelle Verbindungen zwischen uns haben. Wir können nicht auf Cloud-basierte Dienste zurückgreifen, da es sich um TBs von Daten handelt, die extrem kostspielig wären. Lokal verteilter Speicher ist der Weg zu gehen (ich habe es in der Frage nicht namentlich erwähnt, aber das ist eigentlich das, worüber ich gesprochen habe). CAFxX vor 13 Jahren 0
Siehe oben unter BitTorrent RedGrittyBrick vor 13 Jahren 0
BitTorrent ist nicht geeignet, da wir die Daten * bearbeiten * müssen (dh lesen / modifizieren / schreiben) und die Änderungen so schnell wie möglich für alle repliziert werden müssen: Der manuelle Prozess des Einrichtens eines Torrents für jeden einzelnen Benutzer Datei, die wir ändern, ist nicht möglich. Die Übersicht, die Sie über verteilte Speichersysteme bezogen haben, mag nützlich sein, aber ich fürchte, ich habe Wikipedia bereits nach allen durchsucht, und alle haben einige Nachteile, die sie ungeeignet machen: Meistens ist das Vorhandensein eines zentralen Servers (oder eines anderen SPF) ), dh sie sind verteilt, aber nicht dezentral. CAFxX vor 13 Jahren 0
0
dStulle

Am einfachsten ist dies, wenn Sie Dropbox verwenden . Es synchronisiert automatisch freigegebene Ordner und erstellt Backups.

Leider ist dies nicht machbar, weil wir (wie ich die vorige Antwort von RedGrittyBrick kommentierte) von TBs sprechen. Und das wären 200 $ / Monat / TB (vorausgesetzt, Sie können einen solchen Plan tatsächlich erhalten, der Höchstwert scheint 0,1 TB zu sein). CAFxX vor 13 Jahren 0

Verwandte Probleme