Dezentrale, aggregierte, selektiv synchronisierte Speicherlösung

583
aXeL-HH

Ursprünglich wollte ich nur einige ausgewählte Dateien meines 1 TB OneDrive mit meinem Notebook-SSD und alle meine Dateien auf meine externe Festplatte synchronisieren . Cloud-Speicherprogramme (dropbox, gdrive, ondrive, resilio, syncthing ...) scheinen zwei synchronisierte Ordner mit demselben Inhalt auf demselben Gerät nicht zu mögen. Entweder müssen sie entweder mit einer virtuellen Maschine ausgetrickst werden oder nach einem anderen suchen Lösung.

Ich dachte ein bisschen mehr über die ultimative Speicherlösung nach (zumindest für meinen Anwendungsfall) und wurde etwas komplizierter, aber es ist für viele heutzutage ein ziemlich normales Setup:

  • Notebooks mit kleinen Laufwerken
  • Smartphones und Tablets
  • externe Festplatten
  • (NAS)
  • (Cloud-Speicher)
  • SD-Karte (zB von der Kamera)

Aggregation (virtuelles Laufwerk aller verfügbaren Daten)

Auf jedem Speichergerät möchte ich ein virtuelles Heimlaufwerk haben, auf dem alle meine Dateien von allen Geräten zusammengefasst werden. Die aktuellen, aktiven Dokumente, Fotos und Videos sind normalerweise auf allen Geräten synchronisiert, um sie zu organisieren, zu bearbeiten, zu löschen usw. Altes Aufblähen, große Videodateien und Backups befinden sich möglicherweise nur an einem oder zwei Speicherorten mit ausreichend Speicherplatz (NAS, exHDD)., aber immer noch in meinem Heimatlaufwerk angezeigt und sofort verfügbar, wenn der Anschluss ausreichend ist. Eine solche Abstraktionsebene, die die Daten von mehreren Standorten zu einem einzigen Ort zusammenfasst, könnte möglicherweise mit symbolischen Links (mklink) realisiert werden, aber ich denke, dass dies einen erheblichen Verwaltungsaufwand erfordert.

Synchronisation (dezentral, selektiv)

Als nächstes müssen die verschiedenen Datenquellen synchronisiert werden (Dateitabelle immer Dateien und Ordner selektiv), sobald zwei Geräte miteinander kommunizieren können (SSD <-USB-> exHDD // Smartphone <-WiFi-> NAS // ExHDD <-USB & Internet-> Cloud). Ich denke, dass dies mit dem Sync-Verfahren erreicht werden könnte, oder vielleicht sogar mit git (für zusätzliche Versionskontrolle) beginnt . Eine weitere Option wäre nextcloud oder seafile, aber beide sind zentralisierte Ansätze, die ich gerne vermeiden würde. Ich könnte mir Blockchain-Speicher wie Sia oder Storj als gute Konkurrenten vorstellen, würde aber gerne hören, was die Community zu sagen hat. Resilio Sync ist perfekt für den dezentralisierten Sync-Part, aber da es Closed Source ist, denke ich, dass es schwierig sein wird, ihn mit dem Aggregation-Part zu kombinieren.

TL; DR

  • Alle verfügbaren Speicher (SSD, exHDD, NAS, Cloud, Smartphone, ...) in einem virtuellen Ordner (Symlink, MKlink ) zusammenfassen
  • dezentral zwischen Standorten synchronisieren ( syncthing, git)
  • Mit anderen Worten, ich möchte einen Netzwerkordner mit Windows-Offline-Dateien und Slow-Link-Funktionen, jedoch in einer dezentralen Netzwerkinfrastruktur

Wie ist der Status Quo? Habe ich praktikable Lösungen übersehen? Fordere ich das Unmögliche an?

0
Ich glaube nicht, dass es einen Status Quo gibt. Ich denke, Sie finden und verwenden ein Set oder Tools, die für Ihre Bedürfnisse geeignet sind und bei ihnen bleiben. Ich verwende Resilio Sync, Linux mit MDADM, Samba, NFS und Ordnersynchronisierung und bietet alles, was Sie benötigen. Ihr Setup und Ihre Fähigkeiten unterscheiden sich jedoch, so dass die Lösung für Sie möglicherweise anders aussieht. Es gibt viele Möglichkeiten, Dinge zu "enthäuten", Sie müssen nur IHREN Weg finden. Damon vor 6 Jahren 0
@Damon danke, dass du mich in die richtige Richtung zeigst. Haben Sie Tutorials oder andere Ressourcen, die bei der Einrichtung helfen könnten? Haben Sie diesen Prozess automatisiert? Und haben Sie gemischte Ordner (P: \ Ordner1 auf SSD (schnellste), NAS & Cloud, P: \ Ordner2 \ auf NAS (schnellste) & Cloud, P: \ Ordner3 \ in Cloud, P: \ Ordner4 \ auf exHDD ( am schnellsten) und NAS) Resilio kann leider nicht zwei Standorte auf einem Gerät synchronisieren. aXeL-HH vor 6 Jahren 0
Die einzigen proprietären Dinge, die ich verwende, sind Resilio & Folder Sync, der Rest ist Vanillestoff. Die Ordnersynchronisierung ist geplant und automatisiert, Resilio wird nur als Dienst ausgeführt und ist immer "eingeschaltet". Ich bin nicht sicher, was Sie mit Resilio meinen, da es nicht möglich ist, zwei Standorte zu synchronisieren. Ich habe es alle möglichen Dinge zu synchronisieren; Persönliche Ordner, App-Ordner mit benutzerdefinierten Einstellungen, mobile Ordner usw. Zugegeben, ich führe VMs aus, so dass ich technisch über zwei verschiedene Resilio-Instanzen verfügen kann, die sich auf Business vs Home beziehen. Ich werde Resiio in Kürze ausführen, um die Upload-Kapazität zu verbessern. Ich laufe billig von RAID10 auf der Festplatte. nur SSDs für Betriebssysteme auf Workstations. Damon vor 6 Jahren 0
Ich würde sagen, zeichnen Sie Ihre Infrastruktur auf Papier und legen Sie fest, welche Services wo ausgeführt werden, und füllen Sie bei Bedarf Apps und Services aus. Ich habe kein Tutorial. Googeln Sie einfach jedes einzelne Stück. Alles, was ich benutze, ist "kostenlos", obwohl ich für Resilio Sync Pro und Ordner-Synchronisierung bezahlt habe, aber Sie müssen nicht. Ich habe Jahre gebraucht, um sie umzusetzen, aber ich habe mit einem Plan auf Papier angefangen und ihn gerade aktualisiert, als ich mitgegangen bin und neue Dinge gelernt habe. Beginnen Sie einfach bei etwas und bleiben Sie dabei! Damon vor 6 Jahren 0
** reg. Synchronisation von 2 lokalen Ordnern: ** Resilio, Dropbox, OneDrive usw. synchronisieren nicht c: \ ordner1 und d: \ ordner1 (SSD & exHDD oder NAS). Ich verstehe, ihr Protokoll ist aufgrund des Kommunikationsaufwands für eine sichere Internet-Synchronisierung ineffizient und die Dropbox-LAN-Synchronisierung ist eigentlich ziemlich schnell! Ich habe jedoch ein sehr schlechtes Gefühl, wenn ich verschiedene Werkzeuge benutze, die ziemlich dieselbe Aufgabe erledigen, insbesondere. automatisierte Synchronisierung, da dies normalerweise zu Chaos führt, wenn nicht in einer sehr genauen Reihenfolge ausgeführt wird. Ich sehe die Systeme des Benutzers nicht als Entitäten, sondern die Speichergeräte des Benutzers, die (selektiv) synchron sein müssen. aXeL-HH vor 6 Jahren 0
Ich denke, Sie haben Recht, dass Resilio nicht standardmäßig zwei lokale Ordner miteinander synchronisieren kann, obwohl Sie dies möglicherweise umgehen können. Wenn Sie zwei getrennte Synchronisationsmethoden für denselben Ordner verwenden, kann dies zu Verwüstungen führen. Der entscheidende Punkt ist, dass es viele Software-Optionen gibt und es am besten ist, eine Lösung über Hardware, Services und / oder Software je nach Bedarf zu konzipieren, diese Lösung dann zu implementieren und es gibt kein Out-of-the-the- Box-Lösung für Ihre individuellen Bedürfnisse. Damon vor 6 Jahren 0
Sind meine Bedürfnisse so einzigartig? Ich stimme dem absolut nicht zu und sehe das als ein großes Manko der gegenwärtigen Lösungen - ein Problem, das jeder hat, aber niemand macht sich stark genug darum oder weiß, dass es ein Problem ist oder lösbar ist. Am besten zu sehen, wie Menschen Fotos organisieren. Einige Fotos hier, einige Fotos (Smartphone, Dropbox, Ondrive, NAS, exHDD, inSSD, SD-Karten), Datenbanken von Picasa, Iphoto, Lightroom usw. zeigen auf verschiedene Verzeichnisse. Eine selbstorganisierende Aufbewahrungslösung wäre sehr zu schätzen, wenn diese Lücken auf elegante Weise geschlossen werden könnten. aXeL-HH vor 6 Jahren 0
Willkommen beim Paradox der Wahl https://www.ted.com/talks/barry_schwartz_on_the_paradox_of_choice. Android, Windows, Mac, Linux, Desktops, Tablets, Telefone, Anzahl der Geräte, Anzahl der Benutzer, großer / kleiner Datensatz, sicher / unsicher, mobiler / lokaler Zugriff, lokaler / Cloud-Speicher, schneller / langsamer Zugriff, groß / klein Dateien, zentral (Server) / dezentral (Cloud und Synchronisierung), Budget für Bedürfnisse, zu verwaltende Fertigkeiten und und und ... Die Variablen machen jeden Anwendungsfall einzigartig. Wir speichern / verwalten KEINE Fotos, wie Sie sie beschreiben, aufgrund unserer einzigartigen Variablen. Damon vor 6 Jahren 0

0 Antworten auf die Frage

Verwandte Probleme