Daten zentralisieren AWS

526
Benjamin Jones

Ich möchte etwa 1 TB an Daten in AWS für 3 Vor-Ort-Standorte (5 Benutzer pro Standort) zentralisieren. Wir werden wachsen, aber immer noch klein. Jeder Standort verfügt über eine 30/5-Ampere-Verbindung. Jeder hat seinen eigenen Linux Server. Ich glaube, ich weiß, was ich tun soll, aber ich habe ein paar Fragen.

1.) Da die Daten in der Cloud gespeichert werden, möchte ich den Datenverkehr zwischen On-Premise und AWS optimieren. Gibt es eine Linux-Version von Branch Cache? Oder lokal zwischen On-Premise und Cloud speichern? Storage Gateway ist NUR WENN wir keine andere Lösung finden können.

2.) Bin ich mit s3, ebs, efs besser? (Es gibt ein Paket, das s3 Bucket einbinden kann).

3.) Wenn ich ebs / efs (mit einer Instanz) wähle, sind die Übertragungsraten langsamer oder schneller im Vergleich zu S3? Nutzt s3 die Optimierung?

0
Welche Art von Daten, wie wird auf sie zugegriffen, wie werden sie verwendet und teilen die Standorte die Daten gemeinsam? Ich weiß, dass dies eine ziemlich breite oder unbestimmte Menge von Fragen ist, aber es gibt viele, viele Dinge, die über das WAN schief gehen können und im LAN gut funktionieren. Wenn Sie über eine MS-Access-Datenbank (Jet-Datenbank) sprechen, möchten Sie dies nicht einmal ausprobieren. Andere Fälle sind nicht so eindeutig, aber es sind mehr Details erforderlich, um die Anwendung zu verstehen. Michael - sqlbot vor 7 Jahren 0
Sicher . Dateien wie Dokumente, Bilder und andere von der Anwendung gespeicherte Dateien. Von dem, was ich gelesen habe, würde das Anhängen von Ebs an eine Instanz dann die Verbindung über Samba via Samba funktionieren, aber kein Caching oder keine Optimierung. Wäre ich besser mit so etwas wie Cachefs oder vielleicht Toffee / Wan Proxy für die Optimierung? Benjamin Jones vor 7 Jahren 0
Das eigentliche Problem ist Geld, denn wenn ich eine schwächere Optimierungstechnologie wie Flussbett verwende, kann ich nicht viel Geld sparen, wenn ich AWS zentralisiere. Benjamin Jones vor 7 Jahren 0
Ja, für Dateien, die von Menschen geöffnet und gespeichert werden, benötigen Sie höchstwahrscheinlich etwas, um lokale Optimierungen durchzuführen. Natürlich ist das Speichern von 1 TB an Daten lokal, selbst auf redundanten Festplatten, heutzutage kein teurer Vorschlag. Möglicherweise ist das, was Sie wirklich aus der Cloud benötigen, koordiniertes Sichern / Synchronisieren / Spiegeln, anstatt in einem gemeinsamen primären Sicherungsspeicher zu "zentralisieren". 1 TB wird Ihnen $ 30 in S3, $ 100 in EBS oder $ 300 in EFS zur Verfügung stellen, Sie können aber nicht der Versuchung widerstehen, ein Dateisystem mit S3 zu emulieren. Es ist nicht eins und s3fs bemüht sich, die Lücke zu schließen, aber es reicht nicht aus. Michael - sqlbot vor 7 Jahren 0

2 Antworten auf die Frage

0
Amos Shapira

Klingt nach einem Job für Amazon Storage Gateway . Obwohl ich es selbst nie benutzt habe, kann ich keine weiteren Details geben, als auf dieser Seite.

0
Adir Akerman

Entscheiden Sie sich zunächst für den Cloud-Speichertyp. Amazon AWS bietet verschiedene Speicherangebote an. Weitere Details finden Sie hier .

  1. S3 (Simple Storage): Ein statischer Speicherdienst für die Archivierung, statische Websites oder Medienverteilung. Die maximale Dateigröße eines einzelnen S3-Objekts beträgt 5 TB. Leistung optimiert für große Datenübertragungen.

  2. EBS (Electric Block Storage): Permanenter Speicher für Datenbanken, Anwendungen, Speicher. 16 TB Speicherlimit. Zugriff nur von einer EC2-Instanz und in einer einzigen Availability Zone.

  3. Amazon EFS (Elastic File System): Funktioniert wie ein verwaltetes Netzwerkdateisystem, jedoch in der Cloud. Es kann von AWS EC2-Instanzen gemeinsam genutzt werden. Die maximale Dateigröße beträgt 52 TiB. Die Leistung ist flexibler als bei anderen Optionen.

Für die Optimierung Ihrer Datenübertragung gibt es Amazon Storage Gateway. Oder es gibt Dienste wie Datapath.io. Darüber hinaus bietet Amazon AWS Direct Connect für eine dedizierte Verbindung zwischen Ihren Servern und AWS an. Um eine konsistentere Verbindung bereitzustellen, können Sie auch kostenpflichtig bereitgestellte IOPS erwerben.

Die Optimierung der AWS-Leistung ist eine Kombination aus der Auswahl der richtigen Art von Speicher und Instanzen für Ihre individuellen Daten, der Verwaltung Ihrer Datenübertragungen und einer effizienten Netzwerkpipeline.

Verwandte Probleme