Die Verwaltung schnell wachsender Datenmengen ist kein neues Problem. Es war schon immer eine Herausforderung für die IT, seit es die IT gibt.
Dennoch haben wir das Problem immer wieder auf die gleiche Art und Weise gelöst - indem wir den Speicherplatz vergrößert haben. Zuerst mit größeren Laufwerken, dann mit dichteren Arrays und schließlich mit Scale-out-Clustern.
Das mag in der Vergangenheit die richtige Lösung gewesen sein, aber wir können es uns nicht mehr leisten, das Problem auf diese Weise anzugehen. Wir brauchen nicht etwas Größeres. Was wir brauchen, ist etwas Besseres.
Die Art und Weise, wie wir das Speicherwachstum verwalten, muss sich ändern, und dieser Wandel wird durch zwei Faktoren vorangetrieben.
- Der erste Grund ist die Geschwindigkeit, mit der die Daten wachsen. Das Datenwachstum hat schließlich einen Punkt erreicht, an dem die Verwaltung mit herkömmlichen Speichern vor Ort nicht mehr praktikabel ist. Die Datensätze sind zu groß und sie wachsen zu schnell.
- Der zweite Faktor ist die Art und Weise, wie die verschiedenen Arten von Daten verwaltet werden müssen.
Diesem zweiten Faktor wollen wir in diesem Blog nachgehen.
Datenwachstum treibt Workloads in die Cloud
Da die Datenmengen für die Speicherung vor Ort unüberschaubar geworden sind, sind die Arbeitslasten der Benutzer in die Cloud abgewandert. Dies zeigt sich überall in der Nutzung von Cloud-basierten Ressourcen wie Google Docs, Office 365, Gmail und ähnlichen Anwendungen.
Diese traditionellen benutzergenerierten Arbeitslasten, wie Dokumente, Grafiken und andere Dateitypen, die das SMB-Protokoll zur Datenübertragung nutzen. Solche Workloads haben in der Vergangenheit die riesigen Datenmengen erzeugt, die die IT-Abteilung verwalten muss, und sie waren die ersten, die in die Cloud verlagert wurden.
Das Gesicht des Datenwachstums ändert sich
Es gibt immer mehr von Maschinen erzeugte Daten, die ebenfalls verwaltet werden müssen. Diese Workloads verwenden das NFS-Protokoll anstelle von SMB und umfassen Inhalte wie Protokolldateien, IoT-Daten, Splunk-Daten und mehr.
Gemeinsame Schätzungen gehen davon aus, dass maschinell erzeugte Daten 50-mal schneller wachsen als herkömmliche, von Unternehmen erzeugte Daten.
Trotz des rasanten Wachstums der maschinell erzeugten Daten hat dieser Datentyp den Sprung in die Cloud noch nicht in dem Maße geschafft wie die Daten von KMUs. Warum ist das so?
Die Antwort ist einfach: Der Schwerpunkt bei der Verlagerung von Daten in die Cloud lag auf benutzergenerierten Daten, die normalerweise das SMB-Protokoll verwenden.
Warum nicht NFS-Daten in der Cloud speichern?
NFS-Daten sind aufgrund des Zusammenspiels zwischen zwei einfachen, aber wichtigen Bedürfnissen der Nutzer nicht ideal für die Cloud:
- Speichergröße - eine Stärke der herkömmlichen Cloud-Speicher.
- Zugriffsgeschwindigkeit - eine Schwäche der herkömmlichen Cloud-Speicher.
Die Anwendungen, die NFS für maschinell erzeugte Daten nutzen, wie z. B. Hadoop oder Splunk, können schnell Terabytes oder sogar Petabytes an Speicherplatz beanspruchen.
Diese NFS-gesteuerten Anwendungen müssen diese Daten so schnell wie möglich einlesen, um Echtzeit-Analysen mit diesen großen Datensätzen durchzuführen. Um die benötigte lokale Leistung zu erhalten, wurde in der Regel ein Flash-Speicher für die Leistung verwendet, der durch eine Form von lokalem NAS für die Kapazität unterstützt wurde.
Das Problem dabei? Das Auslesen der riesigen Datenmengen, die diese Anwendungen benötigen, aus der Cloud ist einfach keine Option.
Die Latenzzeit beim Lesen in der Cloud ist einfach zu hoch. Wenn diese Daten also in die Cloud gehen, dann eher für die Langzeitarchivierung als für aktive Daten.
Die Herausforderung besteht nun darin, dass Unternehmen mit NFS-Daten überschwemmt werden, auf die sie reagieren müssen. Unternehmen erzeugen enorme Datenmengen, die sie speichern, abrufen und analysieren müssen, um verwertbare Informationen zu erhalten.
Es ist einfach nicht praktikabel, diese riesigen maschinell erzeugten Datenmengen weiterhin mit dem herkömmlichen Speichermodell vor Ort zu speichern. Die Daten wachsen zu schnell, so dass die Kosten für die Speicherung, Verwaltung und Sicherung dieser Daten zu hoch sind.
Hybrid Cloud hat NFS-Leistung zur Priorität gemacht
CloudFS ist die erste Hybrid-Cloud-NAS-Lösung, die speziell entwickelt wurde, um außergewöhnliche Leistung sowohl für SMB- als auch für NFS-Arbeitslasten im Unternehmen zu liefern.
Als Marktführer im Bereich NFS-Leistung war CloudFS die erste Hybrid-Cloud-NAS-Lösung, die ein eingebettetes NVMe Separate Intent Log (SLOG)-Gerät entwickelte.
- Ein SLOG ist vom Konzept her mit einem Schreibcache für NFS-Daten vergleichbar (und erfüllt diese Funktion auch), aber es kann noch mehr. Es verbessert auch die Datenintegrität, was es sowohl schnell als auch effizient macht.
- Durch die Nutzung von NVMe kann CloudFS die Leistung liefern, die Unternehmen für ihr wachsendes Volumen an maschinell erzeugten Daten benötigen.
Die Vorteile der NFS-Leistung in CloudFS sind nicht auf die Hardware beschränkt. Die NFS-Leistung wurde auch in virtuellen Instanzen maximiert.
In der Tat ist die unübertroffene Leistung von NFS- und SMB-Arbeitslasten ein Hauptziel des Dateisystems.
Das Ergebnis? CloudFS kann im gesamten Netzwerk maximale Leistung erbringen. Jeder Panzura -Filer kann eine Netzwerkbandbreite von 20 Gbps vollständig sättigen.
Im Gegensatz zu anderen Lösungen bedeutet dies nicht, dass mehrere CloudFS-Instanzen 20 Gbps erreichen können oder dass dies eine maximale Burst-Zahl ist, die Sie in Ihrem Netzwerk einmal sehen können. Eine einzelne CloudFS-Instanz kann eine 20-Gbit/s-Verbindung vollständig sättigen und dieses Leistungsniveau halten.
Mit anderen Worten: Ihre Anwendungen können die Bandbreite voll ausnutzen, ohne dass es zu Engpässen kommt, wie sie bei herkömmlichen Cloud-Lösungen auftreten.
Erkenntnisse über Hybrid Cloud für maschinengenerierte Daten
Zusammenfassend lässt sich sagen, dass Anwendungen, die die riesigen Mengen an maschinell erzeugten Daten nutzen und verarbeiten, einen Bedarf haben:
- Die Leistung der lokalen Speicherung.
- Um auf diese Daten über das NFS-Protokoll zuzugreifen.
Panzura nutzt intelligentes Caching, Hardware der nächsten Generation und fortschrittliche Software, um LAN-Geschwindigkeit zu liefern und gleichzeitig die Vorteile der Skalierbarkeit und Haltbarkeit der Cloud zu nutzen.
Die Daten, die diese Anwendungen benötigen, sind sowohl lokal für einen schnellen Zugriff verfügbar als auch sicher in der Cloud als einzige Quelle der Wahrheit gespeichert.
1t ist es jetzt für große verteilte Unternehmen möglich, ihre riesigen Mengen an IoT-Daten, Maschinenprotokollen, medizinischen 3D-Bildern, 4k-Videos und anderen maschinengenerierten Daten in der Cloud zu speichern. Gleichzeitig können sie immer noch die extreme lokale Leistung erzielen, die Anwendungen wie Splunk und Hadoop erfordern.