Daten sichern und redundant speichern --- Vorschläge?

    Ja das kann lange dauern.
    Bei einem Controller der nichts über die Belegung weiß muss ja im Prinzip der komplette Inhalt der einen Platte nochmal auf die andere Platte geschrieben werden.
    Bei einer 2TB Platte und einer Schreibgeschwindigkeit von 100 MB/s wären das 6h die man hierfür bräuchte.

    In der Zeit ist das System jedoch in der Regel weiterhin verwendbar.

    Um wieder Werbung zu machen: Bei einem Dateisystemintegrierten RAID wie bei BTRFS oder ZFS müssen nur die wirklich verwendeten Bereiche synchronisiert werden.

    Wenn die Platte also nur halbvoll ist dauert es auch nur halb so lange. Ein Hardware-RAID-Controller kann dies hingegen nicht leisten da er überhaupt nichts über die Belegung weiß.

    Bitnugger Danke für den Link! Das habe ich gemeint. :rock:

    Zitat von RAID Ausfall - Risiko Rebuild

    Der zweite Modus ist der "post-failure" Modus für den Rebuild-Prozess des RAID-Volumen: Hierbei müssen die auf dem ausgefallenen Datenträger enthaltenen Daten im Nachhinein aus den Paritätsdaten des kritischen RAID-Volumens berechnet und auf die Ersatz-/Hotspare-Festplatte geschrieben werden. Angesichts der umfassenden Berechnungen nimmt dieser Vorgang einen weitaus längeren Zeitraum in Anspruch, als es bei "pre-failure" der Fall ist.

    Das war es, um was es bei meiner Frage ging. Eine Widerherstellung (Rebuild) eines RAIDs ist nicht unbedingt nur die pure Kopierzeit der Daten, aber bei RAID 1 scheinbar schon:

    Zitat von RAID Ausfall - Risiko Rebuild

    RAID 1 Rebuild: Bei einem Rebuild-Vorgang für eine einfache Spiegelung (Mirroring) werden die Daten Block für Block (1-zu-1 Kopie) vom Quellmedium auf den Ersatzdatenträger übertragen und die Redundanz wiederhergestellt.

    Wie ich das verstehe, ist das Rebuild bei RAID 1 (fast) ein einfaches Kopieren. Das dürfte die wenigste Zeit gegenüber anderern RAIDs dauern. Gut zu wissen - einerseits, aber andererseits, bis/ob ich das mal brauche, hab ich alles wieder vergessen. Wichtig ist, alpines hat die Infos für seine Entscheidungshilfe. 8)

    Wenn jemand sagt: "Das geht nicht!" Denke daran: Das sind seine Grenzen, nicht deine.

    Zitat von Professor Bernd

    Wichtig ist, alpines hat die Infos für seine Entscheidungshilfe.

    Ja, und ich tendiere momentan zu RAID 10 und ein Plattengehäuse mit integriertem RAID-Controller, da Sofware RAID über Windows nur integriert möglich ist.

    Dann würden die Platten aber laufen bzw. ausgeschaltet bleiben und ständig an und herunterfahren, wenn eine Anwendung mal alle Platten queryed, was sehr häufig vorkommt.

    Sicherheit gegen Viren wäre dann auch nicht mehr gegeben.

    Das Gehäuse was ich im Startpost verlinkt hatte unterstützt kein RAID 10, aber es gibt ähnliche von der selben Firma die es tun. Ich muss da einfach meine Angst überwinden, und meine Füße ins Wasser stecken und es einfach mal ausprobieren.

    Meine Daten habe ich ja noch da, ich probier einfach wie das Gehäuse reagiert wenn ich bei einem standard RAID 1 eine Platte entferne, wie das Rebuilding von statten geht etc.

    Zitat von alpines

    ich tendiere momentan zu RAID 10

    Was sind deine Gründe dafür? Für RAID 10 brauchst du min. 4 Festplatten um 1x deine Daten zu speichern. Die Daten werden durch die 0 Logik mit Paritäten auf die beiden 1 Logik Pärchen verteilt, wodurch du mit hoher Wahrscheinlichkeit keine der Festplatten einzeln irgendwo anschließen kannst, um auf die Daten zuzugreifen. Durch den RAID 0 Anteil werden die Rebuild Zeiten signifikant steigen, evtl. von 6 auf 20 Stunden, usw.

    Zitat von alpines

    da Sofware RAID über Windows nur integriert möglich ist.

    Dann würden die Platten aber laufen bzw. ausgeschaltet bleiben und ständig an und herunterfahren,

    Bitte versteh das jetzt nich falsch, aber das ist NICHT der Sinn von RAID. RAID ist eine Ausfallsicherung, um Daten mit hoher Verfügbarkeit (normalerweise) 24/7 bereitstellen zu können. Ein An- Ausschalten ist da eigentlich nicht üblich.

    Wenn jemand sagt: "Das geht nicht!" Denke daran: Das sind seine Grenzen, nicht deine.

    Zitat von Professor Bernd

    Was sind deine Gründe dafür? Für RAID 10 brauchst du min. 4 Festplatten um 1x deine Daten zu speichern. Die Daten werden durch die 0 Logik mit Paritäten auf die beiden 1 Logik Pärchen verteilt, wodurch du mit hoher Wahrscheinlichkeit keine der Festplatten einzeln irgendwo anschließen kannst, um auf die Daten zuzugreifen. Durch den RAID 0 Anteil werden die Rebuild Zeiten signifikant steigen, evtl. von 6 auf 20 Stunden, usw.

    4fach Gehäuse mit RAID 10. 16-20TB Speicher hätte ich gerne, also (2x)2x8TB im RAID1 und die 2x(2x8TB) im RAID 0. Die erhöhten Geschwindigkeiten sind mir egal, mir gehts nur darum, die beiden Plattenkapazitäten zu einer zu kombinieren um dann nicht Daten getrennt lagern zu müssen.

    Rebuildzeiten sind für mich auch eher irrelevant (kann das ganze mit 4x 500GB 2,5" HDDs testen), da ein Rebuild ja extrem selten vorkommt. Ob dieser dann 20 Stunden dauert soll mir egal sein, Backup ist ja noch da.

    Zitat von Professor Bernd

    Bitte versteh das jetzt nich falsch, aber das ist NICHT der Sinn von RAID. RAID ist eine Ausfallsicherung, um Daten mit hoher Verfügbarkeit (normalerweise) 24/7 bereitstellen zu können. Ein An- Ausschalten ist da eigentlich nicht üblich.

    Gibts stattdessen was besseres um die Redundanz zu automatisieren ohne, dass ich mich um etwas kümmern muss? Ich will nicht auf eine Software oder ein Script warten, dass die Daten kopiert.

    Einen RAID-Verbund sollte es doch nicht kümmern ob er oft (in meinem Falle selten) hoch und runtergefahren wird oder nicht? Der Controller erkennt die Fehler ja sowieso nur beim Lesen/Schreiben der Sektoren.

    Zitat von alpines

    4fach Gehäuse mit RAID 10. 16-20TB Speicher hätte ich gerne, also (2x)2x8TB im RAID1 und die 2x(2x8TB) im RAID 0. Die erhöhten Geschwindigkeiten sind mir egal, mir gehts nur darum, die beiden Plattenkapazitäten zu einer zu kombinieren um dann nicht Daten getrennt lagern zu müssen.

    Mit RAID 10 hast du dann aber immer noch keine Datensicherung. In gewisser Weise hast du damit deine Daten nur 1x, denn sie sind auf 4 Festplatten verteilt. Das einzige was deine Daten (gegen Ausfall) schützt ist die Rebuild Fähigkeit des RAIDs. - Anders ausgedrückt: Keine der 4 Festplatten lässt sich auf einem anderen Gerät (PC o. ä.) auslesen.

    Wie wärs denn mit einer Dockingstation mit OTB (One-Touch-Backup)? Ist superleicht zu handhaben und kostet mit 20 bis 40 Euro nur einen Bruchteil des RAID Gehäuses.

    Damit hättest du ein "Tischgerät", das du an- und abstöpseln kannst (USB 3), es ist klein und nimmt wenig Platz weg, deine Festplatten kannst du nackt in den Schrank legen, bis zum nächsten Backup, die Festplatten steckst du einfach in die Dockinstation und drückst 1 Knopf: Das Backup beginnt. Total easy.

    Edit: Mit einer Dockingstation hättest du auch zusätzlich die Wahl, wenn du dich später für eine Software Backup-Lösung entscheiden wolltest.

    Wenn jemand sagt: "Das geht nicht!" Denke daran: Das sind seine Grenzen, nicht deine.

    Zitat von Professor Bernd

    Mit RAID 10 hast du dann aber immer noch keine Datensicherung. In gewisser Weise hast du damit deine Daten nur 1x, denn sie sind auf 4 Festplatten verteilt. Das einzige was deine Daten (gegen Ausfall) schützt ist die Rebuild Fähigkeit des RAIDs. - Anders ausgedrückt: Keine der 4 Festplatten lässt sich auf einem anderen Gerät (PC o. ä.) auslesen.

    Die Platten lassen sich doch nach wie vor verwenden wenn davon eine ausfällt (oder zwei bestimmte). Es geht mir dabei nur um das automatisierte kopieren auf eine andere Platte.

    Der Controller lässt dich ja wissen, dass sie degradiert sind, aber du kannst sie immer noch weiter verwenden, solltest das aber nicht tun, weil du ja das RAID rebuilden solltest.

    Die alten 4+6TB Platten werde ich dann nochmal explizit als Backup verwenden (meine Daten liegen ja momentan noch unter 10TB) und manuell rüberkopieren, aber dann in einem größeren Intervall.

    Zitat von Professor Bernd

    Wie wärs denn mit einer Dockingstation mit OTB (One-Touch-Backup)? Ist superleicht zu handhaben und kostet mit 20 bis 40 Euro nur einen Bruchteil des RAID Gehäuses.

    Da habe ich keine Ahnung wie die Dinger funktionieren. Wenn die gesamte Platte bei jedem Klonen gescannt wird, dann belastet das doch die Platten mehr oder nicht.

    Zumindest wenn es einen Sektorklon macht, und kein Dateisystemklon.

    An so eine Dockingstation hatte ich auch schon gedacht, bin aber mehr der Fan von Gehäusen, weil ich die nicht zustauben lassen will bzw. nicht rausnehmen will.

    Dockingstation ist halt Geschmacksache. War nur ein Vorschlag. 8o

    Zitat von alpines

    Die Platten lassen sich doch nach wie vor verwenden wenn davon eine ausfällt (oder zwei bestimmte).

    Die Platten lassen sich IM Gehäuse nach wie vor verwenden. Wenn eine ausfällt kannst du "ganz normal" auf deine Daten zugreifen. Wenn zwei ausfallen, kommts drauf an, welche.

    Wenn jemand sagt: "Das geht nicht!" Denke daran: Das sind seine Grenzen, nicht deine.

    Falls Du Serverplatten als "Dauerläufer" brauchst: eigentlich recht teuer, aber in den MY BOOK USB-Festplatten von WD waren bis zuletzt WD Red eingebaut und sollten es immer noch sein. Ich habe letzte Woche eine 10TB für 203 Euro gekauft und in eine Synology DS918+ umgebaut. Die Platte allein kostet normal um die 300-350 Euro.

    :)

    Zitat von Professor Bernd

    alpines Ein Punkt ist mir noch eingefallen: Die Wiederherstellung von RAID Festplatten, wenn eine getauscht wird (z. B. nach Ausfall). Ich weiß nicht, ob es auf RAID 1 zutrifft, aber bei RAID allgemein kann das wirklich lange dauern. Vielleicht weiß jemand was dazu?

    Bei einen Hardwarerraid ist das nicht so schlimm, da der Controller das macht wenn sonst nichts zu tun ist. Bei einem Softwareraid dauert es deutlich länger und belastet die CPU stark. Ein Faktor ist auch noch ob es einen ReadWrite-Cache gibt.

    Zitat von Racer

    Bei einem Softwareraid dauert es deutlich länger und belastet die CPU stark.

    Das war mal in Zeiten so als die CPUs noch lahm waren. Heute ist das kein relevanter Aspekt mehr.
    Der Rebuild meines RAID 1 auf nem Raspberry Pi brachte einen CPU-Load von < 10%.

    Und da die Platten dabei auf Anschlag liefen, wüsste ich nicht wie ein Hardware-RAID-Controller da den Rebuild schneller abschließen könnte.

    Sogar eher im Gegenteil: der Hardware-Controller hätte die ganze Platte abarbeiten müssen - mein BTRFS-RAID hingegen nur die wirklich verwendeten Bereiche.

    Also je nach Füllstand der Platte deutlich fixer als mit nem Controller.

    Auch auf RAID-Levels mit Parität wird die Paritätsberechnung heute als vernachlässigbar eingestuft (kann ich selbst jedoch nicht beurteilen).

    Zitat von Racer

    Ein Faktor ist auch noch ob es einen ReadWrite-Cache gibt.

    Beim Rebuild?

    Ein Cache bringt vor allem dann was, wenn auf Daten eines langsamen Mediums mehrmals zugegriffen wird.
    Beim RAID-Rebuild muss man die gesamten Daten aber jeweils nur einmal anfassen.

    Und die Funktion als Buffer sollte der RAM bereits erfüllen.

    Einmal editiert, zuletzt von AspirinJunkie (15. Juni 2020 um 09:23)

    So einfach ist das nicht! Wenn Du "nur" eine gespiegelte Platte hast die durch das Betriebsystem den Raidlevel hat, dann ist die CPU nicht so gefragt. Mache das mal mit einem Raid 5 über 6 oder 8 Disken....da siehst Du dann einen Unterschied, ob das ein Controller mit einem Riskprozessor von alleine macht oder ob die CPU auf Anschlag läuft!

    Der Cache bringt sogar sehr viel, da der Datenbus vom Controller zum Server alles entlastet! Die Schreiboperation, auch bei Sectorenlesen/schreiben läuft durch den Cache!

    Soweit der Ausflug in die Serverwelt wo Raidcontroller 4-5000 Euro kosten - nichts für den Heimgebrauch!


    lg

    Racer