Daten sichern und redundant speichern --- Vorschläge?

  • Da meine Paranoia in letzter Zeit gewachsen ist, dass irgendwann meine Platten den Geist aufgeben möchte ich möglichst fix einen redundanten Speicher einrichten.


    Meine aktuelle `Lösung´ sieht wie folgt aus:


    In meinem Host-PC habe ich eine 2TB Festplatte, und habe dazu noch zwei externe Festplatten (unterschiedlicher Hersteller), jeweils 4TB und 6TB.

    Die 6TB habe ich günstig geschossen, aber die machte schon von Tag-1 an komische Geräusche und der vertraue ich nicht mehr.


    Meine Daten (wink wink) sind mittlerweile über 4TB gewachsen und gelagert wird das ganze momentan vollständig auf der 6TB Platte und das Duplikat aufgeteilt auf die 4TB und 2TB interne.

    Dabei vergesse ich aber teilweise für mehrere Wochen / Monate alle Platten synchronisiert zu halten indem ich mit WinMerge schaue welche Daten ich noch nicht rüberkopiert habe.


    Wie ihr euch denken könnt ist das alles andere als suboptimal, da ich einige Ordner neu benenne oder aktualisiere und das nicht direkt auf die andere Platte synchronisiert wird.

    Dafür möchte ich auch keine Skripte schreiben, weil ich denke, dass es auch intelligenter zu lösen wäre.


    Ich spiele mit dem Gedanken mir ein vierfaches externes Plattengehäuse wie folgendes zu holen (das ist nur JBoD, kein HW-Raid): https://geizhals.de/raidsonic-…1422.html?hloc=at&hloc=de

    Die Platten wollte ich mir dann einzeln bestellen und je nach Passgröße 4x8TB oder 4x10TB verbauen. Dabei möchte ich 16~20TB Speicher haben (theoretisch täte es die Hälfte auch, da schaue ich lieber nach dem Preis der HDDs) und die restliche Kapazität (wäre dann halb halb) als Redundanzt/Mirror nutzen.

    Allerdings habe ich von RAID, bis auf die Bezeichnung und wie sie funktionieren, keine Erfahrung.


    Sollte ich lieber einen HW-Raid-Controller nehmen? Tut es der Windows Software RAID-1 auch? Kriege ich irgendwie eine Warnung wenn eine der Platten im Verbund degradiert ist?

    Muss ich auf etwas spezielles achten? Kann ich unter Windows auch ZFS verwenden um Bitrotting zu berücksichtigen?


    Im Grunde möchte ich doch nur mein Zeugs nochmal auf einer anderen Platte haben um im Fall eines Ausfalls einfach den Verbund aufzulösen und die funktionierende Platte dann auf eine neue frische direkt zu spiegeln.

    Das sind zum größten Teil Daten die ich nur extrem selten verwende (also wirklich sehr selten, die externen Platten schmeiße ich alle paar Wochen für ein paar Stunden (wenn es hochkommt...) an).

    Daten die ich häufig nutze werde ich auf der 2TB in meinem Rechner nochmal lagern.


    Cloud-basierte Lösungen fallen ausnahmslos im vorhinein weg. 1. will ich das persönlich nicht, 2. geben es deutsche Neulandbambusleitungen nicht her (zumindest nicht bei mir).


    Wenn ihr Erfahrungen teilen wollt oder Vorschläge habt, haut sie raus!

  • RAID 1 sollte für dich passen. Bevorzuge ich persönlich auch. Ich habe bisher immer Hardware Controller verwendet. Bin ich zwar auch mal auf die Nase gefallen (nach Controller Ausfall, war kein Zugriff auf das RAID-Array mehr möglich) - aber das war vor 15 Jahren und da gab es zum Teil noch unausgereifte Technik.

    Zu Software Controllern kann ich somit nichts sagen.

  • Sollte ich lieber einen HW-Raid-Controller nehmen?

    Für deinen Anwendungsfall würde ich eher eine Software-RAID-Lösung empfehlen. Die ist zwar etwas langsamer, aber hat den großen Vorteil, dass du nicht an eine spezielle Hardware gebunden bist.


    RAID 1... na ja, besser als nichts... ist das teuerste RAID.. damit verlierst du über 50% an Speicher... empfehlen würde ich RAID 5... hier eine gute Seite: https://www.storage-insider.de…-bis-5-und-mehr-a-517806/


    Ansonsten mache meine Backups mit RoboCopy. Ich lasse ihn 1x täglich laufen und kann deswegen gut schlafen und brauche keine Bange um meine Daten haben.


    Ich habe allerdings auch noch einen Root-Server (Debian, selbst eingerichtet) gemietet, 4 TB, auf dem ich ebenfalls die essentiell wichtigen Sachen verschlüsselt speichere.


    Wichtig ist aber vor allem, das in Sachen Backup eine gut ausgeklügelte Automatik ins Spiel kommt, da wir Menschen ja gerne dazu neigen, Dinge zu vergessen, auch wenn sie extrem wichtig für uns sind. Deshalb eben nicht nur
    RoboCopy und Image des System-Laufwerks erstellen... das ist für mich nämlich die fieseste Arbeit, obwohl ich es gelernt habe und auch gut kann, aber ich hasste es, Windows neu einzurichten, wenn es um mein System geht.


    Falls du trotz aller Vorsicht mal einen Platten-Crash haben solltest, frag doch einfach bei der NSA nach, ob sie dir ein Backup verkaufen... :rofl:

  • Zitat von der Shoutbox

    AspirinJunkie Vor einer Stunde

    Bernd

    Warum ist softwareseitiges nicht zu empfehlen? Insbesondere das Dateisystemintegrierte RAID wie z.B. bei ZFS oder BTRFS ist doch gerade genial. Eben gerade bei der Wiederherstellung - denn das Dateisystem weiß im Gegensatz zu einem HW-RAID-Controller ja welche Bereiche wiederhergestellt werden müssen und welche nicht.

    Da kannst du recht haben. Mein Hinweis war auch eher allgemein für RAID Neulinge gemeint. RAID ist ein komplexes Thema und sollte eigenlich von der "Was hast du geplant, wozu brauchst du es?"-Seite aufgerollt werden. Nur mal ein Argument: Für die Paritätsberechnungen kocht jede Software ihr eigenes Süppchen, weshalb eine Widerherstellung unter Windows z. B. nicht funktioniert, wenn du Windows wechselst (z. B. SysRestore, oder wechsel auf anderen Rechner, oder Neuinstallation, usw.). Das ist jetzt ohne Gewähr, da das schon eine Weile her ist und mein Gedächtnis ist nicht mehr fit. :saint: Ein kleiner Auszug zu den Nachteilen eines Software RAID findet man hier. Ein Beispiel für einen der vielen verzweifelten Benutzer mit RAID 0 findest du hier.


    Aber nun zum eigenlichen Thema.


    Wichtig: RAID ist NICHT das Richtige für Datensicherung!


    Zunächst mal sei vereinbart, dass wir von RAID 1 = spiegeln sprechen (und natürlich von RAID Mischversionen, die spiegeln beinhalten). Dabei lautet der Grundsatz: RAID ist eine Ausfallsicherung, KEINE Datensicherung! Viele verwechseln das. Man kann sich das recht einfach vorstellen: Du hast ein RAID 1 mit 2 HDDs, du spiegelst von HDD-1 auf HDD-2. Jetzt löschst du ungewollt Daten auf HDD-1 und schwupps, sind die Daten auf HDD-2 auch weg. Das gleiche gilt für Schäden durch Viren, Ransomware, uvm. Alles was du dir einfängst auf HDD-1 ist auch HDD-2. Wahrscheinlich merkst du das dann erst viel später, weil du ja denkst, du hättest eine Sicherung. Aber leider ist das dann <X

    Im Grunde möchte ich doch nur mein Zeugs nochmal auf einer anderen Platte haben um im Fall eines Ausfalls einfach den Verbund aufzulösen und die funktionierende Platte dann auf eine neue frische direkt zu spiegeln.

    Meine Empfehlung: Vergiss RAID, mach Backups! Das Gerät, das du verlinkt hast, bietet mit JBOD (Just a Bunch of Disks) auch gleich die richtigen Voraussetzungen. 8o


    Bitnugger hat schon wichtige Punkte angeschnitten:

    Ansonsten mache meine Backups mit RoboCopy. Ich lasse ihn 1x täglich laufen und kann deswegen gut schlafen ...

    ...

    Wichtig ist aber vor allem, das in Sachen Backup eine gut ausgeklügelte Automatik ins Spiel kommt, ...

    Da kommt das Stichwort "Datensicherungsstrategie" ins Spiel. Datensicherheit und Datensicherung waren früher meine Spezialgebiete. Einiges ist da hängen geblieben und ich helfe dir gerne.


    Am Anfang überleg dir einfach, was du erreichen willst, was es kosten soll, und wieviel Aufwand du treiben willst. Als Beispiel meine Backupstrategie: In meinem PC sind 3 Festplatten: 1x System (Windows, 250GB SSD), 1 x Daten (2,5" HDD 2GB) und 1x Sicherung (2,5" HDD 2GB).


    - Die Daten-HDD sichere ich als Synchronisation in Ordner auf der Backup-HDD. Synchronistation bedeutet, die Daten sind "normal" vorhanden (kein Archiv, keine Verschlüsselung, keine Generationen, einfach 1:1 "gespiegelt"). Tool: FreeFileSync (kostenlos, Open Source)


    - Mit der System-SSD ist ein wenig komplizierter. Da wird zum einen ein System-Image als Volumenschattenkopie erstellt, und den Desktop sichere ich zusätzlich noch als komprimierte Zip-Archive. Beide Backups werden als (einfache*) Generationen gesichert, das heißt, die Zip-Archive werden jeden Tag gesichert und wenn mehr als 14 Backups da sind, wird das jeweils älteste gelöscht. Die System-Images werden als differenzielle Backups gesichert mit Macrium Reflect Free (kostenlos). Dabei behalte ich auch eine Vollsicherung plus 14 Differenzielle. (* Mit "einfache" Generationen meine ich, das sind einfach nur mehrere Sicherungen. Das geht noch viel komplizierter. Aber das wäre zuvíel für hier.)


    Wichtig ist, diese Backups laufen JEDEN TAG 1x, automatisch beim ersten Windows-Start! (Kann man auch anders einstellen, je nach Geschmack, wenn man z. B. nur in Standby geht.)


    Zusätzlich sichere ich alle 1/2 Jahr auf zwei externe HDDs (je 2GB). Eine davon liegt danach bei mir im Schrank, die andere bei einem Freund an anderer Adresse.


    So, das war jetzt nur für meinen Office-PC. Meinen Media-PC habe ich ganz anders abgesichert, da habe ich z. B. spezielle Steckdosenleisten dran, mit denen ich die Festplatten per Software oder per Mausklick ein- und ausschalten kann. :thumbup:


    Wer jetzt denkt, dass das ein bisschen paranoid ist, der täuscht sich. Denn das ist nur der ganz normale Wahnsinn! :evil::rofl:


    Bernd.

  • RAID 1 sollte für dich passen. Bevorzuge ich persönlich auch. Ich habe bisher immer Hardware Controller verwendet. Bin ich zwar auch mal auf die Nase gefallen (nach Controller Ausfall, war kein Zugriff auf das RAID-Array mehr möglich) - aber das war vor 15 Jahren und da gab es zum Teil noch unausgereifte Technik.

    Kann man die Platten an keinen neuen Controller anschließen? Sind die Informationen auf dem Controller gespeichert oder warum geht alles den Bach runter wenn dieser ausfällt?


    Für deinen Anwendungsfall würde ich eher eine Software-RAID-Lösung empfehlen. Die ist zwar etwas langsamer, aber hat den großen Vorteil, dass du nicht an eine spezielle Hardware gebunden bist.

    Geschwindigkeiten sind für mich absolut irrelevant. Das höchste was die Platten an Lesezugriffen erfahren ist wenn ich mir eine Serie oder Aufnahmen ansehe, und diese sind im Extremfall 100 Mbit/s, also ~13 MB/s.

    Die Schreibgeschwindigkeiten sind auch nicht so wichtig, solange dabei was um die 30-40 MB/s rumkommt ist das vollkommen OK, auch wenn die HDDs 100MB/s+ schaffen sollten.

    Speichere alle paar Wochen/Monate mal paar GB drauf, ob die jetzt nun 5 Minuten länger brauchen ist egal.


    Windows bietet ja Software RAID an, (ich weiß jetzt grad nur nicht für welche RAID-Typen genau) aber es scheint keine Benachrichtigung zu geben wenn die Platten degradiert sind.

    Und auf Eventviewertrickserei bin ich wirklich nicht scharf.


    Außerdem kommt noch der Punkt dazu:

    Nur mal ein Argument: Für die Paritätsberechnungen kocht jede Software ihr eigenes Süppchen, weshalb eine Widerherstellung unter Windows z. B. nicht funktioniert, wenn du Windows wechselst (z. B. SysRestore, oder wechsel auf anderen Rechner, oder Neuinstallation, usw.).

    Es wäre natürlich sehr wünschenswert, gar notwendig, dass ich den Verbund einfach an einen anderen Rechner stöpseln und dort weiternutzen kann falls ich mal mit dem Notebook ran will, oder meinen Host-PC neu aufsetze / wechsle.


    RAID 1... na ja, besser als nichts... ist das teuerste RAID.. damit verlierst du über 50% an Speicher... empfehlen würde ich RAID 5... hier eine gute Seite: https://www.storage-insider.de…-bis-5-und-mehr-a-517806/

    Über 50%? Ich dachte praktisch genau 50% wenn man noch bisschen Overhead (die paar MB...) vom RAID/Dateisystem abzieht.


    Hier würde ich lieber das nehmen was einfacher zu bedienen ist, wo man weniger falsch machen kann.

    Wird denn die Paritätsberechnung bei RAID 5 beim Kopieren erledigt und ist beendet wenn der Kopiervorgang beendet ist? Ich möchte nicht einen Kopiervorgang starten und dann was im Hintergrund rödeln haben was dann fehlschlägt wenn ich die Festplatten abschalte.


    Wichtig ist aber vor allem, das in Sachen Backup eine gut ausgeklügelte Automatik ins Spiel kommt, da wir Menschen ja gerne dazu neigen, Dinge zu vergessen, auch wenn sie extrem wichtig für uns sind. Deshalb eben nicht nur
    RoboCopy und Image des System-Laufwerks erstellen... das ist für mich nämlich die fieseste Arbeit, obwohl ich es gelernt habe und auch gut kann, aber ich hasste es, Windows neu einzurichten, wenn es um mein System geht.

    Das wird bei mir kaum nötig sind. Die aktuelle nicht-vorhandene Synchronität ist einfach der Faulheit geschuldet, weil die Daten auf mehreren Platten verstreut liegen.

    Hätte ich ein RAID 1 Verbund bereits parat, würde ich die Daten, die zu archivieren sind, einfach draufkopiert und das was ich benötige aufm Rechner gelassen.


    Die paar GB CDs die ich gerippt habe fehlen drauf, weil eben alles durcheinander ist (hier fehlt ein Coverbild auf der Platte (weil alter Stand), dorthin wurden noch die Rips nicht kopiert, der Ordner wurde umbenannt...).

    Aber geplant ist, nach dem Rippen alles direkt draufzuschieben und fertig -- wenn ich so ein System hätte.


    Wichtig: RAID ist NICHT das Richtige für Datensicherung!


    Zunächst mal sei vereinbart, dass wir von RAID 1 = spiegeln sprechen (und natürlich von RAID Mischversionen, die spiegeln beinhalten). Dabei lautet der Grundsatz: RAID ist eine Ausfallsicherung, KEINE Datensicherung! Viele verwechseln das. Man kann sich das recht einfach vorstellen: Du hast ein RAID 1 mit 2 HDDs, du spiegelst von HDD-1 auf HDD-2. Jetzt löschst du ungewollt Daten auf HDD-1 und schwupps, sind die Daten auf HDD-2 auch weg. Das gleiche gilt für Schäden durch Viren, Ransomware, uvm. Alles was du dir einfängst auf HDD-1 ist auch HDD-2. Wahrscheinlich merkst du das dann erst viel später, weil du ja denkst, du hättest eine Sicherung. Aber leider ist das dann <X

    Das ist mir auch klar. RAID ist hier eher Mittel zum Zweck gewesen um automatisiert die Daten gespiegelt zu haben und ich nicht alles doppelt kopieren muss.

    Gelöscht wird eigentlich so gut wie gar nichts und war bisher eigentlich kein Problem.


    Einmal habe ich 'aus Versehen' meine gesamte D: Festplatte (die Partition) gelöscht, ich weiß den Grund gar nicht mehr, weil ich dachte wenn ich die Partition wieder hinzufüge (ich krieg die Geschichte nicht mehr ganz zusammen) oder rückgängig mache, dass die Daten wieder da wären.

    Tja, glücklicherweise konnte ich das meiste mit Data Recovery Software wiederherstellen aber es ist 'ne Menge flöten gegangen... dafür könnt ich heute noch meinen Kopf gegen die Wand hauen.


    Aber jetzt könnte man halt wieder damit argumentieren, dass einmal löschen ja reichen würde um seine Daten loszuwerden, aber dann stellt sich hier wieder die Frage nach der Verhältnismäßigkeit wie weit man gewillt ist zu gehen, dass die Daten sicher sind.

    Für mich reichts, wenn die Daten gespiegelt sind. Eine Löschsicherung wie bei Backups ist nicht notwendig, sonst könnte ich ja gleich die Daten doppelt rüberkopieren und dann jeder Veränderung per Hand nachtragen.


    Bei Software habe ich immer die Angst sie nicht korrekt zu verwenden um bspw. das System herunterzufahren, wenn es noch beim Kopieren war, oder das ganze durcheinander zu bringen wenn ich beim Kopieren Daten lösche oder ich nicht weiß ob schon synchronisiert wurde.


    Am Anfang überleg dir einfach, was du erreichen willst, was es kosten soll, und wieviel Aufwand du treiben willst. Als Beispiel meine Backupstrategie: In meinem PC sind 3 Festplatten: 1x System (Windows, 250GB SSD), 1 x Daten (2,5" HDD 2GB) und 1x Sicherung (2,5" HDD 2GB).

    250GB SSD für Windows aber nur 2GB für Daten und 2GB für Sicherung? Da stimmt doch was nicht :rofl:


    Zusätzlich sichere ich alle 1/2 Jahr auf zwei externe HDDs (je 2GB). Eine davon liegt danach bei mir im Schrank, die andere bei einem Freund an anderer Adresse.

    Das ist halt schon Overkill für mich. Wenn mein Host-PC abraucht dann soll das für mich in jedem Fall egal sein. Auf der Boot-Platte sind keine Daten drauf die es wert wären zu speichern, und der Rest läge dann ja auf der 2TB (die darf ruhig mit abrauchen) und auf dem RAID als externes.

    Wenn ich schon so paranoid bin, dass ein Blitz mein gesamtes System inkl. Peripherie röstet, dann ziehe ich einfach das Kabel ab wenn ich nicht am RAID bin.


    Und sollte es mal so weit kommen, dass das gesamte Haus abraucht, naja, Pech gehabt.

    Offsite-Backups hole ich irgendwann nach wenn ich Kohle locker sitzen habe, aber eine 4TB Platte kostet ja schon um die 150€ (je nach dem ob Standard oder 24/7), und da geht schon ordentlich Kohle für das Setup selbst flöten.

  • Ich stand vor ein paar Jahren ebenso vor der Aufgabe meine Daten mal bisschen sicherer abzulegen.

    Hürde dabei: Ich wollte partout nicht groß Geld für sowas ausgeben - also habe ich mir angeschaut was ich so da habe und habe auf der Grundlage aufgebaut.

    Gefunden habe ich: Einen Raspberry Pi, eine externe 2TB Festplatte.


    Ich habe mir dann eine baugleiche 2TB Platte dazugekauft.

    Diese hängen am Pi wo ich ein ganz minimales Arch Linux drauf laufen lasse.

    Die beiden Platten wurden mit BTRFS als RAID 1 formatiert - somit habe ich erst einmal die Ausfallsicherheit (bis zu einem gewissen Grad) hergestellt.


    Dann habe icher erstmal einen Sambaserver eingerichtet (bzw. noch einen NFS-Server für die Linuxmaschinen) und schon hatte ich im Netz mein zentrales Backuplaufwerk.

    Die Clients synchronisieren sich 1x täglich nachts mit diesem System (Windows: FreeFileSync, Android: FolderSync, Linux: rsync/btrfs-sync).

    Ich hatte so nun schonmal ein zentrales Datensystem anstatt vieler einzelner Clients die untereinander nicht synchron waren und die Daten waren schonmal relativ sicher gegenüber dem Ausfall einer Festplatte.


    Nun jedoch gilt primär alles das was Professor Bernd sagte: Ausfallsicherheit klingt schön - reicht aber bei weitem nicht.

    Ein erstes Backup habe ich ja schon - die Clients selbst. Der größte Teil der Daten liegt bereits dort.

    Aber alle Daten eben nicht - z.B. eine zentrale Sammlung aller Fotos usw.

    Daher kam noch eine weitere (ältere) 2TB-Platte an den Pi wo die wichtigsten Daten täglich per btrfs-sync (rasend schnell da nur Änderungen auf Blockebene übertragen werden müssen) hingehen.

    Diese habe ich ganz bewusst nicht mit ins RAID genommen sondern als eigene Instanz.


    Was machen wir jetzt aber wenn z.B. eine Ransomware auf nem Client wütet?
    Diese kann die Daten auf dem Client killen und durch den Schreibzugriff auch alle Daten auf dem Server wo es Rechte hat.
    Da nützt das gute RAID 1 mir auch nichts.

    Und auch meine automatischen Backups (z.B. auf die 3. Platte am Pi) würden diese fatalen Änderungen mit rüberziehen!


    Konzept also im Arsch? - nicht ganz! Denn:

    BTRFS (und auch ZFS) sind durch ihre COW-Struktur wahnsinnig gut geeignet für Snapshotting.
    Man kann damit das gesamte System zu einem bestimmten Zeitpunkt "einfrieren" und alles was danach passiert wird als Änderungen zu diesem Zustand erfasst.

    Das ganze geht mit minimalen Overhead (Performance und Speicher) einher.

    Und genau das nutze ich.
    Um dies zu komfortabel und automatisiert zu machen gibt es die schöne Software Snapper.

    Diese macht nichts weiter als in einem bestimmten Intervall (z.B. jede Stunde) ein Snapshot vom Dateisystem zu erstellen.

    Diese Snapshots werden dann dahingehend verwaltet, dass alte Snapshots so gelöscht werden, dass noch ein Satz Snapshots in einem bestimmten Schema übrig bleiben.

    In meinem Fall habe ich so immer folgende Zustände meines Systems vorliegen:

    • Stündliche Snapshots der letzten beiden Tage
    • Tägliche Snapshots der letzten zwei Wochen
    • Wöchentliche Snapshots der letzten zwei Monate
    • Monatliche Snapshots der vergangenen zwei Jahre

    Das heißt: Wenn irgendwas auf Datenebene völlig schief läuft, dann stelle ich es einfach zu einem gewünschten Zeitpunkt wieder her.

    Eine Ransomware auf nem Client kann damit keinen Schaden mehr anrichten, da sie keinerlei Zugriff auf die Snapshot-Ebene hat.

    Auch angenehm: Wenn ich beim Programmieren Scheiße baue, kann ich schnell auf den Zustand von vor einer Stunde zurückswitchen - sehr angenehm


    Irgendwann habe ich dann mal angefangen auch noch einen "Cloud"-Zugriff für mich darauf einzurichten, sodass ich auch von unterwegs auf alle meine Daten zugreifen kann.

    Das habe ich ganz bewusst nur minimal aufgebaut - heißt: Ein nginx-Server der nur https zulässt und per http-authentification Zugriff gewährt. Der Dateizugriff läuft dann über den WebDAV vom nginx.
    Später habe ich mir dann doch noch ein bisschen mehr Komfort gegönnt und mir noch den Tiny File Manager (besteht aus nur einer einzigen PHP-Datei) dazugestellt - nun ist der Zugriff auch hübscher.


    Damit habe ich nun erst einmal eine - meiner Meinung nach(!!) - solide Grundlage dafür, dass meine Daten eine gewissen Grundsicherheit haben.

    Und meine Kosten hierfür waren wirklich minimal.

    Ich bin mir dennoch bewusst, dass es noch Szenarien gibt für die ich jedoch nicht gewappnet bin. Z. B. wenn meine Bude abbrennt oder wenn es irgendeine Schadsoftware auf den Pi schafft und dort die Platten formatiert.

    Hier habe ich daher noch eine weitere externe HDD, welche ich jedoch nur sporadisch und manuell befülle, aber bei mir auf Arbeit in meinem Schrank lagere.

    Perspektivisch werde ich wohl jedoch noch ein Backup weit draußen (hab hierbei Amazon Glacier im Blick) mit dazu nehmen - dann ist's aber wirklich gut.


    Geschwindigkeiten sind für mich absolut irrelevant. Das höchste was die Platten an Lesezugriffen erfahren ist wenn ich mir eine Serie oder Aufnahmen ansehe, und diese sind im Extremfall 100 Mbit/s, also ~13 MB/s.

    Die Schreibgeschwindigkeiten sind auch nicht so wichtig, solange dabei was um die 30-40 MB/s rumkommt ist das vollkommen OK, auch wenn die HDDs 100MB/s+ schaffen sollten.

    So war es bei mir auch - habe es primär als Backuplösung gesehen und da war mir die Performance wirklich wumpe.
    Jetzt habe ich mittlerweile nen Pi 4 und aus meiner Erfahrung heraus geht das ganze so fix, dass ich zum großen Teil jetzt direkt auf dem Netzlaufwerk arbeite anstatt lokal.

    Habe jetzt gerade keine Messung zur Hand aber 60-70 MByte/s bekomme ich damit problemlos hin.

    Es wäre natürlich sehr wünschenswert, gar notwendig, dass ich den Verbund einfach an einen anderen Rechner stöpseln und dort weiternutzen kann falls ich mal mit dem Notebook ran will, oder meinen Host-PC neu aufsetze / wechsle.

    Mein BTRFS-RAID ist von nem Pi3 auf nen Pi4 umgezogen - lief so ab:
    Festplatten ausstöpseln - an den neuen anschließen - mounten - fertig.

    Es ist ja alles auf Dateisystemebene - da kommen keine externen Effekte mit dazu.

    Dabei vergesse ich aber teilweise für mehrere Wochen / Monate alle Platten synchronisiert zu halten indem ich mit WinMerge schaue welche Daten ich noch nicht rüberkopiert habe.

    Dieses Problem lässt sich ganz einfach lösen: Nimm sowas wie FreeFileSync und lasse die Daten damit 1x täglich automatisch synchronisieren.

    Muss ich auf etwas spezielles achten? Kann ich unter Windows auch ZFS verwenden um Bitrotting zu berücksichtigen?

    Es gibt für Windows Dateisystemtreiber für ZFS (ZfSin) als auch BTRFS (WinBTRFS).
    Ich habe jedoch so meine Zweifel ob man diese unter Windows wirklich produktiv betreiben sollte.
    Außerdem ist mir noch nicht ganz klar warum Windows?
    Denn dein "NAS" muss doch nicht auf Windows laufen sondern kann doch gleich auf Linux oder BSD laufen.

  • Wichtig: RAID ist NICHT das Richtige für Datensicherung!

    JEIN. Ein SYSTEM, das mit RAID läuft ist natürlich keine Datensicherung. Für Datensicherung sollte immer ein externer Datenträger verwendet werden. Und für diesen Datenträger gilt: Datensicherung ist NICHTS ohne RAID (Spiegelvarianten)! GVS (Großvater-Vater-Sohn auf 3 Datenträgern) Sicherung ist eher problematisch, wenn nicht zusätzlich, wie von AspirinJunkie erwähnt, Snapshots erstellt werden, ein Tag (der aktuelle) wäre ansonsten im Notfall futsch.

    Kann man die Platten an keinen neuen Controller anschließen? Sind die Informationen auf dem Controller gespeichert oder warum geht alles den Bach runter wenn dieser ausfällt?

    Der Controller war damals schon 8 Jahre alt und kein baugleicher mehr erhältlich, dadurch gab es die Probleme. Wenn man jetzt ein NAS eines soliden Herstellers verwendet (oder die Pi - Version, wie von AspirinJunkie vorgeschlagen), hat man dann auch keine Probleme.

  • Das heißt: Wenn irgendwas auf Datenebene völlig schief läuft, dann stelle ich es einfach zu einem gewünschten Zeitpunkt wieder her.

    Eine Ransomware auf nem Client kann damit keinen Schaden mehr anrichten, da sie keinerlei Zugriff auf die Snapshot-Ebene hat.

    Auch angenehm: Wenn ich beim Programmieren Scheiße baue, kann ich schnell auf den Zustand von vor einer Stunde zurückswitchen - sehr angenehm

    So abgesichert gegen eventuelles Löschen oder Viren brauche ich das ja nicht.


    Ich verstehe den Hintergedanken, dass man ein bombenfestes Backup hätte, aber es ist so, dass die Platten zu 99% ihrer Lebenszeit aus sind.

    Viren sind daher nicht meine größte Sorge, da ich zweifelhafte Software in einer VM teste und mein PC schon befallen/unbenutzbar wäre bevor ich meine Platten wieder anschließe und somit die Platten nicht nutzen könnte, weil Host kaputt.


    Ich habe jedoch so meine Zweifel ob man diese unter Windows wirklich produktiv betreiben sollte.
    Außerdem ist mir noch nicht ganz klar warum Windows?
    Denn dein "NAS" muss doch nicht auf Windows laufen sondern kann doch gleich auf Linux oder BSD laufen.

    Es zwingt mich keiner Windows zu nutzen, ich könnte mir auch einen Pi anschließen und ein Gehäuse kaufen, und daraus einen NAS machen, und und und....

    Das brauche ich aber alles nicht. Tägliche Backups/Snapshots sind für mich überflüssig, da sich die Daten alle paar Wochen/Monate mal ändern wenn ich eine neue Welle an CDs digitalisiere.


    Es würde mir reichen wenn ich die 4+6TB dann als Backupplatten nehme und manuell nochmal rüberkopiere (oder ein Sync-Tool nehme und manuell synce) und sie woanders lagere, das wäre vermutlich sogar in meinem Fall die beste Lösung als doppelte Sicherung.


    Um das ganze nochmal kurz zusammenzufassen:


    Ich will einfach nur Speicher haben, bei dem ich nicht manuell alles doppelt kopieren muss (von dem eben angesprochenen Backup mal abgesehen), und der ausfallsicher ist.

    Falls einer der Platten wegen schlechter Manufaktur bereits nach 20 Betriebsstunden den Geist aufgibt, will ich nicht mit leeren Händen darstehen.

    Netzwerkzugriff, automatisiertes Backup, Snapshotting ist alles --- für den Moment, und auch sehr wahrscheinlich für die Zukunft --- für mich nicht wichtig, da die Platten sehr selten laufen und sich der Inhalt nur sehr minimal ändert. Es kommen immer nur Daten hinzu, es werden kaum (nie) welche gelöscht.

    Daten die ich aktiv nutze werde ich ja auf meiner internen 2TB nochmal haben, sei es Musik oder anderer Kram den ich häufig nutze. Wenn das gelöscht wird ist mir das egal, habs ja noch auf der Externen.


    Einfachheit des Systems hat dabei für mich den Vorrang.

    Plug-n-Play wäre hier wohl das Zauberwort. Ich hätte das gerne so verwendet, als ob es einfach eine große Festplatte wäre die sich selber gegen Ausfall sichert (Kabel rein, Festplatte sichtbar, Kabel raus, Festplatte weg /// Festplatte kaputt ~> Benachrichtigung bekommen ~> neue einbauen ~> rebuilden).

    Windows wird nur verwendet weil es aufm Host-PC läuft, nicht weil ich die Platten mit einem zweiten Computer über Windows managen will.


    Mit Software-RAID habe ich bisher absolut Null Erfahrung weshalb meine Fragen eher fundamentaler Natur wären:

    Was nützt mir bspw. der Software-RAID von Windows wenn ich ihn nicht an anderen PCs nutzen kann (beim Wechsel des Host), oder ich keine Benachrichtigung bekomme, wenn die Platten degradiert sind?

    Kann ich bei vier Platten 2 als eine anzeigen lassen und die anderen zwei dann dementsprechend als RAID1 hinzufügen? Wäre das dann nicht RAID10? Ist es dann empfehlenswerter lieber 2 RAID1 Verbunde laufen zu lassen und die Daten einfach aufzuteilen?


    Ich verstehe ja die Sorgen die ihr mir zu vermitteln versucht, aber ich will da die Verhältnismäßigkeit waren.

  • Viren sind daher nicht meine größte Sorge, da ich zweifelhafte Software in einer VM teste und mein PC schon befallen/unbenutzbar wäre bevor ich meine Platten wieder anschließe.

    [...]

    Netzwerkzugriff, automatisiertes Backup, Snapshotting ist alles --- für den Moment, und auch sehr wahrscheinlich für die Zukunft --- für mich nicht wichtig, da die Platten sehr selten laufen und sich der Inhalt nur sehr minimal ändert. Es kommen immer nur Daten hinzu, es werden kaum (nie) welche gelöscht.


    Mit Viren hatte ich auch bisher noch nie Probleme.

    Wenn Daten flöten gingen dann war die Ursache stattdessen bei mir selbst zu suchen (Im Tran nen falschen Ordner gelöscht oder sowas).

    Ein RAID alleine bringt dich da keinen Millimeter weiter.

    Mach das einmal mit deinen Rips und du machst dir auf einmal um exakt sowas ganz intensiv Gedanken...


    Kann ich unter Windows auch ZFS verwenden um Bitrotting zu berücksichtigen?

    [...]

    Ich verstehe ja die Sorgen die ihr mir zu vermitteln versucht, aber ich will da die Verhältnismäßigkeit waren.


    Nur dass ich das richtig verstehe: Dass Daten nach versehentlichen oder (bösartigem) Verändern/Löschen wiederhergestellt werden könnten oder nicht siehst du in deinem Fall als vernachlässigbar an. Aber um Dinge wie Bit Rot machst du dir dann hingegen schon Gedanken? :S

    Kann ich bei vier Platten 2 als eine anzeigen lassen und die anderen zwei dann dementsprechend als RAID1 hinzufügen?

    Kann nur von meinen Erfahrungen mit BTRFS reden: Dort kannst du deine 4 Platten einfach als ein BTRFS-Volume formatieren.

    Um den Rest kümmert sich BTRFS - im System gibt es dann nur ein Volume.
    Die Platten kannst du als JBOD nehmen oder z.B. auch RAID 1. Dann teilt BTRFS die Daten dort auf und du kannst später Platten wegnehmen und andere hinzufügen (im laufenden Betrieb).

    Ist wohl auch einer der wenigen schwächeren Punkte von ZFS - dort ist man wohl (spreche als Außenstehender) nicht ganz so flexibel was Platten wegnehmen und hinzufügen angeht - insbesondere bei unterschiedlichen Plattengrößen.


    Was die Verhältnismäßigkeit angeht: Den Einsatz von ZFS/BTRFS auf Windows würde ich kritisch sehen.

    Bei Software-RAID & NTFS fehlen mir die Erfahrung um da was korrektes dazu zu sagen.

    So wie ich das verstehe möchtest du ein extra System (Sprich NAS) dafür vermeiden?

    Sonst gäbe es auch da wohl bestimmte Out-of-the-Box-Lösungen wie die ganzen NAS-Distributionen (FreeNAS, OpenMediaVault etc.).

    Dann bleibt im Grunde ja eigentlich nur ein Software-RAID auf deinem Windows.

  • AspirinJunkie Wow, schön zu sehen, dass sich zu Thema Backup noch jemand außer mir eigene Strategien einfallen lässt. Respekt vor deinen Kenntnissen! :thumbup:


    Tägliche Backups/Snapshots sind für mich überflüssig, da sich die Daten alle paar Wochen/Monate mal ändern ...

    Dabei fällt mir ein: Ich habe keinerlei Erfahrungen, welche Besonderheiten es gibt, wenn man Platten mit Software RAID 1 nur alle paar Monate an- und abstöpselt. :/

  • Mach das einmal mit deinen Rips und du machst dir auf einmal um exakt sowas ganz intensiv Gedanken...

    Sollte es mal in einem blöden Fall dazu kommen, kann ich die `eine´ CD neu rippen, das ist für mich kein Problem. Ärgerlicher wäre es wenn alles flöten ginge.

    Aber das ist sehr unrealistisch, weil ich nie was lösche (wieso auch, Speicherplatz ist ja genug da). Da müsste schon die Platte den Geist aufgeben.


    Nur dass ich das richtig verstehe: Dass Daten nach versehentlichen oder (bösartigem) Verändern/Löschen wiederhergestellt werden könnten oder nicht siehst du in deinem Fall als vernachlässigbar an. Aber um Dinge wie Bit Rot machst du dir dann hingegen schon Gedanken? :S

    Wie gesagt ist ersteres kaum ein Problem, weil so gut wie nie gelöscht wird. Die zwei Platten die ich momentan nutze (4+6TB) würde ich dann ja als Backup nehmen, also wäre das auch kein Problem.

    Mir ging es bei Bitrotting darum, dass ich nicht möchte, dass die Daten schleichend flöten gehen und Bitrotting das erkennt, da hatte ich das Szenario mit dem Extrabackup noch nicht im Kopf.


    Wie siehts bei RAID aus wenn ein Sektor defekt wird? Wird die auf der anderen Platte auch direkt defekt? Wird das erkannt? Wird das zurechtgeschoben?

    Bei Bitrotting weiß ich, dass das passiert mit dem superduper tollen Werkzeugen in Linux, aber bei Windows Software-RAID weiß ich das bspw nicht.

    Deswegen habe ich da ein ungutes Gefühl im Bauch, weil ich nicht weiß wie da reagiert wird.


    Mir ist vor paar Jahren mal eine 1TB Platte schleichend kaputtgegangen obwohl CrystalDiskInfo meinte, die sei noch vollständig in Ordnung. Anzahl defekter Sektoren war auch alles paletti.

    Nur wenn du mal den 40GB Ordner mit Shadowplay Aufzeichnungen kopieren wolltest hat sich die Platte + Windows einfach komplett stur gestellt. Durfte alles einzeln auf die neue Platte kopieren, damit die defekten Daten den Vorgang nicht unterbrechen.


    Bei Software-RAID & NTFS fehlen mir die Erfahrung um da was korrektes dazu zu sagen.

    Da scheinen die wenigsten damit Erfahrung zu haben. Vielleicht wäre es hier eine gute Lösung einfach mal das ganze auszuprobieren.

    Ich hab noch ein 2,5" Gehäuse rumliegen und schau mal ob ich von Freunden noch eins auftreiben kann, dann kann ich ja zumindest Ausfall simulieren, an andere Rechner anstöpseln.


    So wie ich das verstehe möchtest du ein extra System (Sprich NAS) dafür vermeiden?

    Sonst gäbe es auch da wohl bestimmte Out-of-the-Box-Lösungen wie die ganzen NAS-Distributionen (FreeNAS, OpenMediaVault etc.).

    Genau! Ich habe am Anfang mit dem Gedanken gespielt (Standalone NAS-Kisten sind wahnsinnig teuer) das ganze mit einem RPi aufzuziehen, aber es ist halt einfach Overkill.

    Die Platten laufen kaum, und es hat nur ein Rechner darauf Zugriff, also warum der Extraaufwand.


    Sowas ziehe ich aber in Erwägung wenn ich von außen Zugriff möchte, ist aber bisher nicht der Fall.


    Dann bleibt im Grunde ja eigentlich nur ein Software-RAID auf deinem Windows.

    Das ist zumindest das woran ich als erstes gedacht habe und da das bestimmt nicht direkt die beste Lösung ist, dachte ich ich frag mal in die Runde was es da noch so gibt.

  • Wie siehts bei RAID aus wenn ein Sektor defekt wird? Wird die auf der anderen Platte auch direkt defekt? Wird das erkannt? Wird das zurechtgeschoben?

    ZFS und BTRFS schreiben Prüfsummen (bereits vor dem Schreiben im Speicher) für die Blöcke.

    Beim Lesen des Blocks bzw. beim Scrubbing wird damit gecheckt ob die Daten noch korrekt sind.

    Ist das nicht der Fall wird bei einer Festplatte der Fehler erkannt und man weiß dass die Daten scheiße sind.

    Bei einem RAID >= 1 werden die Daten dann vom anderen gesunden Volume genommen.

    Beim Scrubbing wird auch der Fehler auf dem fehlerhaften Volume mit den Daten des gesunden Volumes wieder geheilt.


    Der Sektor wird auch nur auf einer Platte defekt, da dessen Entstehen ja keine Dateisystemoperation ist sondern Ursachen wie z.B. irgendwelche Störeinflüsse oder sowas hat.

    Beim RAID bei einem Dateisystem mit Prüfsummen sind diese Fehler daher kein wirkliches Problem.


    Edit: Du merkst dass ich auf Windows und NTFS nicht wirklich eingehe. Neben dem Aspekt, dass ich davon keine Ahnung habe versuche ich dich weiter davon wegzubringen und wirklich auf was anderes zu bewegen ;-)

    Aber einen Ansatz vielleicht noch: Microsoft hat vor einiger Zeit ein Dateisystem rausgebracht, was viele der von dir gewünschten Eigenschaften hat: ReFS

    Checksummen für die Datenebene und Spiegelvolumes sind hier wohl mit dabei - damit sollte das von mir beschriebene Verhalten bei Sektorfehlern auch damit handlebar sein.

    Allerdings ist es auffällig wie wenig man bisher davon hört - das hat sicherlich Gründe...

  • Ich hatte noch ein 3,5" Gehäuse rumliegen gehabt und hab einfach mal eine 2,5" Platte und eine 3,5" Platte beide über USB (separater Port) angeschlossen.

    Im Diskmangement kann ich zwar die Option anwählen ein gespiegeltes Volume zu erzeugen, jedoch kriege ich dann prompt die Meldung, dass der Vorgang von den Datenträgern nicht unterstützt wird (Datenträger von basis nach dynamisch zu konvertieren).


    Eine kurze Recherche hat ergeben, dass dynamische Datenträger nur für interne Festplatten spezifiziert ist. Zwar gibt es einen Trick indem man die Platte intern als dynamisch konvertiert und dann extern anschließt, dieser Weg ist aber nicht dokumentiert und da lass ich die Finger davon.

    D.h. es kommt offenbar nur ein HW-Controller in Frage (sei es als RPi oder dediziert) wenn ich RAID1 drauf haben möchte. Ansonsten darf ich alles doppelt kopieren.


    Edit: Du merkst dass ich auf Windows und NTFS nicht wirklich eingehe. Neben dem Aspekt, dass ich davon keine Ahnung habe versuche ich dich weiter davon wegzubringen und wirklich auf was anderes zu bewegen ;-)

    Aber einen Ansatz vielleicht noch: Microsoft hat vor einiger Zeit ein Dateisystem rausgebracht, was viele der von dir gewünschten Eigenschaften hat: ReFS

    Checksummen für die Datenebene und Spiegelvolumes sind hier wohl mit dabei - damit sollte das von mir beschriebene Verhalten bei Sektorfehlern auch damit handlebar sein.

    Allerdings ist es auffällig wie wenig man bisher davon hört - das hat sicherlich Gründe...

    Das ist mir auch schon aufgefallen. Man empfiehlt gerne seine Lieblinge und das was sich für einen bewehrt hat, aber es schadet ja nicht seinen Horizont zu erweitern. Software RAID hat sich nach 'ner tollen Sachen angehört und wäre für mein Vorhaben vermutlich ideal gewesen.

    ReFS ist in Win Pro nicht mehr verfügbar, nur noch für den Enterprise Markt.

  • Ich hatte noch ein 3,5" Gehäuse rumliegen gehabt und hab einfach mal eine 2,5" Platte und eine 3,5" Platte beide über USB (separater Port) angeschlossen.

    Im Diskmangement kann ich zwar die Option anwählen ein gespiegeltes Volume zu erzeugen, jedoch kriege ich dann prompt die Meldung, dass der Vorgang von den Datenträgern nicht unterstützt wird (Datenträger von basis nach dynamisch zu konvertieren).

    Ah, danke für die Info! Das hatte ich gemeint mit:

    Dabei fällt mir ein: Ich habe keinerlei Erfahrungen, welche Besonderheiten es gibt, wenn man Platten mit Software RAID 1 nur alle paar Monate an- und abstöpselt. :/

  • Zum Thema Backup:
    Amüsant, wenn auch auf Englisch: http://taobackup.com/

  • Da meine Paranoia in letzter Zeit gewachsen ist, dass irgendwann meine Platten den Geist aufgeben möchte ich möglichst fix einen redundanten Speicher einrichten.

    Das war auch mein Ziel:

    Ich stand vor kurzer Zeit mit meiner bescheidenen Datenmenge von ca. 1,2 GB und mit der Datenmange meiner Frau und Kinder bei einem Gesamtsicherungsvolumen von ca. 7 TB. (Da mit den Smartphonekameras heutzutage einfach fast alles gefilmt und forografiert wird.)


    Ich habe mir folglich 2 14TB Platten von "seaga..." besorgt. Auf einen Link verzichte ich an dieser Stelle, da ich keine Werbung machen möchte.


    Mit einer ext. Festplatte sichere ich täglich die festgelegten Daten vom Windows-PC, Apple-Computer und Iphone und die Daten meiner Familie ebenso. Android kann auch gesichert werden. Die ext. Festplatte hängt am Router (USB 3) im Heimnetz. Die Sicherung läuft einmal eingerichtet, vollautomatisch zu den festgelegten Zeiten ab.


    Auf der zweiten ext. Festplatte mache ich monatlich eine redundate Sicherung der Systemlaufwerke. Die kompletten PC's und Mac's als Image. Manuell.


    Das ganze im Familienpack von Acron... Auf einen Link verzichte ich an dieser Stelle auch.

    Das ganze Sicherungsverfahren ist nicht kompliziert und macht seinen Dienst.

    Ich habe schon oftmals diverse Datenrücksicherungen und mehrfach ganze Systeme wiederhergestellt und bin in meinem privaten Umfeld mit den eingekauften Produkten hochzufrieden.


    Abgesehen davon kann ich mit den Windows-PE Versionen (sind inclusive) des o. g. Softwareproduktes, einen sogenannten Unisveralrestore, selbst bei abweichender Hardware bei PC's oder im Notebook erledigen und Systeme von HDD auf SSD umziehen. Die Liste ist lang, was mit dieser Software alles geht.

  • Meine Erfahrungen mit Datensicherung:


    Für zu Hause ist es nicht so wichtig ob ich eine Raid1 oder 5 habe (Raid5 mit einem vernünftigen Controller kostet richtig Geld) oder einfach nur eine USB-Disk verwende. Wichtig ist das ich es regelmäßig mache!


    meine Sicherung:

    Ich habe einen einfaches Script das mit meine Daten (eine Auswahl an Ordner) in ein RAR-Archiv einmal pro Tag sichert. Nach 30 Tagen werden die äteren Archive überschrieben. So kann ich auch noch auf einen äteren Stand zurückgreifen wenn es sein muss. Gesichert wird das ganze auf einen Server (zweiter PC) und von dort auf eine USB-Disk.

    Da es leider so böse Programme gibt die dir die Daten verschlüsseln und dann Bitcoints wollen, verschlüssel ich sie selbst mit Boardmittel (EFS). Das verhindert zum Teil das böse Java/VB-Script hier etwas anstellen (leider nicht alle).


    Für meine Zwecke recht da, ob das für Dich passt musst Du entscheiden!


    lg

    Racer

  • alpines Ein Punkt ist mir noch eingefallen: Die Wiederherstellung von RAID Festplatten, wenn eine getauscht wird (z. B. nach Ausfall). Ich weiß nicht, ob es auf RAID 1 zutrifft, aber bei RAID allgemein kann das wirklich lange dauern. Vielleicht weiß jemand was dazu?

  • alpines Ein Punkt ist mir noch eingefallen: Die Wiederherstellung von RAID Festplatten, wenn eine getauscht wird (z. B. nach Ausfall). Ich weiß nicht, ob es auf RAID 1 zutrifft, aber bei RAID allgemein kann das wirklich lange dauern. Vielleicht weiß jemand was dazu?

    Das ist abhängig von der Plattengröße da ja die gesamte Festplatte durchgescannt werden sollte und nicht nur die Sektoren die beschrieben sind.