1. Dashboard
  2. Mitglieder
    1. Letzte Aktivitäten
    2. Benutzer online
    3. Team
    4. Mitgliedersuche
  3. Forenregeln
  4. Forum
    1. Unerledigte Themen
  • Anmelden
  • Registrieren
  • Suche
Alles
  • Alles
  • Artikel
  • Seiten
  • Forum
  • Erweiterte Suche
  1. AutoIt.de - Das deutschsprachige Forum.
  2. Mitglieder
  3. AspirinJunkie

Beiträge von AspirinJunkie

  • CSV einlesen mit Werteparsing

    • AspirinJunkie
    • 19. Juni 2020 um 16:00

    Ja wahrscheinlich das beste.

    Ne ausgewachsene UDF stellen die 3 Funktionen ja eh nicht dar - nur ein Ort wo sie gemeinsam abgespeichert sind.

    Zitat von water

    vielleicht auf _Array2Dicts anpassen - die Amis/Britten verstehen das sonst vielleicht falsch ;)

    Ich lass es mal so - vielleicht fördert das ja deren Verbreitung ;)

  • CSV einlesen mit Werteparsing

    • AspirinJunkie
    • 19. Juni 2020 um 15:17

    Jaja sowas hätte ich ja auch gemacht - das Problem ist bloß dass die aktuelle _Array2Dics im Grunde gar nix mit CSV zu tun hat.
    Wenn ich die irgendwie zusammenhauen soll brauche ich sowas wie einen gemeinsamen thematischen Nenner - ich sehe halt hier bisher keinen.

  • CSV einlesen mit Werteparsing

    • AspirinJunkie
    • 19. Juni 2020 um 14:47

    Das wäre der Name der UDF-Datei. Mir ging es jedoch um die Funktionen selber.
    Also wie z.B. die Array-Funktionen in der Array.au3 - die fangen alle mit _Array... an und zeigen damit schon am Namen wo sie hingehören.

    Die 3 Funktionen hier sind jedoch vom Namen noch inkosistent.

  • CSV einlesen mit Werteparsing

    • AspirinJunkie
    • 19. Juni 2020 um 13:08
    Zitat von UEZ

    In beiden _Array2* Beispielen fehlt ein #include "_parseCSV.au3"

    Stimmt - War jetzt nicht als ausgewachsene UDF gedacht sondern nur als 3 eigenständige kleine Funktionen.

    Daher nur die Beispiele wo ich davon ausging, da fügt sich einer noch die Funktion jeweils dazu.

    Aber gut - ich werde das mal als UDF verpacken und oben so dran hängen.
    Dann wäre eine konsistente Namensgebung der Funktionen aber sinnvoll - Vorschläge? Gerade im Hinblick auf eventuelle weitere Funktionen die da thematisch reinpassen würden?

    Zitat von UEZ

    und FileWrite ohne das Drumherum ist nicht Optimum, da immer in die bestehende Datei angehängt wird

    Ja stimmt - wollte das Beispiel jedoch nicht groß aufblähen.

    Sollte ja suggerieren das man damit alles gaaaaanz easy in einer Zeile abfrühstücken kann :D

  • CSV einlesen mit Werteparsing

    • AspirinJunkie
    • 19. Juni 2020 um 10:49

    Es gibt zwar schon ein paar Funktionen zum Einlesen von CSV aber manche kommen mit Feinheiten wie escaped quotes oder Zeilenumbrüche in einem Value nicht klar.

    Außerdem habe ich mir eine Funktion gewünscht, welche gleich das benutzerdefinierte Parsing der Werte übernimmt (z. B. "deutsche" Zahlen mit "," als Dezimaltrennzeichen sollen gleich als AutoIt-Zahlentyp eingelesen werden oder sowas).

    Des Weiteren hätte ich gerne (wie z.B. bei Python) die Werte nicht nur als 2D-Array sondern die einzelnen Datensätze gleich als Objekte vorliegen. (macht es bei der Verarbeitung hinterher einfacher wenn man einfach den Attributnamen des Objektes angeben kann anstatt dass man mit Indizes arbeiten muss).

    Daher habe ich halt selbst eine entsprechende Funktion geschrieben und könnte mir vorstellen, dass noch jemand Verwendung für diese finden könnte.

    Die _parseCSV ist für das Einlesen und konvertieren in ein Array zuständig und kann folgendes:

    • Einlesen von CSV-Dateien oder Strings
    • kommt mit escaped Quotes und Zeilenumbrüchen in Values klar
    • Beliebiges Austauschen der Trennzeichen und Quote-Zeichen
    • Headerzeile ignorieren ist möglich
    • Für jede Spalte kann eine Funktion angegeben werden mit der die jeweiligen Werte konvertiert / geparsed werden sollen
    AutoIt
    #include "parseCSV.au3"
    
    ; CSV-Daten besorgen:
    Global $s_CSV = BinaryToString(InetRead('https://pastebin.com/raw/3N1xVAN0'), 4)
    
    ; simples direktes Einlesen in ein Array ohne Behandlung der Werte:
    Global $aData = _parseCSV($s_CSV)
    _ArrayDisplay($aData, 'Großstädte Deutschlands', '1:', 64, Default, _ArrayToString($aData, '|', 0, 0))
    
    ; konvertiere in deutsch formatierte Zahlenwerte in AutoIt-Zahlentypen
    $aData = _parseCSV($s_CSV, True, False, ';', '"', ';__PunktWeg;__ZahlDeutsch;__PunktWeg;Number')
    _ArrayDisplay($aData, 'Großstädte Deutschlands - als Zahlen geparsed', '1:', 64, Default, _ArrayToString($aData, '|', 0, 0))
    
    
    
    ; deutsch formatierte zahlen in Zahlentyp konvertieren
    Func __ZahlDeutsch($sZahl)
        Return Number(StringReplace(StringReplace($sZahl, '.', ''), ',', '.'))
    EndFunc   ;==>__ZahlDeutsch
    
    ; entfernt Punkt aus String und wandelt in Zahlentyp
    Func __PunktWeg($sZahl)
        Return Number(StringReplace($sZahl, '.', ''))
    EndFunc   ;==>__PunktWeg
    Alles anzeigen

    Die _Array2Dics konvertiert ein 2D-Array (wie z. B. von der _parseCSV zurückgegeben) in ein Array mit Objekten.
    Die Attributnamen kommen entweder aus der ersten Zeile (Headerzeile) oder können benutzerdefiniert übergeben werden:

    AutoIt
    #include "parseCSV.au3"
    
    ; Input-Array für _Array2Dics erzeugen:
    Global $s_CSV = BinaryToString(InetRead('https://pastebin.com/raw/3N1xVAN0'), 4)
    Global $aData = _parseCSV($s_CSV)
    
    ; 2D-Array in Array of Objects konvertieren (mit eigenem Header):
    Global $aDics = _Array2Dics($aData, 'Name;EW;km²;EW/km²;Seit;Land')
    
    ; alle Objekte ausgeben
    For $oObject In $aDics
        ConsoleWrite("================================================" & @CRLF)
        For $Attribute In $oObject.keys
            ConsoleWrite(StringFormat("% 20s: %s\n", $Attribute, $oObject($Attribute)))
        Next
        ConsoleWrite("------------------------------------------------" & @CRLF & @CRLF)
    Next
    Alles anzeigen

    Zu guter letzt macht es in dem Zusammenhang noch Sinn eine Funktion zu haben, welche aus einem 2D-Array eine CSV bastelt:

    AutoIt
    #include "parseCSV.au3"
    
    ; 2D-Array erzeugen:
    Global $s_CSV = BinaryToString(InetRead('https://pastebin.com/raw/3N1xVAN0'), 4)
    Global $aData = _parseCSV($s_CSV, True, False, ';', '"', ';__PunktWeg;__ZahlDeutsch;__PunktWeg;Number')
    
    ; schreibe csv-Datei
    FileWrite("out.csv", _Array2CSV($aData, Default, ','))

    Und ebenfalls liegt noch die Funktion _StringHandleTable() dabei.
    Die ist ähnlich wie die parseCSV - jedoch für Tabellen wo die Spalten jeweils eine feste Breite haben (wie z.B. bei Ausgaben von printf) und eben nicht über ein Spaltentrennzeichen abgetrennt werden.
    Das Parsing von Konsolenausgaben dürfte sicher der häufigste Anwendungsfall für diese Funktion sein:

    AutoIt
    #include "parseCSV.au3"
    
    
    $s_String = RunCmd("netsh", "interface show interface")
    ; Erste zwei Zeilen entfernen:
    $s_String = StringRegExpReplace($s_String, '\A(?>.*\R){3}', '')
    
    ; Tabellenformatierten String mit festen Spaltenbreiten in Array parsen:
    $a_Data = _StringHandleTable($s_String, "__active 15; __connected 15; void 17; leftstring")
    _ArrayDisplay($a_Data, "netsh interfaces", "", 64, Default, "Aktiviert?|Verbunden?|Device")
    
    
    ; user-defined functions zum speziellen Parsen einzelner Spalten:
    Func __active(Const $S)
        Return StringRegExp($S, "^Aktiviert") = 1
    EndFunc
    
    Func __connected(Const $S)
        Return StringRegExp($S, "^Verbunden") = 1
    EndFunc
    
    
    
    
    ; #FUNCTION# ======================================================================================
    ; Name ..........: RunCmd()
    ; Description ...: runs commandline programs or cmd-command and return their output
    ; Syntax ........: RunCmd($s_Cmd, [$sParameter = '', [$b_CmdSpec = False, [$WorkDir = @WorkingDir]]])
    ; Parameters ....: $s_Cmd        - the command which should be executed (can be full command or without parameters)
    ;                  $sParameter   - additional parameters for the command (also array of parameters)
    ;                  $b_CmdSpec    - If true the command is interpreted as a command for cmd.exe
    ;                  $WorkDir      - the working directory
    ; Return values .: Success: returns a string with the output
    ;                  Failure: set @error and returns a debug-string
    ; Author ........: AspirinJunkie
    ; =================================================================================================
    Func RunCmd($s_Cmd, $sParameter = '', $b_CmdSpec = False, $WorkDir = @WorkingDir)
        Local Static $h_User32DLL = DllOpen('user32.dll')
        If @error Then Return SetError(1, @error, "")
    
        If $b_CmdSpec Then $s_Cmd = @ComSpec & " /c " & $s_Cmd
    
        Local $s_Ret, $s_Line, $s_Err
    
        If $sParameter <> '' Then
            If IsArray($sParameter) Then
                Local $s_Par = ""
                For $j In $sParameter
                    $s_Par &= " " & _QiN($j)
                Next
                $sParameter = $s_Par
            Else
                $sParameter = ' ' & $sParameter
            EndIf
        EndIf
    
        Local $iPID = Run($s_Cmd & $sParameter, $WorkDir, @SW_HIDE, 0x2 + 0x4)
        If @error Then Return SetError(2, @error, "")
    
        Do
            $s_Line = StdoutRead($iPID)
            If @extended > 0 Then $s_Ret &= $s_Line
            If @error Then ExitLoop
            Sleep(10)
        Until 0
    
        Do
            $s_Line = StderrRead($iPID)
            If @extended > 0 Then $s_Err &= $s_Line
            If @error Then ExitLoop
            Sleep(10)
        Until @error
    
        $s_Ret = DllCall($h_User32DLL, 'BOOL', 'OemToChar', 'str', $s_Ret, 'str', '')[2]
    
        If $s_Err <> "" Then
            If $s_Ret <> "" Then Return SetError(3, 0, "------- StdOut -----------" & @CRLF & $s_Ret & @CRLF & @CRLF & "------- StdErr -----------" & @CRLF & $s_Err)
            Return SetError(3, 0, $s_Err)
        EndIf
        Return $s_Ret
    EndFunc   ;==>RunCmd
    
    ; adds quotes if white spaces and escapes tabs and vertical space
    Func _QiN($s_String, Const $s_Quote = '"', Const $s_QEscape = '""', Const $s_TabEscape = Default, Const $s_LineEscape = Default)
        ; escape line breaks
        If $s_LineEscape <> Default Then $s_String = StringRegExpReplace($s_String, '(\v)+', $s_LineEscape)
        ; escape tabs
        If $s_TabEscape <> Default Then $s_String = StringRegExpReplace($s_String, '(\t)+', $s_TabEscape)
        ; quotes around if necessary
        If StringInStr($s_String, ' ', 1) Then Return $s_Quote & StringReplace($s_String, $s_Quote, $s_QEscape, 0, 1) & $s_Quote
        Return $s_String
    EndFunc   ;==>_QiN
    Alles anzeigen

    Changelog:

    2021/02/10
    • Code entschlackt
    • geringe Performanceverbesserungen (ca. 10% in meinen Messungen)
    2020/07/22
    • Code entschlackt
    • geringe Performanceverbesserungen
    2020/07/21
    • Performance deutlich gesteigert (durch Vereinfachung der internen RegEx-Pattern)
    2020/06/16
    • initiale Version

    Dateien

    parseCSV.au3 16,49 kB – 505 Downloads
  • _Array2DSortFree äöü richtig sortieren

    • AspirinJunkie
    • 17. Juni 2020 um 13:27
    Zitat von Bitnugger

    Da ist was dran... hat er evtl. auch gesagt, das man so wenig wie möglich Variablen deklarieren sollte? Denn in einigen Funktionen benutzt du für quasi dieselbe Aufgabe im If- und im Else-Zweig zwei verschiedene.

    Z.B.: _DynArraySort: $d_Ret und $b_Ret... hat das einen speziellen Grund?

    Also als erstes wird in diesen Fall immer nur eine Variable zur Laufzeit deklariert und eben nicht mehrere.

    Und ja in diesem Fall habe ich mir tatsächlich etwas dabei gedacht (kommt nicht immer vor!).

    Der Präfix d hat sich bei mir über die Jahre implizit als "Digit" eingebürgert (ja ich weiß - widerspricht der ungarischen Notation als auch der AutoIt-Abwandlung von dieser). Ich kennzeichne hiermit primär Integervariablen (jaja - number statt digit wäre logischer).

    Da _ArraySort  0 oder 1 zurückgibt wird daher dessen Ergebnis in $d_Ret geschmissen.

    Anders bei der _ArraySortFlexible - diese gibt True oder False zurück. Daher wird deren Return-Value in $b_Ret (b = boolean bei mir) weggespeichert.

    Zitat von Bitnugger

    Variablen so spät wie möglich deklarieren

    Da ist was dran...

    Oftmals wird diese Praxis sogar noch verschärft zu: "Variablen erst deklarieren wenn man sie auch definieren kann"

    Aber Mehrfachdeklarierungen sollten logischerweise dennoch vermieden werden (z. B. in Schleifen).

    Zitat von Bitnugger

    Es geht dabei weniger um mich, sondern um die Leute, für die ich Scripte schreibe...

    Es gibt Leute die verlangen, dass deine Skripte durch den AutoItWrapper durchlaufen müssen?

    Ich hoffe du wirst von denen dann wenigstens anständig bezahlt.

    Zitat von Musashi

    Könnte man sich ggf. darauf einigen, dass es hinsichtlich 'Guter Programmierstil" einen allgemeinen und einen sprachabhängigen Bereich gibt ;) ?

    Ich sage ja noch nichtmal, dass mein Programmierstil ein guter ist.
    Die Sachen hier schreibe ich ohne Zwang als Hobby - da mache ich das wie ich es für richtig halte.

    Und vor allem halte ich mich nicht mal streng an meine eigenen Regeln - das mache ich je nach Tagslaune auch mal anders.
    In Projekten mit mehreren sehe ich ein, dass sich auf einen Standard geeinigt werden muss. Hier habe ich diesen Zwang jedoch nicht.

    Aber ich sehe das wie du: Ungarische Notation bei typisierten Sprachen mache ich ebenso nicht.

  • _Array2DSortFree äöü richtig sortieren

    • AspirinJunkie
    • 17. Juni 2020 um 06:43
    Zitat von Bitnugger

    Ich bin jedenfalls generell der Meinung, dass es eh kein guter Stil ist, Variablen innerhalb von Schleifen Do...Until, While...Wend, For...Next, oder einer If...Then...Else...Endif-Anweisung zu deklarieren.

    Dies habe ich mir in meiner C/C++ - Zeit angewöhnt. Dort ist der verbreitete Grundsatz (Siehe die Werke von Scott Meyers): "Variablen so spät wie möglich deklarieren".

    Sprich: Dort ist es gerade guter Stil.

    Man kann gern darüber diskutieren inwiefern die dem zugrundeliegenden Argumente auch bei AutoIt greifen aber primär steht hierbei für mich folgendes im Vordergrund:

    Wenn ich es nicht machen würde, hätte ich schnell zig Fälle von "declared, but not used in func" ohne das dieser AutoItWrapper dies mitbekommt, da er schlicht nicht in der Lage ist Programmabläufe zu analysieren und stattdessen nur stupide schaut ob zwischen Func und EndFunc die selbe Zeichenkette nochmal auftaucht.

    Kurz: Auf diese Art vermeide ich real existierende "Fehler", welche der AutoItWrapper nicht zu erkennen in der Lage ist und nehme dafür Falschmeldungen über real nichtexistente Fehler in Kauf.

    Zitat von Bitnugger

    sein dämliches Gemeckere wäre aber leicht vermeidbar, indem...

    Täter-Opfer-Umkehr? ;)

    Sein dämliches Gemeckere wäre vermeidbar wenn er nicht mehr dämlich agieren würde.
    Ich sehe nicht ein winziges bisschen ein warum ich meinen Programmierstil (der eben auf verbreiteten Grundsätzen beruht) an einen Bug in einem anderen Programm anpassen muss, welches für den Betrieb meines Programmes völlig irrelevant ist.

    Wirst du von irgendwem mit vorgehaltener Waffe gezwungen den AutoItWrapper zu verwenden?

    Vor allem - wirst du gezwungen den mit Parameter "-3 " aufzurufen obwohl bekannt ist, dass der dies nicht korrekt auflösen kann?

  • _Array2DSortFree äöü richtig sortieren

    • AspirinJunkie
    • 16. Juni 2020 um 13:53
    Zitat von Bitnugger

    Die Version, die gestern noch bei >>aktualisierte UDF<< angeboten wurde.


    Da sah die Funktion noch so aus:

    Heute morgen habe ich diesen Stand runtergeladen - alles i.O.

    Ich hab den Stand vom 17.03.2020 hier vorliegen - das war der vorher letztmals geänderte Stand (Siehe Ältere Versionen des Beitrages).

    Hier ist es alles ebenso korrekt so wie es sein soll.

    Das älteste was ich jetzt hier an diesem Rechner vorliegen habe ist vom 9.3.20 - auch dort ist alles korrekt deklariert.
    Und vom Gefühl her, dass ich an der _DynArraySort() was geändert habe muss tatsächlich schon mehrere Jahre her sein.

    Du musst also aus irgendeinem Grund tatsächlich irgendeine alte Datei vorliegen gehabt haben.

    Edit: Habe jetzt noch eine Version von August 2016 gefunden - auch da sieht die _DynArraySort nicht so aus wie in deinem Screenshot.

    Edit2: Warte mal - kann es sein dass wir aneinander vorbei reden? Kann es sein, dass der Screenshot den du gepostet hast eine Version ist, die du bereits angepasst hast?

    Und der Grund dafür sind diese AutoItWrapper-Meldungen?

    Falls ja - die Meldungen sind Bullshit. Er merkt nicht, dass die Variable nur einmal deklariert ist - entweder im If-oder im Else-Zweig - nie gleichzeitig. Er rafft das jedoch nicht und meldet dann fälschlicherweise already declared - dem ist jedoch nicht so.

    Die anderen Hinweise zu unbenutzten Variablen werde ich jedoch noch einarbeiten - aber die Sache mit dem already declared werde ich nicht ändern - das ist ein Bug vom Au3Wrapper und daher sehe ich nicht ein meinen korrekten Code auf desssen Belange hinzubiegen.

    Edit 3: unbenutzte Variablen aus DynArray-UDF entfernt

  • _Array2DSortFree äöü richtig sortieren

    • AspirinJunkie
    • 15. Juni 2020 um 21:47
    Zitat von Tweaky

    aha, und wie sortiere ich nach Spalte 1 aufsteigend, dann Spalte 3 absteigend, dann Spalte 2 aufsteigend?

    So:

    AutoIt
    #include "DynArray.au3"
    
    ; Beispielarray erstellen:
    Global $aTest[1000][3]
    
    For $i = 0 To UBound($aTest) -1
        For $j = 0 To 2
            $aTest[$i][$j] = Random(0,9,1)
        Next
    Next
    
    _ArrayDisplay($aTest, "vorher")
    _ArraySortFlexible($aTest, _mycompare)
    _ArrayDisplay($aTest, "nachher")
    
    ; eigene Vergleichsfunktion zweier Arrayelemente um Sortierreihenfolge festzulegen
    Func _mycompare($A, $B)
        If $A[0] <> $B[0] Then Return $A[0] > $B[0] ? 1 : -1
        If $A[2] <> $B[2] Then Return $A[2] < $B[2] ? 1 : -1
        If $A[1] <> $B[1] Then Return $A[1] > $B[1] ? 1 : -1
    
        Return 0
    EndFunc
    Alles anzeigen
    Zitat von Bitnugger

    Hier hast du übrigens einen Fehler drin:

    Local $a_Temp, $d_Ret, $b_Ret - sind im If-Zweig deklariert, $a_Temp wird auch und $b_Ret wird nur im Else-Zweig benutzt, doch dort sind sie nicht deklariert!

    Dann ist es implizit Dim - auch ok.

    Aber bei der nächsten Änderung werde ich das mit glattziehen. - danke dir! - du scheinst viele Karotten zu essen.

    Edit: Welche Version der UDF hast du denn gecheckt? - in meiner (die ich gerade runtergeladen habe) ist das so gar nicht drin wie bei dir dargestellt.

    Dort sind alle Variablen korrekt mit Local in ihrem jeweiligen Scope deklariert.

    Du musst also irgendeine hornsalte Version vorliegen haben.

    Edit 2: Beispiel angepasst - aber unbedingt >>aktualisierte UDF<< runterladen!
    Habe anhand dieses Beispieles einen ziemlich heftigen Fehler bei der Pivot-Bestimmung des Dual-Pivot Quicksorts innerhalb der Funktion gefunden.
    Der machte diesen entweder lahm oder ließ ihn alternativ abstürzen!

  • _Array2DSortFree äöü richtig sortieren

    • AspirinJunkie
    • 15. Juni 2020 um 19:36
    Zitat von Tweaky

    Klar, ich will _Array2DSortFree auch dazu verwenden um mehrere Spalten zu sortieren.

    Welcher Aufwand lohnt sich? Deine _Array2DSortFree zu verwenden oder sich eine eigene Funktion wie AspirinJunkie zu schreiben?

    So wie ich das verstehe bräuchtest du wohl eine eigene Kollationstabelle die du irgendwie mit in die Sqlite-Lib mit verwursteln musst.

    Keine Ahnung wie hoch der Aufwand hierfür ist - für mich klingt er jedoch hoch.

    Warum genau scheust du dich eine eigene Vergleichsfunktion anzugeben?

    So böse ist das gar nicht.

    Hier mal ein Beispiel um ein 2D-Array nacheinander von der ersten zur letzten Spalte zu sortieren:

    Code
    Func _mycompare($A, $B)
        For $i = 0 To UBound($A) - 1
            If $A[$i] = $B[$i] Then ContinueLoop
            Return $A[$i] > $B[$i] ? 1 : -1
        Next
        Return 0
    EndFunc

    Die Funktion bekommt die gerade jeweils zu vergleichende Arrayzeilen in $A und in $B als 1D-Array (mit den Spaltenelementen) übergeben und muss nur alle Spalten abgehen.

    Und für andere Fälle bist du damit auch gleich vorbereitet - du kannst ja alles beliebig sortieren wie du möchtest.

    Das klassische NaturalSort ist damit z.B. total einfach.

  • _Array2DSortFree äöü richtig sortieren

    • AspirinJunkie
    • 15. Juni 2020 um 18:55

    Wenn es unbedingt mit Sqlite sein muss dann vermute ich das Problem an dieser Stelle: >>Klickmich<<

  • Differenz zwischen 2 Datumswerten - ABER - Ergebnis gesucht in: Jahren, Monaten, Tagen, Stunden, Minuten und Sekunden

    • AspirinJunkie
    • 15. Juni 2020 um 18:02

    Oder die Sortierfunktion des Forums hat die Schaltsekunden nicht korrekt mit beachtet :)

    Schon peinlich - erst nen Uraltthread ausbuddeln und dann wann der Beitrag nichtmal konstruktiv :rolleyes:

  • Differenz zwischen 2 Datumswerten - ABER - Ergebnis gesucht in: Jahren, Monaten, Tagen, Stunden, Minuten und Sekunden

    • AspirinJunkie
    • 15. Juni 2020 um 08:31

    Naja - es gibt da ja noch die Schaltsekunden...

    ... und deren Auftreten, lässt sich nicht über eine Formel ermitteln ...

    *duck und weg* :whistling:


    Edit: Ach du scheiße - was hab ich denn hier für ne Threadleiche ausgegraben? - der Thread ist ja zwei Jahre alt - wie kam der denn auf meine Startseite?

  • Daten sichern und redundant speichern --- Vorschläge?

    • AspirinJunkie
    • 15. Juni 2020 um 08:04
    Zitat von Racer

    Bei einem Softwareraid dauert es deutlich länger und belastet die CPU stark.

    Das war mal in Zeiten so als die CPUs noch lahm waren. Heute ist das kein relevanter Aspekt mehr.
    Der Rebuild meines RAID 1 auf nem Raspberry Pi brachte einen CPU-Load von < 10%.

    Und da die Platten dabei auf Anschlag liefen, wüsste ich nicht wie ein Hardware-RAID-Controller da den Rebuild schneller abschließen könnte.

    Sogar eher im Gegenteil: der Hardware-Controller hätte die ganze Platte abarbeiten müssen - mein BTRFS-RAID hingegen nur die wirklich verwendeten Bereiche.

    Also je nach Füllstand der Platte deutlich fixer als mit nem Controller.

    Auch auf RAID-Levels mit Parität wird die Paritätsberechnung heute als vernachlässigbar eingestuft (kann ich selbst jedoch nicht beurteilen).

    Zitat von Racer

    Ein Faktor ist auch noch ob es einen ReadWrite-Cache gibt.

    Beim Rebuild?

    Ein Cache bringt vor allem dann was, wenn auf Daten eines langsamen Mediums mehrmals zugegriffen wird.
    Beim RAID-Rebuild muss man die gesamten Daten aber jeweils nur einmal anfassen.

    Und die Funktion als Buffer sollte der RAM bereits erfüllen.

  • _Array2DSortFree äöü richtig sortieren

    • AspirinJunkie
    • 13. Juni 2020 um 21:20

    Sehe ich das richtig?: Du möchtest ein 2D-Array sortieren und dies einfach nur so, dass erst nach der ersten Spalte und dann nach der zweiten sortiert wird?

    Und dafür verwendest du eine Funktion die um diese Aufgabe zu lösen, SQLite durchstartet, eine Datenbank anlegt, Tabellen anlegt, die Tabellen befüllt, die Sortiervorschrift für Sqlite aufarbeitet, in Sqlite sortiert, die Daten wieder aus Sqlite ausliest und Sqlite wieder runterfährt?

    Wahnsinn der Aufwand für so ne popelige Aufgabe.

    Sortierfunktionen mit denen man absolut frei ist wie man sortiert gibt es auch in reinem AutoIt.

    Alles was man da übergeben muss ist eine eigene Vergleichsfunktion die beim Vergleich zweier Arrayelemente zurückgibt ob Element A größer (Return 1), gleich (Return 0) oder kleiner (-1) als Element B ist.

    Mit der UDF sieht dein Beispiel so aus:

    AutoIt
    #include "DynArray.au3"
    
    Global $aTest[6][2] = [["test"], ["abc"], ["alt"], ["ähnlich"], ["autoit"], ["test"]]
    
    _ArrayDisplay($aTest, "vorher")
    
    _ArraySortFlexible($aTest, _mycompare)
    
    _ArrayDisplay($aTest, "nachher")
    
    
    
    
    ; eigene Vergleichsfunktion zweier Arrayelemente um Sortierreihenfolge festzulegen
    Func _mycompare($A, $B)
        Local $C = StringCompare($A[0], $B[0])
        Return $C = 0 ? StringCompare($A[1], $B[1]) : $C
    EndFunc
    Alles anzeigen
  • Daten sichern und redundant speichern --- Vorschläge?

    • AspirinJunkie
    • 9. Juni 2020 um 14:25

    Ja das kann lange dauern.
    Bei einem Controller der nichts über die Belegung weiß muss ja im Prinzip der komplette Inhalt der einen Platte nochmal auf die andere Platte geschrieben werden.
    Bei einer 2TB Platte und einer Schreibgeschwindigkeit von 100 MB/s wären das 6h die man hierfür bräuchte.

    In der Zeit ist das System jedoch in der Regel weiterhin verwendbar.

    Um wieder Werbung zu machen: Bei einem Dateisystemintegrierten RAID wie bei BTRFS oder ZFS müssen nur die wirklich verwendeten Bereiche synchronisiert werden.

    Wenn die Platte also nur halbvoll ist dauert es auch nur halb so lange. Ein Hardware-RAID-Controller kann dies hingegen nicht leisten da er überhaupt nichts über die Belegung weiß.

  • Daten sichern und redundant speichern --- Vorschläge?

    • AspirinJunkie
    • 8. Juni 2020 um 11:19
    Zitat von alpines

    Wie siehts bei RAID aus wenn ein Sektor defekt wird? Wird die auf der anderen Platte auch direkt defekt? Wird das erkannt? Wird das zurechtgeschoben?

    ZFS und BTRFS schreiben Prüfsummen (bereits vor dem Schreiben im Speicher) für die Blöcke.

    Beim Lesen des Blocks bzw. beim Scrubbing wird damit gecheckt ob die Daten noch korrekt sind.

    Ist das nicht der Fall wird bei einer Festplatte der Fehler erkannt und man weiß dass die Daten scheiße sind.

    Bei einem RAID >= 1 werden die Daten dann vom anderen gesunden Volume genommen.

    Beim Scrubbing wird auch der Fehler auf dem fehlerhaften Volume mit den Daten des gesunden Volumes wieder geheilt.

    Der Sektor wird auch nur auf einer Platte defekt, da dessen Entstehen ja keine Dateisystemoperation ist sondern Ursachen wie z.B. irgendwelche Störeinflüsse oder sowas hat.

    Beim RAID bei einem Dateisystem mit Prüfsummen sind diese Fehler daher kein wirkliches Problem.

    Edit: Du merkst dass ich auf Windows und NTFS nicht wirklich eingehe. Neben dem Aspekt, dass ich davon keine Ahnung habe versuche ich dich weiter davon wegzubringen und wirklich auf was anderes zu bewegen ;)

    Aber einen Ansatz vielleicht noch: Microsoft hat vor einiger Zeit ein Dateisystem rausgebracht, was viele der von dir gewünschten Eigenschaften hat: ReFS

    Checksummen für die Datenebene und Spiegelvolumes sind hier wohl mit dabei - damit sollte das von mir beschriebene Verhalten bei Sektorfehlern auch damit handlebar sein.

    Allerdings ist es auffällig wie wenig man bisher davon hört - das hat sicherlich Gründe...

  • Daten sichern und redundant speichern --- Vorschläge?

    • AspirinJunkie
    • 8. Juni 2020 um 10:13
    Zitat von alpines

    Viren sind daher nicht meine größte Sorge, da ich zweifelhafte Software in einer VM teste und mein PC schon befallen/unbenutzbar wäre bevor ich meine Platten wieder anschließe.

    [...]

    Netzwerkzugriff, automatisiertes Backup, Snapshotting ist alles --- für den Moment, und auch sehr wahrscheinlich für die Zukunft --- für mich nicht wichtig, da die Platten sehr selten laufen und sich der Inhalt nur sehr minimal ändert. Es kommen immer nur Daten hinzu, es werden kaum (nie) welche gelöscht.


    Mit Viren hatte ich auch bisher noch nie Probleme.

    Wenn Daten flöten gingen dann war die Ursache stattdessen bei mir selbst zu suchen (Im Tran nen falschen Ordner gelöscht oder sowas).

    Ein RAID alleine bringt dich da keinen Millimeter weiter.

    Mach das einmal mit deinen Rips und du machst dir auf einmal um exakt sowas ganz intensiv Gedanken...

    Zitat von alpines

    Kann ich unter Windows auch ZFS verwenden um Bitrotting zu berücksichtigen?

    [...]

    Ich verstehe ja die Sorgen die ihr mir zu vermitteln versucht, aber ich will da die Verhältnismäßigkeit waren.

    Nur dass ich das richtig verstehe: Dass Daten nach versehentlichen oder (bösartigem) Verändern/Löschen wiederhergestellt werden könnten oder nicht siehst du in deinem Fall als vernachlässigbar an. Aber um Dinge wie Bit Rot machst du dir dann hingegen schon Gedanken? :S

    Zitat von alpines

    Kann ich bei vier Platten 2 als eine anzeigen lassen und die anderen zwei dann dementsprechend als RAID1 hinzufügen?

    Kann nur von meinen Erfahrungen mit BTRFS reden: Dort kannst du deine 4 Platten einfach als ein BTRFS-Volume formatieren.

    Um den Rest kümmert sich BTRFS - im System gibt es dann nur ein Volume.
    Die Platten kannst du als JBOD nehmen oder z.B. auch RAID 1. Dann teilt BTRFS die Daten dort auf und du kannst später Platten wegnehmen und andere hinzufügen (im laufenden Betrieb).

    Ist wohl auch einer der wenigen schwächeren Punkte von ZFS - dort ist man wohl (spreche als Außenstehender) nicht ganz so flexibel was Platten wegnehmen und hinzufügen angeht - insbesondere bei unterschiedlichen Plattengrößen.

    Was die Verhältnismäßigkeit angeht: Den Einsatz von ZFS/BTRFS auf Windows würde ich kritisch sehen.

    Bei Software-RAID & NTFS fehlen mir die Erfahrung um da was korrektes dazu zu sagen.

    So wie ich das verstehe möchtest du ein extra System (Sprich NAS) dafür vermeiden?

    Sonst gäbe es auch da wohl bestimmte Out-of-the-Box-Lösungen wie die ganzen NAS-Distributionen (FreeNAS, OpenMediaVault etc.).

    Dann bleibt im Grunde ja eigentlich nur ein Software-RAID auf deinem Windows.

  • Daten sichern und redundant speichern --- Vorschläge?

    • AspirinJunkie
    • 8. Juni 2020 um 07:58

    Ich stand vor ein paar Jahren ebenso vor der Aufgabe meine Daten mal bisschen sicherer abzulegen.

    Hürde dabei: Ich wollte partout nicht groß Geld für sowas ausgeben - also habe ich mir angeschaut was ich so da habe und habe auf der Grundlage aufgebaut.

    Gefunden habe ich: Einen Raspberry Pi, eine externe 2TB Festplatte.

    Ich habe mir dann eine baugleiche 2TB Platte dazugekauft.

    Diese hängen am Pi wo ich ein ganz minimales Arch Linux drauf laufen lasse.

    Die beiden Platten wurden mit BTRFS als RAID 1 formatiert - somit habe ich erst einmal die Ausfallsicherheit (bis zu einem gewissen Grad) hergestellt.

    Dann habe icher erstmal einen Sambaserver eingerichtet (bzw. noch einen NFS-Server für die Linuxmaschinen) und schon hatte ich im Netz mein zentrales Backuplaufwerk.

    Die Clients synchronisieren sich 1x täglich nachts mit diesem System (Windows: FreeFileSync, Android: FolderSync, Linux: rsync/btrfs-sync).

    Ich hatte so nun schonmal ein zentrales Datensystem anstatt vieler einzelner Clients die untereinander nicht synchron waren und die Daten waren schonmal relativ sicher gegenüber dem Ausfall einer Festplatte.

    Nun jedoch gilt primär alles das was Professor Bernd sagte: Ausfallsicherheit klingt schön - reicht aber bei weitem nicht.

    Ein erstes Backup habe ich ja schon - die Clients selbst. Der größte Teil der Daten liegt bereits dort.

    Aber alle Daten eben nicht - z.B. eine zentrale Sammlung aller Fotos usw.

    Daher kam noch eine weitere (ältere) 2TB-Platte an den Pi wo die wichtigsten Daten täglich per btrfs-sync (rasend schnell da nur Änderungen auf Blockebene übertragen werden müssen) hingehen.

    Diese habe ich ganz bewusst nicht mit ins RAID genommen sondern als eigene Instanz.

    Was machen wir jetzt aber wenn z.B. eine Ransomware auf nem Client wütet?
    Diese kann die Daten auf dem Client killen und durch den Schreibzugriff auch alle Daten auf dem Server wo es Rechte hat.
    Da nützt das gute RAID 1 mir auch nichts.

    Und auch meine automatischen Backups (z.B. auf die 3. Platte am Pi) würden diese fatalen Änderungen mit rüberziehen!

    Konzept also im Arsch? - nicht ganz! Denn:

    BTRFS (und auch ZFS) sind durch ihre COW-Struktur wahnsinnig gut geeignet für Snapshotting.
    Man kann damit das gesamte System zu einem bestimmten Zeitpunkt "einfrieren" und alles was danach passiert wird als Änderungen zu diesem Zustand erfasst.

    Das ganze geht mit minimalen Overhead (Performance und Speicher) einher.

    Und genau das nutze ich.
    Um dies zu komfortabel und automatisiert zu machen gibt es die schöne Software Snapper.

    Diese macht nichts weiter als in einem bestimmten Intervall (z.B. jede Stunde) ein Snapshot vom Dateisystem zu erstellen.

    Diese Snapshots werden dann dahingehend verwaltet, dass alte Snapshots so gelöscht werden, dass noch ein Satz Snapshots in einem bestimmten Schema übrig bleiben.

    In meinem Fall habe ich so immer folgende Zustände meines Systems vorliegen:

    • Stündliche Snapshots der letzten beiden Tage
    • Tägliche Snapshots der letzten zwei Wochen
    • Wöchentliche Snapshots der letzten zwei Monate
    • Monatliche Snapshots der vergangenen zwei Jahre

    Das heißt: Wenn irgendwas auf Datenebene völlig schief läuft, dann stelle ich es einfach zu einem gewünschten Zeitpunkt wieder her.

    Eine Ransomware auf nem Client kann damit keinen Schaden mehr anrichten, da sie keinerlei Zugriff auf die Snapshot-Ebene hat.

    Auch angenehm: Wenn ich beim Programmieren Scheiße baue, kann ich schnell auf den Zustand von vor einer Stunde zurückswitchen - sehr angenehm

    Irgendwann habe ich dann mal angefangen auch noch einen "Cloud"-Zugriff für mich darauf einzurichten, sodass ich auch von unterwegs auf alle meine Daten zugreifen kann.

    Das habe ich ganz bewusst nur minimal aufgebaut - heißt: Ein nginx-Server der nur https zulässt und per http-authentification Zugriff gewährt. Der Dateizugriff läuft dann über den WebDAV vom nginx.
    Später habe ich mir dann doch noch ein bisschen mehr Komfort gegönnt und mir noch den Tiny File Manager (besteht aus nur einer einzigen PHP-Datei) dazugestellt - nun ist der Zugriff auch hübscher.

    Damit habe ich nun erst einmal eine - meiner Meinung nach(!!) - solide Grundlage dafür, dass meine Daten eine gewissen Grundsicherheit haben.

    Und meine Kosten hierfür waren wirklich minimal.

    Ich bin mir dennoch bewusst, dass es noch Szenarien gibt für die ich jedoch nicht gewappnet bin. Z. B. wenn meine Bude abbrennt oder wenn es irgendeine Schadsoftware auf den Pi schafft und dort die Platten formatiert.

    Hier habe ich daher noch eine weitere externe HDD, welche ich jedoch nur sporadisch und manuell befülle, aber bei mir auf Arbeit in meinem Schrank lagere.

    Perspektivisch werde ich wohl jedoch noch ein Backup weit draußen (hab hierbei Amazon Glacier im Blick) mit dazu nehmen - dann ist's aber wirklich gut.

    Zitat von alpines

    Geschwindigkeiten sind für mich absolut irrelevant. Das höchste was die Platten an Lesezugriffen erfahren ist wenn ich mir eine Serie oder Aufnahmen ansehe, und diese sind im Extremfall 100 Mbit/s, also ~13 MB/s.

    Die Schreibgeschwindigkeiten sind auch nicht so wichtig, solange dabei was um die 30-40 MB/s rumkommt ist das vollkommen OK, auch wenn die HDDs 100MB/s+ schaffen sollten.

    So war es bei mir auch - habe es primär als Backuplösung gesehen und da war mir die Performance wirklich wumpe.
    Jetzt habe ich mittlerweile nen Pi 4 und aus meiner Erfahrung heraus geht das ganze so fix, dass ich zum großen Teil jetzt direkt auf dem Netzlaufwerk arbeite anstatt lokal.

    Habe jetzt gerade keine Messung zur Hand aber 60-70 MByte/s bekomme ich damit problemlos hin.

    Zitat von alpines

    Es wäre natürlich sehr wünschenswert, gar notwendig, dass ich den Verbund einfach an einen anderen Rechner stöpseln und dort weiternutzen kann falls ich mal mit dem Notebook ran will, oder meinen Host-PC neu aufsetze / wechsle.

    Mein BTRFS-RAID ist von nem Pi3 auf nen Pi4 umgezogen - lief so ab:
    Festplatten ausstöpseln - an den neuen anschließen - mounten - fertig.

    Es ist ja alles auf Dateisystemebene - da kommen keine externen Effekte mit dazu.

    Zitat von alpines

    Dabei vergesse ich aber teilweise für mehrere Wochen / Monate alle Platten synchronisiert zu halten indem ich mit WinMerge schaue welche Daten ich noch nicht rüberkopiert habe.

    Dieses Problem lässt sich ganz einfach lösen: Nimm sowas wie FreeFileSync und lasse die Daten damit 1x täglich automatisch synchronisieren.

    Zitat von alpines

    Muss ich auf etwas spezielles achten? Kann ich unter Windows auch ZFS verwenden um Bitrotting zu berücksichtigen?

    Es gibt für Windows Dateisystemtreiber für ZFS (ZfSin) als auch BTRFS (WinBTRFS).
    Ich habe jedoch so meine Zweifel ob man diese unter Windows wirklich produktiv betreiben sollte.
    Außerdem ist mir noch nicht ganz klar warum Windows?
    Denn dein "NAS" muss doch nicht auf Windows laufen sondern kann doch gleich auf Linux oder BSD laufen.

  • XML selectSingleNode

    • AspirinJunkie
    • 6. Juni 2020 um 11:04
    AutoIt
    $s_XML = '<SOAP-ENV:Envelope xmlns:SOAP-ENV="http://schemas.xmlsoap.org/soap/envelope/" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:xsd="http://www.w3.org/2001/XMLSchema" xmlns:wsa="http://schemas.xmlsoap.org/ws/2004/08/addressing">' & @CRLF & _
       '<SOAP-ENV:Header>' & @CRLF & _
          '<wsa:MessageID SOAP-ENV:mustUnderstand="0">uuid:21110c70-a727-11ea-8274-ce09341d2009</wsa:MessageID>' & @CRLF & _
          '<wsa:To SOAP-ENV:mustUnderstand="0">http://schemas.xmlsoap.org/ws/2004/08/addressing/role/anonymous</wsa:To>' & @CRLF & _
       '</SOAP-ENV:Header>' & @CRLF & _
       '<SOAP-ENV:Body>' & @CRLF & _
          '<ns1:onhandResponse xmlns:ns1="urn:mwm-org:soap:soap">' & @CRLF & _
             '<ns1:result xsi:nil="true"/>' & @CRLF & _
             '<opcAntwort xmlns="urn:mwm-org:soap:soap">Fischer, Lars</opcAntwort>' & @CRLF & _
          '</ns1:onhandResponse>' & @CRLF & _
       '</SOAP-ENV:Body>' & @CRLF & _
    '</SOAP-ENV:Envelope>'
    
    ; XMLDOM-Objekt laden
    Local $o_XML = ObjCreate("Microsoft.XMLDOM")
    
    ; XML parsen
    If Not $o_XML.loadXML($s_XML) Then Exit MsgBox(48, "Fehler", "Fehler beim Laden des XML-Strings")
    
    ; Element extrahieren (Auswahl über XPath-Selektoren)
    $s_opcAntwort = $o_XML.SelectSingleNode('//opcAntwort')
    
    MsgBox(0,"opcAntwort", $s_opcAntwort.text)
    Alles anzeigen

Spenden

Jeder Euro hilft uns, Euch zu helfen.

Download

AutoIt Tutorial
AutoIt Buch
Onlinehilfe
AutoIt Entwickler
  1. Datenschutzerklärung
  2. Impressum
  3. Shoutbox-Archiv
Community-Software: WoltLab Suite™