1. Dashboard
  2. Mitglieder
    1. Letzte Aktivitäten
    2. Benutzer online
    3. Team
    4. Mitgliedersuche
  3. Forenregeln
  4. Forum
    1. Unerledigte Themen
  • Anmelden
  • Registrieren
  • Suche
Alles
  • Alles
  • Artikel
  • Seiten
  • Forum
  • Erweiterte Suche
  1. AutoIt.de - Das deutschsprachige Forum.
  2. Mitglieder
  3. autoiter

Beiträge von autoiter

  • CSV-Extractor

    • autoiter
    • 22. März 2018 um 20:05

    Hallo Leute

    Dieses Skript ist zur verbesserten Verarbeiten von sehr großen CSV Dateien gedacht.

    Wenn ich von vielen hundert Spalten einer CSV-Datei nur wenige brauchte, dann kann ich die Datei hiermit anpassen.

    Bei wiederholten Aufgaben, lohnt es sich ein Profil mit einem aussagekräftigen Namen zu erstellen. Es wird dann dazu eine Verknüpfung im Programmverzeichnis erstellt. Nun braucht man nur noch die Datei(en) auf die entsprechende Verknüpfung ziehen und es wird automatisch eine angepasste Kopie der Datei im Dateiverzeichnis erstellt.

    Das ganze hat eine SQLite Basis. Es funktionieren bis zu 999 Spalten (mit unterschiedlichen Namen - gleichnamige kommen bei mir einfach nicht vor.. :D ) und Millionen von Datensätzen.

    Das Einlesen einer 1,4 GB großen Datei dauert bei mir etwa eine 1.45 Minuten, wenn die Datei in UTF8 oder UTF8 ohne BOM vorliegt. Ansonsten wird noch ANSI unterstützt. Hier kommt aber eine Konvertierungszeit hinzu, weil erst eine UTF-Kopie erstellt wird. Beim Export ähnlich. Standard ist UTF ohne BOM. Alles andere wird vom Programm noch konvertiert.


    PS: Die ConvertEncoding.au3 habe ich nur der Vollständigkeit halber in das Archiv gepackt. Sie wird nicht benötigt, da dass Programm kompiliert Bestandteil der Includes ist.


    EDIT:

    v1.1

    Die Hinweise von Zeitriss im Programm überarbeitet.

    Die Errormeldungen der SQLite.exe in die Programmanzeige übernommen.

    v1.0.1

    Auswahl ob Kopfzeilen exportiert werden oder nicht hinzugefügt.

    Dateien

    CSV-Extractor.zip 2,9 MB – 730 Downloads
  • CSV_DB

    • autoiter
    • 22. März 2018 um 18:48

    Hallo DaveTDancer

    Zitat von DaveTDancer

    ja werde ich mal angehen, allerdings kann am anfang der CSV noch nicht gewusst werden ob wie lang das Array wird da ja wie beschrieben einige Dopplungen herrausgefiltert werden

    und das kann ich mit Redim zwar ändern aber ist das dann nicht ebenfalls nicht optimal

    Das siehst du etwas falsch. Jedes _ArrayAdd oder ReDim kostet dich viel Zeit. Bei _ArrayAdd musst es wirklich bei jedem Element benutzen, dass du hinzufügen möchtest.

    Bei ReDim hast du jedoch die Freiheit zu sagen, oh mein Array ist voll! Jetzt vergrößere ich es mal um Tausend. Dann kannst du wieder Tausend Elemente hinzufügen, bevor du es vergrößern musst.

    In deinem Fall ist es aber noch besser. Du kennst die maximale Anzahl der Elemente. Das heißt, du kannst das Array gleich mit dem Maximum deklarieren und hast ein Array, das in jedem Fall nicht mehr vergrößert werden muss.

    Nun deklariere vor deiner Schleife eine Variable als Zähler. Etwa $iCount = 0.

    In der Schleife ordnest du nun jeden Eintrag dem Array-Index $iCount zu und addierst unter dieser Zeile den Wert 1 zu deiner Zählervariable:

    $aArray[$iCount][0] = "Neuer Wert"

    $iCount += 1

    Am Ende weißt du genau die Anzahl der Elemente.

    Das heißt nach der Schleife brauchst du nur genau einmal ReDim $aArray[$iCount][Anzahl der Spalten].

  • xls-Dateien in csv-Dateien umwandeln

    • autoiter
    • 22. März 2018 um 15:47

    Wenn es nur darum geht Excel-Dateien auszulesen böte sich ADODB an. Das ist deutlich schneller als eine Excel oder OO UDF.

  • Wie Zeichensatz einer Datei effizient bearbeiten?

    • autoiter
    • 20. März 2018 um 14:44
    Zitat von Peter S. Taler

    Neugierig wie ich bin - was wirds wenns fertig ist?

    Ein Tool mit dem man einzelne Spalten oder Datensätze aus CSV Dateien extrahieren kann. Ziemlich plump eigentlich ^^ .

  • Wie Zeichensatz einer Datei effizient bearbeiten?

    • autoiter
    • 20. März 2018 um 13:20

    Peter S. Taler

    Danke für den Tipp :)

    Gut zu wissen. Allerdings will ich das hierfür lieber nicht nehmen, weil das bei uns in der Firma genutzt wird und ich nicht weiß, ob das vollkommen in Ordnung ist.

    Bitnugger

    Problem erkannt. Was ich da kurz mit AutoIt lesen kann, ist der Pfad zu meinen Testdateien. Der enthält Leerzeichen. Das ist das Problem.

  • Wie Zeichensatz einer Datei effizient bearbeiten?

    • autoiter
    • 20. März 2018 um 10:15

    Hey Peter S. Taler

    Danke noch für deinen Tipp. Die Software muss jedoch installiert werden. Daher scheidet sie für mich aus.

    Ich bleibe erst einmal bei meiner Funktion.

  • Wie Zeichensatz einer Datei effizient bearbeiten?

    • autoiter
    • 20. März 2018 um 07:51

    Hallo Leute,

    Bitnugger

    Hehe, AutoIt für Fortgeschrittene, wie? Wer sich mit Voodoo-Zeilen selbst disqualifiziert, wie ich es getan habe, darf sich aber wohl nicht beschweren. :D

    AspirinJunkie

    Bei meiner Recherche bin ich auch über PowerShell gestolpert. Aber auch gleich, "wie prüfe, ob PowerShell vorhanden ist". Da wollte ich lieber etwas, dass dem Programm beiliegt. Ich habe nun aber gelesen, dass PowerShell seit Win 7 dabei ist und eigentlich reicht mir das auch aus.

    Der ShellExecuteWait-Aufruf hat bei einem Test eben nicht funktioniert. Liegt nicht am PowerShell-String. Der ist richtig.

    EDIT1:

    Bei mir funktioniert es nicht über einen Start der powershell.exe. Ich kann irgendetwas mit AuoIt lesen und dann ist das Fenster schon weg. Ausführungsbeschränkungen?

  • Wie Zeichensatz einer Datei effizient bearbeiten?

    • autoiter
    • 19. März 2018 um 19:09

    Hallo Peter S. Taler

    Wenn ich es nicht falsch sehe leider nicht.

    Ich hielt es für schneller (ist es sicher auch) und sicherer für den Import und Export die sqlite3.exe zu nutzen. Ich mache das also nicht selbst sondern starte das Konsolenprogramm. Das bringt bestimmte Einschränkungen mit - etwa weniger als tausend Spalten und eben auch UTF8. Exportiert wird immer als UTF8 ohne BOM (und muss dann u.U. auch konvertiert werden).

  • Wie Zeichensatz einer Datei effizient bearbeiten?

    • autoiter
    • 19. März 2018 um 18:30

    Hi Leute,

    ich schreibe gerade ein Tool, dass CSV-Dateien einlesen und einzelne Spalten und/oder Datensätze extrahiert. Als DB nutze ich SQLite (SQLite3.dll und SQLite3.exe).

    Vor dem Einlesen in die DB, prüfe ich ob der Zeichensatz UTF8 ist, und speichere den Inhalt gegebenenfalls im gewünschten Zeichensatz in eine neue Datei zum Importieren (für SQLite3.exe) oder zum Exportieren.

    Ich habe hier nichts Ausführbares. Die Funktion ist aber so überschaubar, dass alles eigentlich direkt offensichtlich sein sollte:

    C
    Func _ConvertFileEncoding($sInputFile, $sOutputFile, $iCodepage)
        Local $hFileOpen = FileOpen($sInputFile)
        If $hFileOpen = -1 Then
            Return SetError(1)
        EndIf
        Local $bFileMove = False
        If $sOutputFile == $sInputFile Then $bFileMove = True ; Dann wird eine temporäre Datei geschrieben, die im Anschluss das Original ersetzt.
    
        Local $sTemp, $sTempFilePath = @ScriptDir & "\Temp.csv"
    
        If $bFileMove Then
            Local $hFileOpenDest = FileOpen($sTempFilePath, BitOR($FO_OVERWRITE, $iCodepage))
        Else
            Local $hFileOpenDest = FileOpen($sOutputFile, BitOR($FO_OVERWRITE, $iCodepage))
        EndIf
        If $hFileOpenDest = -1 Then
            Return SetError(2)
        EndIf
    
        FileSetPos($hFileOpen, 0, $FILE_BEGIN) ; Voodoo. Eigentlich müsste die Position schon Null sein.
        Do
            $sTemp = FileRead($hFileOpen, 30000) ; Zur Schonung von Arbeitsspeicher wird die Datei evtl. nach und nach eingelesen und geschrieben.
            FileWrite($hFileOpenDest, $sTemp)
        Until $sTemp == ""
    
        FileClose($hFileOpenDest)
        FileClose($hFileOpen)
    
        If $bFileMove Then FileMove($sTempFilePath, $sInputFile, $FC_OVERWRITE)
    EndFunc   ;==>_ConvertFileEncoding
    Alles anzeigen

    Eine Datei mit etwa 430MB kostet hier etwa 8.5 Sekunden. Das scheint mir eigentlich in Ordnung. Allerdings ist meine GUI in dieser Zeit nicht bedienbar (größere Dateien würden das Problem natürlich noch vergrößern). Daher werde ich die Funktion wohl in eine weitere Exe auslagern.

    Vorher wollte ich aber mal fragen, ob die Funktion gut ist, oder was ich ändern sollte.

    Oder sollte ich gleich ein anderes Tool nutzen?

    (iconv sah mir jetzt nach einer eher umständlichen Lösung aus, weil es nicht ohne Vorbereitung/Installation läuft?)

    Ich bin für alle Hinweise dankbar.


    PS: Ich habe den Code als C angegeben, weil bei AutoIt die Kommentare ausgeblendet werden!?!

  • CSV_DB

    • autoiter
    • 17. März 2018 um 22:36

    Hallo xSunLighTx3,

    Du hast ja das folgende zitiert. Hast du das aber schon einmal selbst erfolgreich gemacht? Eher nicht. Nur weil das erfolgreich gewrappt wurde hat es ja nicht einwandfrei geklappt ;)

    Zitat von DaveTDancer

    2:Es sollten keine Doppelten einträge enthalten sein; denn in der CSV konnte es zu dopplungen kommen da ich nicht immer am selben stichtag die Csv von der Bank gespeichert habe.

    Hallo DaveTDancer

    Du hast ein nicht ausführbares Skript gepostet. Das solltest du auf jeden Fall verbessern.

    Neben den fehlenden Includes gibt es auch einen Syntax-Fehler.

    Dein Skript wäre deutlich performanter wenn du statt

    Local $AR_Return[1][2] und _ArrayAdd ($AR_Return, _ArrayToString ($Split)) das Array direkt mit der maximalen Anzahl an Elementen deklarierst und in der Schleife einem Array-Element einen Wert zuweisen würdest. Wenn es eine Do-Schleife ist, kannst du dir deine eigene Zählervariable erstellen.

  • Listview-Bug wenn Scrollbalken vorhanden?

    • autoiter
    • 16. März 2018 um 19:01

    Leider ist es noch schlimmer. Das war ja nur ein Beispiel. In dem Programm, dass ich gerade schreibe und wo es mir aufgefallen ist, passiert das auch, wenn ich in einer Spalte der Listenansicht bin. Das ist schade, weil ich sonst einfach das Problem durch entsprechend breite Spalten hätte umgehen können..

    So bleibt für mich nur $LVS_EX_FULLROWSELECT. Ich hätte es anders lieber gehabt, aber was soll man machen..

  • Listview-Bug wenn Scrollbalken vorhanden?

    • autoiter
    • 16. März 2018 um 16:45

    Was ein Mist. :(

    Ich danke dir für die Info @Raupi 

  • Listview-Bug wenn Scrollbalken vorhanden?

    • autoiter
    • 16. März 2018 um 13:07

    Ich habe mal im ersten Beitrag ein Video ergänzt.

  • Listview-Bug wenn Scrollbalken vorhanden?

    • autoiter
    • 16. März 2018 um 11:40

    Hallo Peter S. Taler

    Danke fürs Testen. Aber könntest du mal folgendes ausprobieren?

    Mit dem Mauszeiger unten rechts in die Listenansicht klicken. Den Button gedrückt halten und nach links oben zu ziehen um einige Items zu markieren.

    Bei mir springt der Mauszeiger dann an den Bildschirmrand..

    PS: Für das Beispiel habe ich es so eingestellt, dass der Scrollbalken unten ist. Denn nur dann tritt der Effekt auf.

  • Listview-Bug wenn Scrollbalken vorhanden?

    • autoiter
    • 16. März 2018 um 11:07

    Hallo Bitnugger ,

    Danke für deine Hinweise mit den anderen Stilen. Leider trifft das mein Problem nicht ganz. Ist aber auch klar, wenn du das Problem bei dir gar nicht nachvollziehen kannst. Ich versuche später mal ein Video zu erstellen.

    Kann irgendwer den beschriebenen Effekt sehen?

    Ich nutze Win 10.

  • Listview-Bug wenn Scrollbalken vorhanden?

    • autoiter
    • 15. März 2018 um 21:11

    Hallo Leute,

    ich habe ein Problem mit Listviews. Wenn es einen Scrollbalken gibt und man ihn herunterschiebt und dann einige Einträge markieren möchte, springt der Maus-Curser auf Höhe 0!

    Ich würde gerne wie mit dem Stil $WS_THICKFRAME Einträge markieren können. Jedoch ohne den beschriebenen Effekt. Kennt da jemand eine Möglichkeit?

    Hier mal das Problem im Video. Ich will die Maus nur langsam nach links oben bewegen, um Einträge zu markieren. Dabei springt der Mauszeiger sofort an den oberen Bildschirrmrand.

    Externer Inhalt vimeo.com
    Inhalte von externen Seiten werden ohne deine Zustimmung nicht automatisch geladen und angezeigt.
    Durch die Aktivierung der externen Inhalte erklärst du dich damit einverstanden, dass personenbezogene Daten an Drittplattformen übermittelt werden. Mehr Informationen dazu haben wir in unserer Datenschutzerklärung zur Verfügung gestellt.

    Beispiel (versucht mehrere Einträge zu markieren):

    C
    #include <GUIConstantsEx.au3>
    #include <MsgBoxConstants.au3>
    #include <WindowsConstants.au3>
    #include <GuiListView.au3>
    Example()
    Func Example()
        GUICreate("listview items", 400, 250, 100, 200)
        GUISetBkColor(0x00E0FFFF) ; will change background color
        Local $idListview = GUICtrlCreateListView("col1  |col2|col3  ", 10, 10, 380, 150, $WS_THICKFRAME) ;,$LVS_SORTDESCENDING)
        For $i = 1 To 50
            GUICtrlCreateListViewItem("item2|col22|col23", $idListview)
        Next
        GUICtrlCreateInput("", 20, 200, 150)
        GUICtrlSetState(-1, $GUI_DROPACCEPTED) ; to allow drag and dropping
        GUISetState(@SW_SHOW)
    _GUICtrlListView_EnsureVisible($idListview, 49)
        ; Loop until the user exits.
        While 1
            Switch GUIGetMsg()
                Case $GUI_EVENT_CLOSE
                    ExitLoop
            EndSwitch
        WEnd
    EndFunc   ;==>Example
    Alles anzeigen
  • Fehler in der deutschen Hilfe bitte hier melden (Hilfedatei 3.3.14.2 2018.01.20)

    • autoiter
    • 14. März 2018 um 16:12

    Hallo Peter S. Taler

    eigentlich finde ich den Beitrag von Kanashius richtig. Auch mit den Wildcards hat er doch in der Regel recht. Auch wenn du eine Ausnahme kennst. (FileExists hätte aber natürlich auch ohne Wildcard einen Sinn! Immerhin nutze ich die Funktion häufig und wusste bisher nichts von der Wildcard-Möglichkeit ;) ).

    Zitat von Peter S. Taler

    was muss ich mir unter:

    (Dies ist die Umkehrung von #include <>) vorstellen?

    Klar. Man könnte hier noch einmal schreiben, Hier wird gegenüber #include <> in umgekerhrter Reihenfolge gesucht.

    Aber direkt danach kommt doch die Auflistung der Verzeichnisse, in denen gesucht wird und man sieht doch alles ganz genau. Ich halte die Hilfe hier auch für eindeutig.

    Allerdings ist das mit den Übersetzungen aus dem Englischen ja immer so eine Sache. Die Verständlichkeit des Textes würde sicherlich auch von einer stilistischen Überarbeitung zur Verbesserung der Lesbarkeit profitieren. Also reg dich nicht auf und mach einfach einen Vorschlag statt Diskussionen ;)

  • Probleme mit sqlite.exe bei größeren csv Dateien ("sqlite3.exe nicht gefunden")

    • autoiter
    • 13. März 2018 um 17:45

    Hallo Leute,

    Mittlerweile habe ich mal Tests direkt mit der Konsole gemacht. Da wurde mir sofort so einiges klar, denn die Fehlerrückgabe der sqlite-UDF ist ja unterirdisch...

    Es war komplettes Eigenverschulden. :whistling:

    Erst einmal war meine Test-Funktion zum csv Erstellen ungeeignet.

    Hier wurde die erste Zeile generiert. Ein Zufallswert von 1 bis 1000 als Ganzzahl.

    AutoIt
    For $i = 1 To $iCols
        $s &= Random(1, 1000, 1) & ";"
    Next

    Je mehr Spalten, desto höher war hier die Wahrscheinlichkeit von Duplikaten in den Überschriften.. -> Fehlerabbruch.

    Das wird das Hauptproblem gewesen sein. Hinzu kommen dann aber die voreingestellten Limits, um die ich mich nicht gekümmert hatte. Max Variablen, Max Spalten, Max Statement-Länge usw...

    Sorry für diesen sinnlosen Thread.. X/

  • Probleme mit sqlite.exe bei größeren csv Dateien ("sqlite3.exe nicht gefunden")

    • autoiter
    • 12. März 2018 um 23:15

    Hallo misterspeed

    Ich glaube genau das, was du vorschlägst, siehst du in dem Quelltextschnippsel. Bei Nutzung der sqlite.au3 gibst du einen String an, wie du ihn beschreibst. Die UDF schreibt ihn in eine Textdatei und führt das dann aus.

    Du kannst dir das in der Funktion: "_SQLite_SQLiteExe" ansehen.

    Ich habe die inkludierten Dateien mal auf verschiedene au3-Dateien aufgeteilt und konnte sie nun im ersten Beitrag anhängen. Du kannst dir nun auch das Testskript einzeln laden und dir den an sqlite übergebenen String ansehen.

  • Probleme mit sqlite.exe bei größeren csv Dateien ("sqlite3.exe nicht gefunden")

    • autoiter
    • 12. März 2018 um 20:21

    Hallo Leute,

    mittlerweile kann ich noch die Info geben, dass die Fehlermeldung von dieser Stelle in der SQLite.au3 kommt.

    Die Variable $nErrorLevel erhält den Wert 1 in der 5. Zeile Local $nErrorLevel = RunWait($sCmd, @WorkingDir, @SW_HIDE) und dieser Wert wird als Fehler zurückgegeben. Der Autor der UDF hat sich dazu entschieden, in diesem Fall den Fehlerwert 21 ($SQLITE_MISUSE) weiterzugeben. Warum weiß ich nicht.

    Laut https://sqlite.org/rescode.html (6. Result Code Meanings) meint 1 etwa "irgendein anderer Fehler". :rolleyes:

    AutoIt
    Local $sCmd = @ComSpec & " /c " & FileGetShortName($sSQLiteExeFilename) & '  "' _
                     & FileGetShortName($sDatabaseFile) _
                     & '" > "' & FileGetShortName($sOutputFile) _
                     & '" < "' & FileGetShortName($sInputFile) & '"'
            Local $nErrorLevel = RunWait($sCmd, @WorkingDir, @SW_HIDE)
            If $bDebug = True Then
                Local $nErrorTemp = @error
                If @error Then __SQLite_Print('@@ Debug(_SQLite_SQLiteExe) : $sCmd = ' & $sCmd & @CRLF & '>ErrorLevel: ' & $nErrorLevel & @CRLF)
                SetError($nErrorTemp)
            EndIf
            If @error = 1 Or $nErrorLevel = 1 Then
                $iRval = $SQLITE_MISUSE ; SQLite.exe not found
            Else
    ;    ....
    Alles anzeigen

    Ich habe keine Ahnung wie ich das werten soll und hoffe, hier kann das jemand besser einordnen. Normalerweise sollte man noch viel größere Dateien importieren können (worum es mir auch eigentlich geht - daher die Datenbank-Variante).

    xSunLighTx3 Da habe ich noch an meinem Beitrag geschrieben, als du geantwortet hast. :)

    Als Notlösung würde ich so vorgehen, also die Dateien aufteilen. Aber sqlite könnte das sicher schneller erledigen. Daher hoffe ich noch auf eine Lösung. Warum sqlite? Ich habe auch Dateien, die ein Array sprengen können und nach dem Einlesen von sehr großen Dateien kommt noch das Bearbeiten. Ich denke das geht über die DB-Variante einfach schneller.

Spenden

Jeder Euro hilft uns, Euch zu helfen.

Download

AutoIt Tutorial
AutoIt Buch
Onlinehilfe
AutoIt Entwickler
  1. Datenschutzerklärung
  2. Impressum
  3. Shoutbox-Archiv
Community-Software: WoltLab Suite™