CSV Inhalte zusammenführen und als eigenständige Datei abspeichern

vism

Hallo zusammen,

ich habe eine Frage und zwar lese ich eine .csv Datei aus, Anhand dieser wird eine Datei mit Zelleninhalt Spalte eins erstellt, in diese Datei wird dann der Inhalt aus einer anderen Zelle geschrieben, bis sich der Inhalt der ersten Spalte ändert.
Das Problem ist, dass die auszulesende CSV recht groß ist, (400.000 Zeilen)
Somit geht das am Anfang einigermaßen fix, wird aber sehr langsam bei Zeiten.

Anbei den Code den ich jetzt nutze, bestimmt gibt es eine Möglichkeit die Sache zu beschleunigen ich hoffe jemand kann mir ein paar Tipps geben!

Spoiler anzeigen

AutoIt

#include <File.au3>


$File = "TOU.csv"


For $i = 2 To (_FileCountLines($File)-1) Step +1
	TraySetToolTip($File & " (" & $i & " / " & (_FileCountLines($File)-1) & ")")
	FileWrite(@ScriptDir & "\Test.txt", StringReplace(FileReadLine($File, $i), ";", @CRLF) & @CRLF)
	$FileName = StringTrimRight(StringTrimLeft(FileReadLine(@ScriptDir & "\Test.txt", 3), 2), 1)
	If Not FileExists($FileName & ".csv") And $FileName <> "CODE_PART" Then
		FileWrite($FileName & ".csv", "ProductID;KTypNr;FitmentComments" & @CRLF)
	EndIf
	FileWrite($FileName & ".csv", ";" & FileReadLine(@ScriptDir & "\Test.txt", 5) & ";" & StringReplace(StringReplace(StringReplace(StringReplace(StringReplace(StringReplace(StringReplace(FileReadLine(@ScriptDir & "\Test.txt", 6), "ö", "oe"), "ü", "ue"), "ä", "ae"), "Ö", "Oe"), "Ü", "Ue"), "Ä", "Ae"), "ß", "ss") & @CRLF)
	FileOpen("Test.txt", 2)
	FileWrite("Test.txt", "")
	FileClose("Test.txt")
Next
FileDelete("Test.txt")
Exit

Alles anzeigen

Vielen Dank im Voraus!

Yaerox

Zitat von vism

ich habe eine Frage und zwar lese ich eine .csv Datei aus, Anhand dieser wird eine Datei mit Zelleninhalt Spalte eins erstellt, in diese Datei wird dann der Inhalt aus einer anderen Zelle geschrieben

Um ehrlich zu sein...ich glaube ich habe die Aufgabenstellung nicht ganz verstanden
Ich mag dir da gern helfen, jedoch müsstest du mir nochmal den Aufbau der Dateien erläutern:

Ursprungsdatei.csv
Testzeile1;Irgendwelche;Infos
Testzeile2;Irgendwelche;Infos
Testzeile3;Irgendwelche;Infos

Dann soll nun eine neue Datei Testzeile1.txt erstellt werden, die dann Irgenwelche;Infos enthalten soll?

**autoBert**

Du kannst das Original CSV mit _FileReadToArray in ein Array einlesen. In diesem Array dann die Daten so manipulieren wie benötigt und anschließend mit _FileWriteFromArray abspeichern.

vism

Danke für die Antworten, habe es jetzt etwas vereinfacht, nun müssen aus lediglich einer .csv (340mb)
Dateien erstellt werden.
Hier ein kleiner Auszug und was passieren soll.

Zellen mit X sollen ignoriert werden, zudem ist die CSV ; getrennt, die fehler enthalten ="TEXT" um korrekt angezeigt zu werden(Nummern etc)

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

x

NAME

NUMMER

x

KATEGORIE

ISX

DESC

TOU

OE

TYP

x

NAME

NUMMER

x

KATEGORIE

ISX

DESC

TOU

OE

TYP

x

NAME

NUMMER

x

KATEGORIE

ISX

DESC

TOU

OE

TYP

x

So also die CSV soll eingelesen werden und nun folgendes tun

2 Dateien erstellen
\DESC\NUMMER.txt
\AT\NUMMER.csv

in die NUMMER.txt sollen ein paar der Infos reingeschrieben werden, die Datei soll dann so aussehen

Code

<!--artname-->
var title = ""


<!--pcs-->
var Umfang = "1x " + title


<!--ArtNr+Pic-->
var art1 = ""
var art2 = ""
var art3 = ""
var art4 = ""


<!--OEN-->
var OENo = "OE"


<!--ArtBesch-->
var Beschreibung = "DESC"

Alles anzeigen

die CSV sollte so aussehen

PID	TYPK	FITC
	TYP	TOU
	TYP	TOU

Sobald sich dann die Nummer ändert, soll dementsprechend die neue Datei erstellt werden

Yaerox

Bin leider nicht ganz fertig geworden, daher nicht 100%ig getestet. Vll. magst du den Stand bislang ja haben ... eigentlich ist hier fast alles drinnen ... musst nur noch die Ordnerstruktur anpassen, ich erstelle aktuell beide Dateien im gleichen Verzeichnis.

So habe ich die Aufgabe jetzt zumindest verstanden

AutoIt

#include <File.au3>


Local $sFile = "TOU.csv"
Local $aLines, $aCols
Local $iNumber, $hFile, $hFileCSV


_FileReadToArray( $sFile, $aLines )
;~ _ArrayDisplay( $aLines )


For $i = 2 To $aLines[0] Step 1
	$aCols = StringSplit( $aLines[$i], ";" )


	$sDir = @ScriptDir & "\DESC\" & $aCols[1]
	If Not FileExists( $sDir ) Then
		$iRetVal = DirCreate( $sDir )
		If $iRetVal = 0 Then
			MsgBox($MB_SYSTEMMODAL, "", "An error occurred when creating the directory '" & $sDir & "'.")
			Exit
		EndIf
	EndIf


	$hFile = FileOpen( $sDir & "\" & $aCols[3] & ".txt",  $FO_OVERWRITE )
	If $hFile = -1 Then
		MsgBox($MB_SYSTEMMODAL, "", "An error occurred when reading/writing the file '" & $sDir & "\" & $aCols[3] & ".txt'.")
		Exit
	EndIf
	FileWriteLine( $hFile, "Text" )
	FileClose( $hFile )


	$hFile = ""


	If $iNumber <> $aCols[3] Then
		If $hFileCSV <> "" Then FileClose( $hFileCSV )
		$hFileCSV = FileOpen( $sDir & "\" & $aCols[3] & ".csv",  $FO_OVERWRITE )
		If $hFile = -1 Then
			MsgBox($MB_SYSTEMMODAL, "", "An error occurred when reading/writing the file '" & $sDir & "\" & $aCols[3] & ".csv'.")
			Exit
		EndIf
	EndIf


	$iNumber = $aCols[3]
	FileWriteLine( $hFileCSV, "Text" )
Next

Alles anzeigen

Code

Eins;Zwei;Drei;Vier;Fuenf
11;12;13;14;15
21;22;23;24;25
31;32;33;34;35

vism

Vielen Vielen Dank allen,

Nutze jetzt folgenden Code für mein Vorhaben.

AutoIt

#include <File.au3>
#include <GUIConstants.au3>


Local $sFile = "TOU.csv"
Local $aLines, $aCols
Local $iNumber, $hFile, $hFileCSV


GUICreate("KBA / DESC Creator", 300, 110)


GUISetState(@SW_SHOW)


$Progress = GUICtrlCreateProgress(10, 10, 280, 10, $PBS_SMOOTH)
GUICtrlSetData(-1, 0)
$SubProgress = GUICtrlCreateProgress(10, 25, 280, 10, $PBS_SMOOTH)
GUICtrlSetData(-1, 0)


$Label = GUICtrlCreateLabel(" N/A / N/A ( N/A % )", 10, 50, 280)


$Go = GUICtrlCreateButton("Starten", 10, 80, 280, 20)


Func _Start()
	GUICtrlSetData($Label, "Einlesen der 'TOU' Datei...")
	GUICtrlSetData($Progress, 95)
	GUICtrlSetData($SubProgress, 95)
	_FileReadToArray( $sFile, $aLines )
	;~ _ArrayDisplay( $aLines )


	GUICtrlSetData($Progress, 0)
	GUICtrlSetData($SubProgress, 0)


	For $i = 1 To $aLines[0] Step 1
		GUICtrlSetData($Label, $i & " / " & $aLines[0])
		GUICtrlSetData($Progress, (100 / $aLines[0]) * $i)
		GUICtrlSetData($SubProgress, 0)
		$aCols = StringSplit( $aLines[$i], ";" )


		$sDir = (@ScriptDir & "\DESC\")
		If Not FileExists( $sDir ) Then
			$iRetVal = DirCreate( $sDir )
			If $iRetVal = 0 Then
				MsgBox($MB_SYSTEMMODAL, "", "An error occurred when creating the directory '" & $sDir & "'.")
				Exit
			EndIf
		EndIf


		$sDirKBA = @ScriptDir & "\raw\"
		If Not FileExists( $sDirKBA ) Then
			$iRetVal = DirCreate( $sDirKBA )
			If $iRetVal = 0 Then
				MsgBox($MB_SYSTEMMODAL, "", "An error occurred when creating the directory '" & $sDirKBA & "'.")
				Exit
			EndIf
		EndIf


		$hFile = FileOpen( $sDir & "\" & $aCols[2] & ".txt",  $FO_OVERWRITE )
		If $hFile = -1 Then
			MsgBox($MB_SYSTEMMODAL, "", "An error occurred when reading/writing the file '" & $sDir & "\" & $aCols[2] & ".txt'.")
			Exit
		EndIf
		FileWriteLine( $hFile, '<!--ANN-->' & @CRLF & 'var TT= ""' & @CRLF & @CRLF & '<!--pcs-->' & @CRLF & 'var UMF= "1x " + TT' & @CRLF & @CRLF & '<!--ANP-->' & @CRLF & 'var art1 = ""' & @CRLF & 'var art2 = ""' & @CRLF & 'var art3 = ""' & @CRLF & 'var art4 = ""' & @CRLF & @CRLF & '<!--AB-->' & @CRLF & 'var DE= "MAB: PR<br>Typ: ' & $aCols[3] & '<br>' & StringReplace(StringReplace(StringReplace(StringReplace(StringReplace(StringReplace(StringReplace(StringReplace(StringReplace(StringReplace($aCols[5], 'ERG ', ''), 'ERG2 ', ''), ', ', '<br>'), "ö", "oe"), "ü", "ue"), "ä", "ae"), "Ö", "Oe"), "Ü", "Ue"), "Ä", "Ae"), "ß", "ss") & '"')
		FileClose( $hFile )


		$hFile = ""


		If $iNumber <> $aCols[2] Then
			If $hFileCSV <> "" Then FileClose( $hFileCSV )
			$hFileCSV = FileOpen( $sDirKBA & "\" & $aCols[2] & ".csv",  $FO_OVERWRITE )
			FileWriteLine($hFileCSV, "PID;TypK;FCom")
			If $hFile = -1 Then
				MsgBox($MB_SYSTEMMODAL, "", "An error occurred when reading/writing the file '" & $sDirKBA & "\" & $aCols[2] & ".csv'.")
				Exit
			EndIf
			GUICtrlSetData($SubProgress, 50)
		EndIf


		$iNumber = $aCols[2]
		If $aCols[6] <> "" Then
			FileWriteLine( $hFileCSV, ";" & $aCols[7] & ";" & $aCols[6] )
		Else
			FileWriteLine( $hFileCSV, ";" & $aCols[7] & ";" )
		EndIf
		GUICtrlSetData($SubProgress, 100)
	Next
	FileDelete(@ScriptDir & "\raw\ART_CODE_1.csv")
	FileDelete(@ScriptDir & "\Desc\ART_CODE_1.txt")
EndFunc


While 1
	$msg = GUIGetMsg()
	Select
		Case $msg = $GUI_EVENT_CLOSE
			Exit
		Case $msg = $Go
			_Start()
	EndSelect
WEnd

Alles anzeigen