Array in SQLite DB schreiben

TheLuBu

Hallöchen ihr lieben,
Ich sitze grade an einem Projekt und bräuchte etwas Hilfe mit SQLite
Ich habe mehrere Arrays (mehrdimensional), welche in eine SQLite DB geschrieben werden sollen. Die Arrays sind sehr groß ( zwischen 150.000 und 600.000 Zeilen).
Diese Arrays müssen durchsucht werden. Ich hatte es erst mit _Array2dsearch von BugFix gemacht, aber die Funktion braucht pro Suchgang ca. 150ms. Mit Einer Datenbankabfrage dauert es nur 4ms.
Bis jetzt füge ich die Daten so ein:

[autoit]

For $i = 1 To UBound($Array) - 1
_SQLite_Exec(-1, "INSERT INTO tblStornos(Spalte_ALPHA,Spalte_BETA,Spalte_GAMMA) VALUES ('" & $Array[$i][0] & "','" & $Array[$i][1] & "','" & $Array[$i][2] & "');")
Next

[/autoit]

Aber das dauert auch seine zeit
Gibt es eine Möglichkeit, dies zu beschleunigen? Wäre eine mehrzeilige Query schneller? Oder gib t es noch andere Funktionen zu SQLite, die nicht in AutoIT integriert sind?
Vielen Dank für eure Hilfe

blubbstar

select union kannst du verknüpfen. Hat aber auch ein Limit, so um die 500. Aber spart dann schon etwas

TheLuBu

Ich glaube du hast mich falsch verstanden
Ich will nicht das Auslesen beschleunigen sondern das einspielen

Großvater

Hallo,

_SQLite_Exec() können auf einen Schlag mehrere durch Semikolon getrennte SQL-Statements übergeben werden, das spart schon mal Zeit innerhalb von AutoIt.
Den SQLite-Entwicklern ist die Laufzeit bei aufeinanderfolgenden Inserts sehr wohl bekannt. Sie empfehlen, die Inserts in eine Transaktionsklammer zu setzen ( Begin Transaction; ...; Commit Transaction; )

ThPfund

AutoIt-mäßig kannst Du noch n-1 Aufrufe der UBound-Funktion einsparen:

[autoit]

Local $iUB = 0
$iUB = UBound($Array) - 1
For $i = 1 To $iUB
_SQLite_Exec(-1, "INSERT INTO tblStornos(Spalte_ALPHA,Spalte_BETA,Spalte_GAMMA) VALUES ('" & $Array[$i][0] & "','" & $Array[$i][1] & "','" & $Array[$i][2] & "');")
Next

[/autoit]

progandy

Ich habe schon mal eine fertige UDF dafür gesehen, kann sie aber leider nicht mehr finden.

skyteddy

Also ne UDF kenne ich jetzt auch nicht, aber eventuell hilft das Array2DSortFree() von bugfix als Ideengeber: Klick mich

happy computing
R@iner

**autoBert**

Hallo TheLuBu,

lass folgendes Testprogramm laufen und staune über die ünterschiedliche Zeiten:

Spoiler anzeigen

[autoit]

#include <SQLite.au3>
#include <SQLite.dll.au3>

[/autoit] [autoit][/autoit] [autoit]

Global $aSqldb = @ScriptDir & '\Test.db'

[/autoit] [autoit][/autoit] [autoit]

If FileExists($aSqldb) = 0 Then _DatenbankAnlegen()
_SQLite_Startup()
If @error > 0 Then
MsgBox(16, "SQLite Fehler", "SQLite.dll kann nicht geladen werden!")
Exit
EndIf
_SQLite_Open($aSqldb)
If @error > 0 Then
MsgBox(16, "SQLite Fehler", "Kann Datenbank nicht öffnen")
Exit
EndIf
_CreateGroupsFromFile(@ScriptDir & "\Gruppen.txt")
_CreateGroupsFromFileNormal(@ScriptDir & "\Gruppen.txt")
Exit

[/autoit] [autoit][/autoit] [autoit][/autoit] [autoit]

Func _DatenbankAnlegen()
Local $aSql, $res
_FileCreate($aSqldb)
_SQLite_Startup()
If @error > 0 Then
MsgBox(16, "SQLite Fehler", "SQLite.dll kann nicht geladen werden!")
Exit
EndIf
_SQLite_Open($aSqldb)
If @error > 0 Then
MsgBox(16, "SQLite Fehler", "Kann Datenbank nicht öffnen")
Exit
EndIf
$aSql = "CREATE TABLE [Gruppen] ([GrpNr] INTEGER NOT NULL PRIMARY KEY,[Bezeichnung] VARCHAR(30) NOT NULL,[Vorfahre] INTEGER NOT NULL)"
$res = _SQLite_Exec(-1, $aSql)
_SQLite_Close()
_SQLite_Shutdown()
EndFunc ;==>_DatenbankAnlegen

[/autoit] [autoit][/autoit] [autoit][/autoit] [autoit]

Func _CreateGroupsFromFile($sPfad)
Local $aGrp, $aItem, $aSql, $res, $dtStart
_FileReadToArray($sPfad, $aGrp)
$dtStart = TimerInit()
$aSql = 'Begin Transaction ;' & @CRLF
$aSql &= 'Delete from Gruppen where GrpNr > 0;' & @CRLF
For $i = 1 To UBound($aGrp) - 1
$aItem = StringSplit($aGrp[$i], ";")
$aSql &= 'INSERT INTO Gruppen (GrpNr,Bezeichnung,Vorfahre) VALUES (' & $aItem[1] & "," & _SQLite_Escape($aItem[2]) & ',0);' & @CRLF
Next
$aSql &= 'Commit Transaction ;' & @CRLF
$res = _SQLite_Exec(-1, $aSql)
$dtStart = TimerDiff($dtStart)
ConsoleWrite("schnell: " & $dtStart & @CRLF)
EndFunc ;==>_CreateGroupsFromFile

[/autoit] [autoit][/autoit] [autoit]

Func _CreateGroupsFromFileNormal($sPfad)
Local $aGrp, $aItem, $aSql, $res, $dtStart
_FileReadToArray($sPfad, $aGrp)
$dtStart = TimerInit()
$aSql = 'Delete from Gruppen where GrpNr > 0;'
$res = _SQLite_Exec(-1, $aSql)
For $i = 1 To UBound($aGrp) - 1
$aItem = StringSplit($aGrp[$i], ";")
$aSql = 'INSERT INTO Gruppen (GrpNr,Bezeichnung,Vorfahre) VALUES (' & $aItem[1] & "," & _SQLite_Escape($aItem[2]) & ',0);'
$res = _SQLite_Exec(-1, $aSql)
Next
$dtStart = TimerDiff($dtStart)
ConsoleWrite("Normal: " & $dtStart & @CRLF)
EndFunc ;==>_CreateGroupsFromFileNormal

[/autoit]

Danach setzt du die Technik von _CreateGroupsFromFile in deinem Skript um. Benötigt wird dazu autoit.de/wcf/attachment/13704/

mfg autoBert

TheLuBu

Danke an Großvater und autoBert, das mit Begin Transaction;...;Commit ist genau das richtige
Ich poste Montag mal die Differenz zur Laufzeit

TheLuBu

[autoit]

$Timer nur Insert: 219512
$Timer mit Transaction 402

[/autoit]

Viel besser
Danke an alle