Geschwindigkeit

AnnaM

Hallo Zusammen,

es geht bei meiner Frage um die bessere Performance!

Ich will diesen String auslesen: "Plot1[TAB]C:\Testordner\Testdatei.test"
Ich habe hier zur besseren Verdeutlichung die Tabs in eckige Klammern geschrieben.

Zur Aufgabe:
Ich habe eine Datei, die um die 10.000 solcher Einträge enthält. Dabei kann sich der jeweilige Pfad ändern und das "Pot1" kann "Plot2", "default", oder "graphics" annehmen. Weitere Einträge könnten folgen.

Nun ist die Frage, wie ich weiter machen soll. Ist ein regulärer Ausdruck schneller, als die String-Funktionen?
Ich müsste nämlich zu jeder Zeile den Pfad auslesen und den dazugehörigen Status auslesen.
Meine Überlegung wäre, das [Tab] zu finden und dann alles andere mit StringTrimRight und StringTrimLeft auslesen.
Aber wie schnell wird dieses? Ich bräuchte dazu ja minimal 3 String-Funktionen.

Danke schon einmal für die hilfreichen Infos,
Anna

**chesstiger**

Du bräuchtest genau eine String-Funktion, nämlich StringSplit. Als Delimeter nimmst du dann @TAB.
Definitiv schneller als RegEx.

lg chess

**chip**

String-Funktionen nutzen regüläre Ausdrücke. In deinem Fall wird es im vergleich zu manuellen Regexp kaum einen Unterschied machen.

name22

Ist die Geschwindigkeit hier wirklich so essenziell? Auf meinem PC brauche ich für eine Testdatei mit 10.000 Einträgen gerade mal 16 Millisekunden.

Spoiler anzeigen

[autoit]

#include <Array.au3>

[/autoit] [autoit][/autoit] [autoit]

$sRead = FileRead(@ScriptDir & "\Test.txt")

[/autoit] [autoit][/autoit] [autoit]

$t = TimerInit()
$aRes = StringRegExp($sRead, "(?m)^(Plot1|Plot2|default|graphics)\t(\H+)$", 3)
$t = TimerDiff($t)

[/autoit] [autoit][/autoit] [autoit]

_ArrayDisplay($aRes, "Time: " & Round($t))

[/autoit]

@chess Erstens brauchst du dann mehr als ein StringSplit, weil du ansonsten immer beide Teile in einem Array Element hast. Zweitens braucht dieses Testscript bei mir 44 Millisekunden, das ist also weder definitiv, noch schneller als Regex.
Ich würde sagen es macht einfach keinen Unterschied wie chip schon sagte (besonders nicht wenn man das zweite Script noch optimiert). Also soll die Anna entscheiden was für ihre Zwecke besser ist.

Spoiler anzeigen

[autoit]

#include <Array.au3>

[/autoit] [autoit][/autoit] [autoit]

$sRead = FileRead(@ScriptDir & "\Test.txt")

[/autoit] [autoit][/autoit] [autoit]

$t = TimerInit()
$aRes = StringSplit($sRead, @CRLF, 1)
;~ _ArrayDisplay($aRes)
Dim $aNew[$aRes[0] + 1][2] = [[$aRes[0]]]
For $i = 1 To $aRes[0] - 1
$aTmp = StringSplit($aRes[$i], @TAB, 2)
$aNew[$i][0] = $aTmp[0]
$aNew[$i][1] = $aTmp[1]
Next
$t = TimerDiff($t)

[/autoit] [autoit][/autoit] [autoit]

_ArrayDisplay($aNew, "Time: " & Round($t))

[/autoit]

**autoBert**

Zitat von chip

String-Funktionen nutzen regüläre Ausdrücke.

Verwechselst du _StrinBetween, was definitiv genauso wie _StringProper RegEx benutzt, mit StringSplit? Oder hast du den Source des AutoItinterpreters?

name22:

Zitat von AnnaM

Dabei kann sich der jeweilige Pfad ändern und das "Pot1" kann "Plot2", "default", oder "graphics" annehmen. Weitere Einträge könnten folgen.

Damit würde meine Enrscheidung bei so kleinen Unterschieden zugunsten _StringBetween fallen, denn das Anpassen des Source dauert länger als die gesparte Zeit durch RegEx.

mfg autoBert

**minx**

Definitiv verwendet StringSplit() keine Regulären Ausdrücke. Das gilt nicht für String UDF Funktionen, das ist richtig.

**chip**

Zitat von autoBert

Verwechselst du _StrinBetween, was definitiv genauso wie _StringProper RegEx benutzt, mit StringSplit? Oder hast du den Source des AutoItinterpreters?

mfg autoBert

Logische Schlussfolgerung.

Zitat von minx

Definitiv verwendet StringSplit() keine Regulären Ausdrücke.

Was dann ;)?

**chesstiger**

Zitat von name22

@chess Erstens brauchst du dann mehr als ein StringSplit, weil du ansonsten immer beide Teile in einem Array Element hast. Zweitens braucht dieses Testscript bei mir 44 Millisekunden, das ist also weder definitiv, noch schneller als Regex.

Wo brauche ich denn bitte hier mehrere StringSplit's?

[autoit]

#include <Array.au3>

[/autoit][autoit][/autoit][autoit]

$sString = "Plot1" & @TAB & "C:\Testordner\Testdatei.test"
$aResult = StringSplit($sString,@TAB)
_ArrayDisplay($aResult)

[/autoit]

lg chess

**minx**

Zitat von chip

Logische Schlussfolgerung.

Statt einfach mal eine nüchterne Erklärung zu bieten, wieder mal so richtig typisch chip. Komm doch mal von deinem Ross runter und erleuchte uns.

name22

Zitat von chesstiger

Wo brauche ich denn bitte hier mehrere StringSplit's?

Sobald du mehr als eine Zeile hast :P.

[autoit]

#include <Array.au3>

[/autoit][autoit][/autoit][autoit]

$sString = "Plot1" & @TAB & "C:\Testordner\Testdatei.test" & @CRLF & "Plot2" & @TAB & "C:\Testordner\Testdatei.test"
$aResult = StringSplit($sString,@TAB)
_ArrayDisplay($aResult)

[/autoit]

**chip**

Zitat von minx

Definitiv verwendet StringSplit() keine Regulären Ausdrücke. Das gilt nicht für String UDF Funktionen, das ist richtig.

Zitat von minx

Statt einfach mal eine nüchterne Erklärung zu bieten, wieder mal so richtig typisch chip. Komm doch mal von deinem Ross runter und erleuchte uns.

Leg ich dir halt mal den Arm aus der Sonne: http://msdn.microsoft.com/de-de/library/…=vs.110%29.aspx

Und nun bist du dran minx, beweise mal das nicht Regexp benutzt.

**chesstiger**

name22
Ach, so meinst du das.
Ja, ich bin davon ausgegangen, dass die Datei bereits als Array vorliegt.
In dem Fall hast du natürlich recht.

lg chess

name22

Zitat

Ja, ich bin davon ausgegangen, dass die Datei bereits als Array vorliegt

Das hört sich zwar im ersten Beitrag nicht so an, aber in so einem Fall wäre StringSplit natürlich schneller. StringRegExp lohnt sich oft erst bei komplexen Aufgaben wo mehr als 2 String* Funktionen nötig sind.

**autoBert**

Zitat von chip

Leg ich dir halt mal den Arm aus der Sonne: http://msdn.microsoft.com/de-de/library/…=vs.110%29.aspx

Und nun bist du dran minx, beweise mal das nicht Regexp benutzt.

OK,jetzt weis ich warum du folgerst dass AutoIt es so macht. Ich habe aber kein .NET Framework 4.5 installiert und bisher auch nirgends gelesen dass AutoIt überhaupt irgendein .NET Framework benötigt. Trotzdem funktioniert StringSplit bei mir also kann (muss aber nicht)deine Folgerung auch ein Trugschluss sein. Da AutoIt lt. Hilfe auch mit Win 95 läuft drängt sich bei mir der Verdacht auf, dass dies so ist.

mfg autoBert

Ineluki

Ich denke mal das hier sollte die Diskussion klären:

Spoiler anzeigen

Code

AUT_RESULT AutoIt_Script::F_StringSplit(VectorVariant &vParams, Variant &vResult)
{
	int			iCount, iElements, iIndex;
	int			nPos, nFlag;
	char const	*pcSearch, *pcDelim, *pcTmp;	// pointer can change, but the pointed at stuff will not.
	Variant		*pvTemp;


	// For speed, pre-allocate our string class to be same size as input string
	AString		sElement((int)strlen(vParams[0].szValue()));


	if (vParams.size() < 3)
		nFlag = 0;
	else
		nFlag = vParams[2].nValue();


	pcSearch	= vParams[0].szValue();
	pcDelim		= vParams[1].szValue();


	// Create array with single characters when the delimiter is empty
	if (pcDelim[0] == '\0')
	{
		iCount   = 0;
		iIndex   = 1;
		iElements = (int)strlen(pcSearch);
		Util_VariantArrayDim(&vResult, iElements+1);    // create the array , String length + 1
		pvTemp = Util_VariantArrayGetRef(&vResult, 0);  // First element set to length
		*pvTemp = iElements;
		while (iCount < iElements)
		{
			sElement.assign(pcSearch, iCount, iCount + 1);
			pvTemp = Util_VariantArrayGetRef(&vResult, iIndex++);   //Next element
			*pvTemp = sElement.c_str();
			++iCount;                  // Increase count
		}
		return AUT_OK;
	}




	switch (nFlag)
	{
	case 0:	// default method - any characters in delimeter string delimit fields
		// Count how many times the delimiters occur
		iCount = 0;
		nPos = 0;
		while (pcSearch[nPos] != '\0')
		{
			if ( strchr(pcDelim, pcSearch[nPos]) )
					++iCount;						// Increase count
			++nPos;
		}
		break;
	case 1: // use exact delimeter string to delimit fields
		iCount=0;
		while (pcSearch != NULL)
		{
			pcSearch = strstr(pcSearch, pcDelim);
			if (pcSearch != NULL) {
				++iCount;
				pcSearch += strlen(pcDelim);	// skip by the length of the delimter
			}
		}
		// reset back to starting place
		pcSearch = vParams[0].szValue();
		break;
	default:
		iCount = -1;
	}


	// Find any delimiters?
	if (iCount <= 0)
	{
		// Create array of 2 to return count = 1 and full string in element[1]
		Util_VariantArrayDim(&vResult, 2);
		pvTemp = Util_VariantArrayGetRef(&vResult, 0);	//First element
		*pvTemp = 1;


		pvTemp = Util_VariantArrayGetRef(&vResult, 1);	//Second element
		*pvTemp = pcSearch;


		SetFuncErrorCode(-iCount+1);	// 1 for no delimiters, 2 for bad flag
		return AUT_OK;
	}




	// Number of string elements will be iCount number of delimiters + 1 (3 delims = 4 elements to return)
	iElements = iCount+1;


	// Create our return array (first element is number of strings return, so we need iElements+1 elements)
	Util_VariantArrayDim(&vResult, iElements+1);


	pvTemp = Util_VariantArrayGetRef(&vResult, 0);	//First element
	*pvTemp = iElements;							// Number of elements we will return




	// Go through the loop again but this time, make a note of the strings and store in our new array
	iCount	= 0;
	nPos	= 0;
	iIndex	= 1;
	sElement = "";
	bool bStored;
	while (iCount < iElements)
	{
		switch (nFlag)
		{
		case 0:
			bStored = false;
			if ( strchr(pcDelim, pcSearch[nPos]) )	// This works as \0 is also matched so overrun is prevented
			{
				pvTemp = Util_VariantArrayGetRef(&vResult, iIndex++);	//Next element
				*pvTemp = sElement.c_str();
				sElement = "";


				bStored = true;
				++iCount;						// Increase count
			}


			if (bStored == false)
				sElement += pcSearch[nPos];


			++nPos;
			break;
		case 1:
			pcTmp = pcSearch;
			pcSearch = strstr(pcSearch, pcDelim);
			if (pcSearch != NULL) {
				sElement = "";


				// copy all elements up to the beginning of the delimiter into sElement
				for (;pcTmp != pcSearch; ++pcTmp)
					sElement += *pcTmp;


				pcSearch += strlen(pcDelim);	// skip by the length of the delimter
			}
			else
				sElement = pcTmp;
			// copy string into array
			pvTemp = Util_VariantArrayGetRef(&vResult, iIndex++);	//Next element
			*pvTemp = sElement.c_str();
			++iCount;
			break;
		}	// switch
	}	// while (iCount < iElements)


	return AUT_OK;


}

Alles anzeigen

Ich persönlich sehe das kein RegEx.
Ist zwar von der 3.1.0 aber ich denke, da hat sich nichts geändert:
http://www.autoitscript.com/autoit3/files/…-v3.1.0-src.exe

**minx**

Na
Vielleicht hat sich was geändert, aber ich glaube das nicht.

Es hätte ja auch nach dem Prinzip funktionieren können, aber das wäre, wie gesagt, sinnlos dann die Funktion gleichwertig anzubieten. Aber schön mal zu sehen wie so etwas funktioniert (und NET Framework habe ich auch nicht ^^)

**autoBert**

Zitat von minx

Na
Vielleicht hat sich was geändert, aber ich glaube das nicht.

Es hätte ja auch nach dem Prinzip funktionieren können, aber das wäre, wie gesagt, sinnlos dann die Funktion gleichwertig anzubieten.

Sinnlos ist angesichts der Zeitunterschiede die Diskussion darüber was besser ist, denn

Zitat von autoBert

Damit würde meine Enrscheidung bei so kleinen Unterschieden zugunsten _StringBetween fallen, denn das Anpassen des Source dauert länger als die gesparte Zeit durch RegEx.

mfg autoBert

name22

autoBert Ehrlich gesagt finde ich nicht, dass da eines flexibler ist als das andere..
So könnte man das ganze noch vereinfachen. Man kann so viele Statusstrings hinzufügen wie man will und muss sie nur durch ein "|" Symbol trennen.

Spoiler anzeigen

[autoit]

#include <Array.au3>

[/autoit] [autoit][/autoit] [autoit]

$sStatus = "Plot1|Plot2|default|graphics"
$sRead = FileRead(@ScriptDir & "\Test.txt")

[/autoit] [autoit][/autoit] [autoit]

$t = TimerInit()
$aRes = StringRegExp($sRead, "(?m)^(" & $sStatus & ")\t(\H+)$", 3)
$t = TimerDiff($t)

[/autoit] [autoit][/autoit] [autoit]

_ArrayDisplay($aRes, "Time: " & Round($t))

[/autoit]

**autoBert**

Zitat von name22

autoBert Ehrlich gesagt finde ich nicht, dass da eines flexibler ist als das andere..

Bei der StringSplit-Methode brauchtr man sich um nichts kümmern, wenn ein neuer Begriff auftaucht wird diese Zeile trotzdem autmatisch getrennt.
Bei der RegEx-Methode muss man das Skript anpassen und dies dauert länger als einige Millisekunden, vor allem muss man daran denken ansonsten werden Zeilen unterschlagen.

mfg autoBert

**chip**

Zitat von autoBert

OK,jetzt weis ich warum du folgerst dass AutoIt es so macht. Ich habe aber kein .NET Framework 4.5 installiert und bisher auch nirgends gelesen dass AutoIt überhaupt irgendein .NET Framework benötigt. Trotzdem funktioniert StringSplit bei mir also kann (muss aber nicht)deine Folgerung auch ein Trugschluss sein. Da AutoIt lt. Hilfe auch mit Win 95 läuft drängt sich bei mir der Verdacht auf, dass dies so ist.

mfg autoBert

Diese Funktion ist keine explizieter Bestandteil von .NET Framework 4.5. Du kannst das sogar über native C++ mit split_regex bis native C mit strtok runterbrechen.