TableData - effizientere Arbeit mit tabellenstrukturierten Daten

Worum geht es?

In AutoIt haben wir es oft mit tabellenartig strukturierten Daten zu tun.
Je nach Quelle müssen wir teils einen erheblichen Codeaufwand betreiben um die Daten in eine Form zu bringen, mit der wir weiterarbeiten können.
Anschließend wird das Arbeiten mit diesen Daten auch nicht unbedingt einfacher, da wir, anstatt auf die sprechenden Namen der Attribute der Daten zuzugreifen, wir es mit numerischen Indizes zu tun haben bei denen man sehr schnell die Übersicht verliert.

Beide Probleme werden durch die UDF adressiert.
Im Grundansatz arbeitet die UDF mit einem Table-Objekt (lediglich eine AutoIt-Map), in welcher die Daten vom Header getrennt werden.
Das ermöglicht eine sauberere Prozessierung der Daten.
Sie bietet Funktionen um aus verschiedenen Quellen Daten einzulesen (CSV, Array, string with fixed-width-columns, Strings mit eigenen Spaltentrennungen).
Innerhalb dieses Aufrufes werden die Daten vom Header getrennt oder diesen überhaupt erst Headerdaten hinzugefügt.
Die Daten werden dann entsprechend ihrem Format aufgearbeitet (bei csv Quotes und Escapes entfernt, bei fixed-width Leerräume entfernt...).
Darüber hinaus kann der User direkt für jede Spalte einzeln festlegen wie genau die Daten aufgearbeitet werden sollen. Er ist hierbei komplett frei.
Auf diese Art erhalten die Daten bereits beim Einlesen das Endformat in welchem sie weiterverarbeitet werden sollen.

Anschließend können die Daten spaltenbasiert oder Attributbasiert behandelt werden.
Sprich: Anstatt mit Indizes können auch einfach die Attributnamen der Daten verwendet werden - das ermöglicht eine bessere Übersichtlichkeit im Code.

Beispiel (umfangreiche weitere Beispiele im Unterordner "examples")

Wir möchten die offenen Ports auf einem Rechner mit AutoIt auswerten.
Der Kommandozeilenbefehl lautet hierfür netstat -t und bringt uns folgende Ausgabe (bei euch je nach System evtl. anders strukturiert):

Active Internet connections (w/o servers)

Proto Recv-Q Send-Q Local Address           Foreign Address         State
tcp        0    116 192.168.64.110:ssh      192.168.29.200:65069    ESTABLISHED
tcp        0      0 192.168.64.110:ssh      192.168.29.200:65068    ESTABLISHED

Um diese Daten sinnvoll weiterzuverarbeiten müssen wir gegebenenfalls folgende Schritte in AutoIt durchführen:

• Löschen der ersten unnützen Zeilen
• Extraktion der Kopfzeile (sie wird anders behandelt als die Daten)
• Erzeugung eines Arrays mit korrekter Dimension um die Daten zu halten
• Trennung der Daten entweder anhand von Leerräumen oder anhand der jeweils festen Spaltenbreite
• Befreiung der Daten von unnötigen Leerräumen
• Konvertierung der Recv-Q und Send-Q-Spalte in einen Zahlendatentyp (für Sortierung usw)
• Auftrennung der Adressdaten in IP-Adresse und Port

Das kann eine Menge (fehleranfälligen) Code-Aufwand bedeuten.
Mit dieser UDF hingegen kann man das ganze folgendermaßen in einem einzigen Aufruf lösen:

$sString = 'Active Internet connections (w/o servers)' & @CRLF & _
    '' & @CRLF & _
    'Proto Recv-Q Send-Q Local Address           Foreign Address         State' & @CRLF & _
    'tcp        0    116 192.168.64.110:ssh      192.168.29.200:65069    ESTABLISHED' & @CRLF & _
    'tcp        0      0 192.168.64.110:ssh      192.168.29.200:65068    ESTABLISHED'

; Transfer data to table type by using the size of every column:
Global $mData = _td_fromFixWidth($sString, _
                                 "left 6; Number 7; Number 7; StringSplit($x, ':', 2) 24;StringSplit($x, ':', 2) 24;", _ ; column definitions
                                 "1-2", _ ; skip row 1 to 2
								 True) ; first row = header

; display data
_td_display($mData)

und wir erhalten als Resultat:

Wenn man nun Funktionen wie _td_toObjects() nutzt, dann kann man die einzelnen Daten mit Ausdrücken wie $aData.Proto oder $aData.State prozessieren.
Das sollte deutlich übersichtlicher sein als sich mit den Arrayindizes herumzuschlagen.

Funktionsumfang

>>Download und Quellcode auf GitHub<<

Zitat von water

Vermutlich Überbleibsel von copy & paste.

Das ist wohl mehr als wahrscheinlich.
Das ganze Konstrukt schlummert schon seit ca. 5 Jahren auf meiner Festplatte - angefangen als vollumfänglicher csv-Parser.
Aber eine richtige Gesamtidee für eine UDF war nicht wirklich erkennbar.
Daher hatte es eine ganze Weile gebraucht um da eine sinnvolle Klammer drumherum zu machen.
Bei der abschließenden Fleißarbeit drumherum (Kommentare, Beispiele etc.) werden wohl auf die Art ein paar Schnitzer reingelangt sein.

Interessanter Ansatz.
Meinst du das in der Art?:

#include "TableData.au3"

; the origin data
Global $aArray[5][4] = [["name", "age", "salary", "married"], ["Max", 25, 5000.50, True], ["Anna", 30, 6000.75, False], ["Peter", 35, 7000.25, True], ["Lena", 28, 5500.50, False]]

; convert into a table object:
$mData = _td_fromArray($aArray, True)

; convert into primary key focused data structure:
$mTable = _td_dataByPrimaryKey($mData)

; access to the data by primary key
MsgBox(0, "Anna`s salary", $mTable.Anna.salary)




; #FUNCTION# ======================================================================================
; Name ..........: _td_dataByPrimaryKey()
; Description ...: converts a table object into a map in which the data is stored with its primary key
; Syntax ........: _td_dataByPrimaryKey(ByRef $mTable, $vPrimaryColumn = 0)
; Parameters ....: $mTable         - table object structured like in this udf
;                  $vPrimaryColumn - column identifier (integer index or column name as string)
;                                    which holds the unique primary key of the data
; Return values .: Success: a AutoIt-Map where Keys=Primary Keys and value=map of data
;                  Failure: Null
;                     @error = 1: wrong format of $mTable
;                     @error = 2: not enough header elements
;                     @error = 3: wrong datype of $vPrimaryColumn (only string or int)
;                     @error = 4: column name in $vPrimaryColumn is not contained in the header
;                     @error = 5: wrong column index in $vPrimaryColumn
;                     @error = 6: values in the column $vPrimaryColumn are not unique
; Author ........: AspirinJunkie
; Last changed ..: 2024-01-18
; =================================================================================================
Func _td_dataByPrimaryKey(ByRef $mTable, $vPrimaryColumn = 0)
	If Not IsMap($mTable) Or Not MapExists($mTable, "Header") Or Not MapExists($mTable, "Data") Then Return SetError(1,0,Null)

	Local $aHeader = $mTable.Header
	Local $aData = $mTable.Data

	If UBound($aHeader) < UBound($aData, 2) Then Return SetError(2, UBound($aHeader), Null)

	; check for validity of $vPrimaryColumn
	If IsString($vPrimaryColumn) Then
		$vPrimaryColumn = _ArraySearch($aHeader, $vPrimaryColumn)
		If $vPrimaryColumn < 0 Then Return SetError(4, @error, Null)
	ElseIf IsInt($vPrimaryColumn) Then
		If $vPrimaryColumn < 0 Or $vPrimaryColumn >= UBound($aData, 2) Then Return SetError(5, UBound($aData, 2), Null)
	Else
		Return SetError(3, 0, Null)
	EndIf

	; transfer the data into the primary-key focused map-structure
	Local $mRet[]
	For $i = 0 To UBound($aData, 1) - 1

		; check if key is really unique
		If MapExists($mRet, $aData[$i][$vPrimaryColumn]) Then Return SetError(6, 0, Null)

		Local $mEntry[]
		For $j = 0 To UBound($aData, 2) - 1
			$mEntry[$aHeader[$j]] = $aData[$i][$j]
		Next

		$mRet[$aData[$i][$vPrimaryColumn]] = $mEntry
	Next

	Return $mRet
EndFunc

Hm ne würde ich ungern machen.
Neben der weiter anwachsenden Parameteranzahl würde ich auch ein paar "Prinzipien" in der UDF durcheinander hauen.
Die _td_fromXXX-Funktionen haben gemeinsam, dass Sie alle das Table-Objekt mit .data und .header zurückgeben.

Funktionen, welche diese dann je in andere Strukturen umwandeln, kommen dann danach als zweiter Schritt.
Also die Funktionen _td_toColumns, _td_getColumn, _td_TableToMaps.
Diese Funktion hier würde sich vom Ansatz her in letztere einordnen.

Bei der Gelegenheit fällt mir aber auf, dass die Funktionsnamen noch nicht optimal sind.
Wenn ich auf der einen Seite "-from"-Funktionen habe, dann sollten die anderen konsequent "-to"-Funktionen heißen.
Das werde ich wohl sicher so noch mal überarbeiten.

OK ich habe die Benamung der "-to"-Funktionen jetzt komplett umgestellt und auch die vorgeschlagene Funktion _td_toPrimaryKeys() mit aufgenommen (Danke Moombas für die gute Idee).
Wer für die Funktion evtl. einen schmissigeren Namen hat - gerne her damit - ich bin noch nicht ganz zufrieden damit.
Außerdem ist noch eine kleine Funktion _td_toArray dazugekommen.

Ohne Daten kann ich nicht weiterhelfen.

#include "TableData.au3"

; Transfer data to table type:
$mData =  _td_fromCsv("Test.csv", ',', "", True)

; display data
_td_display($mData, "MojoB`s CSV")

; Zugriff per Unique-Key
$mTable = _td_toPrimaryKeys($mData)
MsgBox(0, "homepage", $mTable.homepage.WERT)

Du hast beim Einlesen mit _td_fromCsv() angegeben, dass in der CSV-Datei keine Header-Zeile vorhanden ist (4. Parameter = False).
Die Spalten haben also keinen zugeordneten Namen, stattdessen wurde die Header-Zeile als normale Datenzeile behandelt.
Da die Spalten keinen Namen haben kann auch _td_toPrimaryKeys nichts mit diesen Bezeichnungen anfangen.

Ja das ist das Konzept der UDF.
Die Daten werden vom Header getrennt behandelt.
Auf die Art kann man die Spalten und Attribute über die Namen ansprechen.
Das bedingt aber halt, dass Headerinformationen da sind.

Ein Blick in die Funktionsbeschreibung zeigt auf welche Arten man diese Header-Informationen per $vHeader-Parameter erhalten kann:

• False: Es gibt keine Headerinfos - der User kann selbst im Nachgang diese hinzufügen, wenn er $mTable.Header mit einem entsprechenden 1D-Array beschreibt
• True: Die erste Zeile enthält den Header
• Array: Der User setzt eigene Headerelemente per Array
• String: Der User setzt eigene Headerelemente per String (getrennt durch $sDelim - meistens "|")

Zitat von MojoeB

aber was geschieht wenn man in meinem beispiel 2mal homepage vorkommt?

Dann kannst du _td_toPrimaryKeys() halt einfach nicht nutzen, da Primärschlüssel nunmal eindeutig sein müssen.

Zitat von MojoeB

wie geht man dann mit den daten um?

So wie du es brauchst und es sinnvoll ist.
Du kannst die Daten als 2D-Array behandeln, wenn du $mData.Data nimmst.
Du kannst einzelne oder mehrere Spalten per Name extrahieren wenn du _td_getColumns() verwendest.
Du kannst Prinzipiell spaltenorientiert arbeiten, wenn du _td_toColumns() nimmst.
Du kannst die Datensätze mit _td_toObjects() als Liste von Objekten behandeln, so dass du auf deren Attribute einfach per Name zugreifst.
Du kannst die Daten anzeigen lassen (_td_Display), als csv-formatierten String ausgeben (_td_toCsv), als fixed-width-String ausgeben (_td_toFixWidth) oder als Array ausgeben (_td_toArray).

Es kommt halt ganz auf den Anwendungsfall an.
Zu allen Funktionen habe ich im example-Ordner Beispiele und die jeweiligen Funktionsheader sollten auch hilfreich sein.