Problem Datenbank und JSON

horphi

Hallo @asprinjunkie,

danke für deine tolle Arbeit.

Solche UDF´s sind GOLD wert.

EIne Frage habe ich dazu.

Ich bekomme via UDP ein JSON Protokoll geliefert, fomatiere das und speichere es gleich als komplettes Paket in die SQL DB.

Dabei ist mir der TimeStamp aufgefallen. Der wird anscheinend nicht richtig konvertiert...

so sieht er in der SQL DB aus "positionTS": 1.50809e+12

So sollte er aussehen: "positionTS": 1430140978241,

Mach ich mit der JSON UDF was falsch?

AutoIt

While 1
        ; We are waiting for the string
        $sReceived = UDPRecv($iSocket, 9999)
        If $sReceived <> "" Then
            $o_Object = _JSON_Parse($sReceived)
            $s_Type = $o_Object.Item("id")
;~             ConsoleWrite("ID: " & $s_Type & @CRLF)
            $query2 = 'INSERT INTO `test`.`test` (`ID`, `JSONSTRING`) VALUES ('''& $s_Type & ''', ''' & _JSON_Generate($o_Object) & ''');'
            _MySQL_Real_Query($MysqlConn, $query2)
;~             ConsoleWrite(_JSON_Generate($o_Object) & @CRLF & @CRLF)
        EndIf
        Switch GUIGetMsg()
            Case $GUI_EVENT_CLOSE
                ExitLoop
            Case $idBtnStop

        EndSwitch
    WEnd

Alles anzeigen

VG

horphi

**AspirinJunkie**

Zitat von horphi

Dabei ist mir der TimeStamp aufgefallen. Der wird anscheinend nicht richtig konvertiert...

so sieht er in der SQL DB aus "positionTS": 1.50809e+12

So sollte er aussehen: "positionTS": 1430140978241,

Ich verstehe ehrlich gesagt noch nicht um was es geht.

Wie sehen die Eingabedaten aus, was stellen diese dar und wie sollen diese schlussendlich aussehen?

Zeig mal bitte ein paar Beispieldaten.

**alpines**

Zitat von AspirinJunkie

Ich verstehe ehrlich gesagt noch nicht um was es geht.

Wie sehen die Eingabedaten aus, was stellen diese dar und wie sollen diese schlussendlich aussehen?

Es handelt sich vermutlich um einen Zeitstempel (positionTS). Nun stellt sich hier die Frage ob AutoIt oder das DBS den Integer falsch interpretiert.

AutoIt selbst hat den Hang dazu, große Zahlen nicht mehr vollständig darzustellen sondern beispielsweise als 4.2321e+123.

Allerdings sollte das bei 1430140978241 noch nicht passieren.

**AspirinJunkie**

Schon klar das es ein Timestamp ist.

Die Frage ist nur was das mit der JSON-UDF zu tun hat.

Anhand der Infos ist mir nicht klar was als Eingabedaten rein kommt, was raus kommt und wie es stattdessen aussehen soll.

Edit horphi: habe mal versucht nachzuvollziehen was gemeint ist und bin dabei auf eine Rundungsproblematik durch StringFormat gestoßen.

Hierbei wird aus 1430140978241 eine 1.43014e+12 gemacht.

Habe daher nun die JSON_Generate-Funktion entsprechend angepasst.

Um zu ergründen was es mit der von Dir erwähnten 1.50809e+12 auf sich hat benötige ich mehr Input.

horphi

Zitat von AspirinJunkie

Schon klar das es ein Timestamp ist.

Die Frage ist nur was das mit der JSON-UDF zu tun hat.

Anhand der Infos ist mir nicht klar was als Eingabedaten rein kommt, was raus kommt und wie es stattdessen aussehen soll.

Edit horphi: habe mal versucht nachzuvollziehen was gemeint ist und bin dabei auf eine Rundungsproblematik durch StringFormat gestoßen.

Hierbei wird aus 1430140978241 eine 1.43014e+12 gemacht.

Habe daher nun die JSON_Generate-Funktion entsprechend angepasst.

Um zu ergründen was es mit der von Dir erwähnten 1.50809e+12 auf sich hat benötige ich mehr Input.

Alles anzeigen

Hallo AspirinJunkie,

vielen Dank für deine Anpassung. Klappt super.

der 2. erwähnte Wert war ein Fehler von mir.

Ich habe 2 Werte genannt Input und Output. Beide waren von unterschiedlichen Zeitpunkten. Es sind nicht die selben Werte.

Mit der Anpassung klappt es sehr gut .

Das kommt in meiner DB jetzt an.

Code

{
    "acceleration": null,
    "accelerationTS": 1508179014752,
    "batteryAlarm": null,
    "batteryAlarmTS": 1508179014752,
    "batteryVoltage": null,
    "batteryVoltageTS": 1508179014752,
    "buttonState": "notPushed",
    "buttonStateTS": 1508179014617,
    "color": "#FF0000",
    "configStatus": "NotStarted",
    "configStatusTS": null,
    "coordinateSystemId": null,
    "coordinateSystemName": null,
    "deviceType": "General",
    "group": "Named Tags",
    "id": "0000200103e3",
    "ioStates": [
        "low",
        "low",
        "low",
        "low"
    ],
    "ioStatesTS": 1508179014617,
    "lastAreaId": null,
    "lastAreaName": null,
    "lastAreaTS": 1508179014752,
    "lastButton2PressTS": null,
    "lastButtonPressTS": null,
    "lastPacketTS": 1508179014621,
    "name": "Named Tags_0292",
    "rssi": 4,
    "rssiCoordinateSystemId": "CoordSys001",
    "rssiCoordinateSystemName": null,
    "rssiLocator": "000000000007",
    "rssiLocatorCoords": [
        78.99,
        17.11,
        12
    ],
    "rssiTS": 1508178892165,
    "tagState": "default",
    "tagStateTS": 1508179014617,
    "tagStateTransitionStatus": "normal",
    "tagStateTransitionStatusTS": 1508179014617,
    "triggerCount": null,
    "triggerCountTS": 1508179014752,
    "txPower": -6,
    "txPowerTS": 1508179014617,
    "txRate": 1,
    "txRateTS": 1508179014617,
    "zones": null
}

Alles anzeigen

Eine generelle Frage hätte ich noch.

Wieviel Pakete dieser Art kann ich in einer Sekunde verarbeiten?

HIntergrund: ich bekomme via UDP Datenpakete aus dem Netz und speichere diese in meiner DB.

Stichwort IoT : es sind Bewegunsdaten von Sensoren.

Dazu möchte ich gerne verstehen, wieviele Pakete pro Sekunde maximal ,ohne verluste, empfangen, aus Json umwandeln und in meiner MariaDB speichern kann, während mein UDPRecv den Port abhört.

AutoIt

While 1
        ; We are waiting for the string
        $sReceived = UDPRecv($iSocket, 9999)

        If $sReceived <> "" Then
            $o_Object = _JSON_Parse($sReceived)
            $s_Type = $o_Object.Item("id")
            $query2 = 'INSERT INTO `test`.`test` (`ID`, `JSONSTRING`) VALUES ('''& $s_Type & ''', ''' & _JSON_Generate($o_Object) & ''');'
            _MySQL_Real_Query($MysqlConn, $query2)
        EndIf
        Switch GUIGetMsg()
            Case $GUI_EVENT_CLOSE
                ExitLoop
            Case $idBtnStop

        EndSwitch
    WEnd

Alles anzeigen

Vielen Dank und Gruß,

horphi

**AspirinJunkie**

Kurz: Das hängt von so vielen Faktoren ab (Leistung deines Rechners, Netzwerkperformance, Konfiguration der Komponenten, etc....) dass ich keine Antwort darauf geben kann.

Nimm TimerInit()/TimerDiff() und miss einfach.

Da du eigentlich nur einen Teil aus dem JSON-String herausschneiden möchtest ist es eigentlich etwas overdosed den ganzen String zu parsen und dann nur den benötigten Teil wieder in ein JSON-String zu serialisieren.

Wenn du mal ein Beispiel-Paket zeigst könnte man das sicherlich ziemlich fix per RegEx abhandeln.

horphi

Hallo AspirinJunkie,

danke für dein Feedback.

Das Paket habe ich in meinem vorherigen Post eingefügt.

SO kommen die Pakete aus dem Netzwerk.

Meinst du, ich sollte das Paket einfach per Regex lesen, die ID herausfiltern und den Rest roh in die DB einfügen?

VG

horphi

**AspirinJunkie**

Zitat von horphi

Meinst du, ich sollte das Paket einfach per Regex lesen, die ID herausfiltern und den Rest roh in die DB einfügen?

Ja na klar. Alles was du machst ist aus einem JSON-String Ein AutoIt-Objekt zu machen, die ID raus zu filtern und anschließend daraus wieder einen JSON-String zu machen.

Die ID lässt sich fix z.B. so ermitteln: $s_Type = StringRegExp($sReceived, '"id"\s*:\s*"(.*?)(?<!\\)(?>\\\\)*"', 1)[0]. Der Datenbank kannst du dann weiterhin den Ausgangsstring hinzufügen und sparst dir das ganze parsen und konvertieren.

**BugFix**

Bei Regex führen viele Wege zum Ziel. Ich arbeite gern mit Negation, weil das das Pattern meist deutlich kürzt (und somit lesbarer macht).

$s_Type = StringRegExp($sReceived,'"id"\s*:\s*"([^"]+)', 1)[0]

EDIT:

Die Fragestellung hat ja nur am Rande mit der UDF zu tun und gehört m.M. nach in H&U.

Ich trenne daher den Bereich ab und verschiebe dorthin.

horphi

Danke BugFix und AspirinJunkie ,

das probiere ich morgen gleich mal aus.

VG

horphi

**AspirinJunkie**

Zitat von BugFix

Bei Regex führen viele Wege zum Ziel. Ich arbeite gern mit Negation, weil das das Pattern meist deutlich kürzt (und somit lesbarer macht).

$s_Type = StringRegExp($sReceived,'"id"\s*:\s*"([^"]+)', 1)[0]

Wenn man vorher weiß dass der Suchstring immer so aussieht und keine Escapes enthält dann ist das tatsächlich die nachvollziehbarere, einfachere und wahrscheinlich auch performantere Variante.

Wenn man allerdings - wie ich - von einem allgemeinen regelkonformen JSON-String ausgeht dann muss man auch daran denken dass Anführungszeichen escaped werden können (\").

Und ja - der Fall dass man in einem String 3 Backslashes und danach ein escapetes Anführungszeichen (\\\\\\\") findet ist durchaus unwahrscheinlich.

Will man jedoch JSON-konform arbeiten muss man in seinem Pattern auch diese Fälle mit abfangen.

Dann kommt dann soetwas heraus wie bei mir.

Unsere Pattern unterscheiden sich also nicht lediglich in der Ausführung sondern bereits im damit verfolgten Ziel.

P.S.: Danke für's Abtrennen!

**BugFix**

Zitat von AspirinJunkie

Wenn man allerdings - wie ich - von einem allgemeinen regelkonformen JSON-String ausgeht dann muss man auch daran denken dass Anführungszeichen escaped werden können

Stimmt, das hatte ich gar nicht bedacht. Da hatte ich zu sehr auf den Bsp-String geschaut.