Webabfrage - Mit Java nachgeladene Inhalte aus Webseite auslesen.

  • Hallo,

    ich würde gerne auf dieser Seite "https://www.forex.com/ie/markets-to-trade/indices-trading/wall-street/" die werte aus dem Chartbild auslesen, leider sind die Werte im Quellcode nicht enthalten da sie vermutlich mit Javascript nachgeladen werden. ich habe versucht die URL im "Entwicklertool/Netzwerk" herauszufinden, die die Werte enthält, habe ich aber nicht gefunden. Ich vermute, dass das irgendwie anders funktioniert. Gibt es dafür eine Möglichkeit? Zur nur auch nur die Werte, die einem im oben Chart dynamisch angezeigt werden ja nachdem wo man mit der Maus gerade ist.

    Gruß

  • Hallo Faultier_1982 ,

    ohne auf deine Zielseite bisher navigiert zu sein und mir das mal angeschaut zu haben, kann ich dir sagen das du über die Browser DevTools i.d.R. alle Informationen bekommen solltest.

    Doch zunächst erstmal zu dem was du bereits versucht hast. Es ist immer hilfteich, wenn du deinen bisherigen Quellcode mit uns teilst. Wenn du ggf. Screenshots mit uns teilst, auf denen klar wird was du erreichen willst. In deinem Fall auch, welchen Browser du nutzt, ob du irgendwelche Ad-Blocker oder ähnliches aktiv hast und was dein Ziel ist.

    Soll das Ganze eine einmalige Sache werden oder willst du Daten öfter von der Seite auswerten? Was soll danach damit getan werden.

    💡 Hilf uns ein wenig mehr und die Wahrscheinlichkeit ist groß, dass dir geholfen wird.

    Viele Grüße

    Sven

  • Hallo,


    Es gibt noch keinen Code, da ich noch nicht weiß ob ich an die Daten überhaupt ran komme. Ich habe mir bisher im Google-Chrome Browser nur die Internetseite und den Quellcode angesehen und festgestellt, dass ich die benötigten Informationen nicht markieren kann und auch im Quellcode nicht enthalten sind. Je nachdem auf welche Weise ich an die Werte ran komme muss ich mir dann überlegen, wie mein Code aussieht. Das Ziel ist auf jeden Fall die Kurs-Daten auszulesen und dann entweder direkt in Excel zu speichern oder in eine Datenbank, das werde ich dann sehen, wie viele es sind.

    Das ist das Chartbild, deren Werte ich benötige. das beste wäre natürlich, wenn ich alles auf einmal auslesen könnte, vielleicht kann ich auch nur jeden Tag einzeln mit den roten Zahlen im oberen bereich auslesen.

    ich verwende keine ad-Blocker....

    Bis jetzt habe ich im Chrome-Browser das Entwicklertool geöffnet und unter Netzwerk die "Aufzeichnung des Netzwerkprotokolls aktiviert". Die Seite nochmals neu geladen und dann im Bereich "Name" die Links der aufgelisteten Positionen in einem anderen Tab öffnen lassen. In diesem Inhalt habe ich dann nach den Werten, die ich benötige, gesucht und leider nicht gefunden.

    Gruß

    Einmal editiert, zuletzt von Faultier_1982 (26. Dezember 2022 um 16:56)

  • Hi Faultier_1982,

    Danke erstmal für den Screenshot und die Infos dazu 👍 . Bei dieser Seite scheint es wirklich ein wenig tricky zu sein, um nicht zu sagen nicht möglich zu sein, die Daten aus dem DOM zu bekommen. Jedoch scheint der Weg über die responses (die Antworten der verschiedenen API requests) zu funktionieren. Dein Ansatz mit dem Network Tab in den Chrome DevTools ist schon richtig, da ist alles zu finden - allerdings kenne ich mich mit dem Kontext überhaupt nicht aus und weiß somit leider auch gar nicht was genau du suchst und auf was es ankommt 😔 .

    Nur mal als Beispiel:
    Es gibt u.a. diesen /tickhistorybefore Endpunkt mit Parametern wie einem UTC Zeitstempel. Dann gibt es den /barhistorybetween Endpunkt, ebenfalls mit Zeitstempel etc.
    Ob dies die Infos sind die du suchst weiß ich nicht. Siehe die Screenshots um dies besser zu bewerten.

       

    Angenommen dies sieht gut für dich aus, dann würde ich erstmal die Unix Timestamps zu einem verständlichen Datum konvertieren, damit du dann besser sagen kannst ob die Werte mit dem Chart übereinstimmen oder nicht.


    Der nächste Schritt wäre dann wahrscheinlich die responses per cURL oder ähnliche Tools (geht auch mit WinHTTP.au3) zu bekommen und dann deine Daten per JSON.au3 zu extrahieren.
    Doch da sind so viele Fragezeichen bei mir, dass ich dir hierzu wahrscheinlich nicht ohne viel Zeit aufzuwenden helfen kann.

    Viele Grüße

    Sven

  • Hallo,

    vielen Dank für die Infos.

    Ich möchte die Kurs-Daten auslesen, damit ich sie in Excel besser auswerten kann.

    Ich habe das von dir dargestellte gefunden, aber wenn ich die dazugehörige URL kopiere kommt leider nur diese "Fehlermeldung" im Browser es werden keine Ausgegeben.

    Code
    {"HttpStatus":401,"ErrorMessage":"Session is not valid","ErrorCode":4011}

    Gruß

  • Faultier_1982

    ich bekomme mit win10 und ff, uner Benutzung Deines Linkes, schon gar keinen Zugang zur Seite. Liegt ev. hier ein Problem?

    LG

    Peter

    Hinweise auf Suchmaschinen finde ich überflüssig - wer fragt hat es nicht gefunden oder nicht verstanden. Die Antwort gibt sich oftmals schneller als der Hinweis auf Dr. Goggle & Co.

    Ab 19-10-22 ergänzt um:

    Die Welt wird nicht bedroht von den Menschen, die böse sind, sondern von denen, die das Böse zulassen. (Albert Einstein)