Fronius Webseite auslesen

**Tweaky**

Hi,

ein Bekannter hat mich gebeten ihm ein Skript zu basteln, welches Daten von seiner PV-Anlage (Fronius) herunterlädt.
Es sollen die Dateien unter "Erstellte Reports" heruntergeladen werden.

Leider komme ich nicht weit.

Könnt ihr mir helfen?

AutoIt

#Include <WinHttp.au3>

$url = "https://www.solarweb.com/Report/Reports?pvSystemId=86492a33-c23a-46d0-b8e0-e6e549ff063e"

Global $hSession = _WinHttpOpen()
_WinHttpSetOption($hSession, $WINHTTP_OPTION_USER_AGENT, "Mozilla/5.0 (Windows; U; Windows NT 6.1; ru; rv:1.9.2.3) Gecko/20100401 Firefox/4.0 (.NET CLR 3.5.30729)") ;wichtig, sonst wird erkannt, dass die Abfragen nicht von einem User stammen und das Tool funktioniert dann nicht
Global $hConnect = _WinHttpConnect($hSession, $url, 443)
$source = _WinHttpSimpleSSLRequest($hConnect, "GET")
ClipPut($source)

**SOLVE-SMART**

Hi Tweaky ,

liebend gern würde ich dir helfen, doch zunächst brauche ich erstmal einen Account (Test-Account) von dir 😅 , da ich/wir ansonsten nur die OIDC authorization Seite (die Login) Seite sehen und dort nicht weiter kommen. An sich wird es dann über mind. zwei Requests laufen, wenn es der Standard flow von OpenID Connect ist. Also ein Request für die Authentifizierung, damit erhällt man den Token, welchen man dann dem /token Request mitgeben muss, damit man auf der "eingeloggten" Seite landet, die du wahrscheinlich siehst.

Danach können wir uns um die Daten kümmern, die du abgreifen (scrappen) möchtest. Doch vorher erstmal der Login.

Ich habe sowas schon einige Male gemacht, daher kein riesen Akt, doch ich benötige Credentials 😁 .
Falls der OpenID Connect flow ein unüblicher ist, wird es komplizierter (zumindest für mich).

Das Ganze würde ich dann in bash/shell und AutoIt aufteilen, anstatt über die WinHTTP zu gehen, da hier mit Cookies gearbeitet werden muss.

Nicht alle Parameter brauchen wir dann, aber einige

Code

https://login.fronius.com/authenticationendpoint/login.do
?client_id=mf_o9iTAyKemNLQTa6Sp6HYonCIa
&commonAuthCallerPath=%2Foauth2%2Fauthorize
&forceAuth=false
&nonce=638927594827919966.OTY0ZTBiMjEtOWNlOC00NjhlLWE2NzktZjg1MmMyNzFmYWMyNGIyMDYyNjktOTUyNS00NmZhLWFiMjEtYmIzZmVlNmU0NzFh
&passiveAuth=false
&redirect_uri=https%3A%2F%2Fwww.solarweb.com%2FAccount%2FExternalLoginCallback
&response_mode=form_post
&response_type=code+id_token
&scope=openid+profile+solarweb+solweb_browserid_dab8e5a11388a82a73864718098bb87f
&state=OpenIdConnect.AuthenticationProperties%3DYJvfhtbK35iRQnPx6YBi9aJZT-LD-V83rvbIxZcxi6ysyiVWTPTEcbRjXBxvv-MB-If_NVHxRbQkM_-AlJmHmaxG09CQOEaag0KjNdnzGdRnIju9fQt-QOczfFHKAjlNlKyZL8AczTzi15AaIs8HM8NWCv-YbBRPZ9v5y-4OY022T4Sqo9Q3ckE0seQLqTq-8B9lKnLgf-thimJQzo79Rafm99ydsmdDoK2wnPM-GJbsolHD6V4IyrrI2qyHstBSrAESoRzrRAe93XcGMEjTNyx379K7aqFfnMJwvw97lpMxAG_Ew50_GhnyCPcwnW8twheqCpno1BEVTMIcVW1b86pkvEo
&tenantDomain=carbon.super
&x-client-SKU=ID_NET472
&x-client-ver=8.0.2.0
&sessionDataKey=f1ef66ce-68bb-482e-b018-2e9901eefa8f
&relyingParty=mf_o9iTAyKemNLQTa6Sp6HYonCIa
&type=oidc
&sp=Solar.web+-+Portals
&isSaaSApp=false
&authenticators=SAMLSSOAuthenticator%3AFronius+Login%3BFroniusBasicAuthenticator%3ALOCAL

Alles anzeigen

Viele Grüße
Sven

**Tweaky**

Hm,
ich habe einen Test Account erstellt.
Der Link der Anlage ist eine Demo-Anlage.
Leider funktioniert dort der Test Account nicht.

Wenn man auf https://www.solarweb.com/ "Demo ansehen" braucht man seltsamerweise keinen Account

**SOLVE-SMART**

Wenn es egal ist, ob die Daten die dein Bekannter herunterladen möchte, innerhalb von < 5 sec heruntergeladen oder < 2 min, dann können wir auch den WebDriver Weg gehen. Doch auch da, müssen wir erstmal am Login vorbei.

Ich kann dir das Template bis zum Login bereitstellen, dann kannst du bei dir testen und dann kommt der zweite Schritt, die eigentlichen Daten holen. Dafür müssten wir wahrscheinlich mal zusammen drauf schauen, wenn es zügig gehen soll. Denn ansonsten schicken wir etliche Screenshots usw. hin und her, was mühsig ist.

Wenn du magst und sonst keiner eine schnellere oder einfacherer Lösung hier haben sollte, schreibe mich gern mal per Direktnachricht an.

Ich bin ab heute Abend wieder am Rechner.

Viele Grüße
Sven

**Tweaky**

2 min ist etwas zu lang.

Mit welchem Winhttp-Befehl loggt man sich ein?

**SOLVE-SMART**

Zum einen war das nur eine "Etwa-Angabe" mit den 2 min, da ich nicht weiß wie viel Daten durch den WebDriver gezogen werden müssen, zum anderen weiß ich nicht wie viel navigiert werden muss usw.
Es kann auch in 30 sec oder schneller abgeschlossen sein.

Zu deiner Frage: Es gibt nicht "den einen" WinHTTP Befehl mit dem du dich einloggst. Du musst das Login Verfahren (Authentifizierung via OpenID Connect flow) beachten. Das werden mehrere GET/POST requests mit Cookie- und Header-Verwendung sein. Doch auch dies sind Annahmen. Zwar ziemlich Sichere, doch das wird sich zeigen wie der Anbieter/Server es verwendet.

Ohne Zugangsdaten wird das so oder so nix, außer du willst dich via WebDriver (ich wechsle wieder den Kontext) an den offenen Browser hängen, in dem die Session und damit der erfolgreiche Login bereits besteht. Auch dies erfordert die Credentials einmalig.

Sind das wirklich vertrauliche Daten? Wenn du mir die Daten zukommen lässt, kann ich herum experimentieren. Doch dies erfordert natürlich vertrauen, dass verstehe ich.

Viele Grüße
Sven

Nachtrag: _WinHttpSimpleSSLRequest ist schon okay, nur musst du die richtigen Parameter und Werte übergeben, die findest du aber nicht so einfach. Daher der Hinweis zu Cookies und Header. Einfacher wird wahrscheinlich der WebDriver Weg sein.

**SOLVE-SMART**

WebDriver Beispiel/Variante (6 Sek.).
HTTP-Request-Variante (OIDC) geht sicher schneller, aber auch ggf. komplexer.

Hier zunächst der Login (mit dummy Daten, daher kein erfolgreicher Login).

GitHub - sven-seyfert/autoit-webdriver-boilerplate at fronius-pv-anlage

The project "autoit-webdriver-boilerplate" can be used as quick entry point for the awesome "au3WebDriver" project by @Danp2 (and @mlipok).…

github.com

Was musst du tun/anpassen, nachdem du "Download ZIP" gemacht hast.
Oder du clone'st das Repo., wenn du über Git gehen willst.

Screenshot 1.png, Zeile 38 (und bei Bedarf 39) anpassen
Screenshot 2.png, Zeile 7 Login Daten (und bei Bedarf anpassen
Screenshot 3.png, dient nur dem Verständnis was beim Login passiert (Überraschung 😆)
Screenshot 4.png, dient nur dem Verständnis wie man an die HTML Elemente mit XPath heran kommt

What's next?
Sobald du bestätigst, dass es klappt bei dir Tweaky , können wir die PV-Anlage Daten aufspüren und extrahieren, je nach Bedarf deines Bekannten. Dazu bitte Kontaktaufnahme via Direktnachricht.

Viele Grüße
Sven

🖼 Screenshots

Do you like it? Give the project a ⭐ Star.

**Moombas**

Blöde Frage, warum nicht die API verwenden?

📈 Solar.web Query API - REST API

Solar.web Query API eine REST API für Gewerbe & Industrie. Ermöglicht automatisierten Datenaustausch zwischen zwei Applikationen. 👉 Mehr erfahren

www.fronius.com

Edit: Ach, ich sehe gerade, das das leider nciht kostenfrei möglich ist (pay per use) -.- also damit fällt meine Frage wohl flach

**Moombas**

Achja btw, für mich auch nicht ganz uninteressantes Thema, denn wir bekommen eine neue PV Anlage aufs dach, auch mit einem Fronius WR

**BugFix**

Ich weiß nicht, wie das bei Fronius ist. Allgemein hat man doch aber problemlos im lokalen Netz Zugang zu den Daten.

Mal als Idee: Wie wärs da mit einem eigenen Mini Web-Server (Arduino), da kannst du den Zugang nach eigenem Gusto regeln.

**Gun-Food**

Datenpakete	Datenpunkte/Monat	Kosten / Monat
Basic*	1 - 500.000	40,00 €
Small	500.001 - 2.500.000	150,00 €
Medium	2.500.001 - 10.000.000	380,00 €
Large	10.000.001 - 30.000.000	520,00 €
Advanced	30.000.001 - 60.000.000	750,00 €
Pro	> 60.000.000	1.200,00 €

Die Preise sind ja schon dreist...

**Moombas**

Zitat von Gun-Food

Datenpakete Datenpunkte/Monat Kosten / Monat
Basic* 1 - 500.000 40,00 €
Small 500.001 - 2.500.000 150,00 €
Medium 2.500.001 - 10.000.000 380,00 €
Large 10.000.001 - 30.000.000 520,00 €
Advanced 30.000.001 - 60.000.000 750,00 €
Pro > 60.000.000 1.200,00 €
Die Preise sind ja schon dreist...

Wo hast du die denn gefunden? hab versucht das herauszufinden aber nur die Tabelle mit den Datenpunkten (ohne Preise) gefunden...
Aber 40€/Monat frisst mal eben deinen "Gewinn" der Einspeisung ggf. mehr als auf...

Das erinnert mich an das Webmodul von unserer Wärmepumpe (Nibe), das war (zumindest vor ~10 Jahren) auch kostenpflichtig...

**Gun-Food**

Die Preise findet man, wenn man sich als Firma bei denen registrieren will. Dann bekommt man das Bestellformular und das hat die Preise dann drin.

Basic hat nen Stern, weil es bis Juli2023 noch kostenlos war....

Die Preise gelten ausschließlich für Firmen und sind zuzüglich Mehrwertsteuer.

**Tweaky**

SOLVE-SMART

Puh ist doch etwas zu komplex für mich.
Benutzerdaten können nicht rausgegeben werden.

Vielleicht komme ich später nochmals auf das Thema zurück.
Danke trotzdem

**SOLVE-SMART**

Hmm, na schön Tweaky , dann ist es so. Ich glaube zwar das du dir es schlimmer vorstellst als es ist, da ja nach dem Login wahrscheinlich "nur noch" das Daten abfischen kommt und fertig, doch ohne adaquaten Zugang (oder Simulation etc.) ist es schwierig, stimmt.

Wie auch immer, komme jederzeit gern auf mich zu, wenn du einen erneuten Anlauf mit OIDC oder WebDriver starten möchtest 🤝 .

Viele Grüße
Sven

**Moombas**

Mal nebenbei Tweaky.

Hast du mal versucht ob du aus folgendem Link informationen bekommst?
http://ipvomfronius/solar_api/v1/GetMeterRealtimeData.cgi?Scope=System

Quelle: https://homematic-forum.de/forum/viewtopic.php?t=24675

**Tweaky**

Also so ich es verstanden habe kann man über api immer nur aktuellen Daten anzeigen lassen.
Tageswerte gehe so wie ich es sehe leider nicht.

gmmg

Tweaky, dann hättest du sicherlich die Möglichkeit die Daten zyklich in eine DB zu schreiben. Und daraus dann einen Report zu erstellen.