FF.au3 Seiteninhalt auslesen

AutoTim

Hallo Forum,

ich versuche mich zum ersten mal mit FF.au3. Der aktuellen Version direkt von der Website von http://www.thorsten-willert.de/.

Firefox ESR und die UDF funktionieren. Nur weis ich nicht welche Funktion mir den Inhalt der Website zurückliefert, so wie ich diese sehe.

Zurück bekomme ich mit _FFReadHTML den Qualltext. Das Problem hierbei ist, das der Quelltext (rechtsklick Seitenquelltext anzeigen) nicht das gleiche ist, als würde ich Ihn über den Firefox Inspektor auslesen.

Der FF Inspektor enthällt alle Informationen. Der Quelltext fast nichts brauchbares.

Welche Möglichkeit gibt es den "echten" Websiteinhalt auszulesen?

Grüße

Tim

olfibits

Du möchtest also nicht den Quelltext, sondern den Seiteninhalt - sehe ich das richtig?

**alpines**

Zitat von AutoTim

Zurück bekomme ich mit _FFReadHTML den Qualltext. Das Problem hierbei ist, das der Quelltext (rechtsklick Seitenquelltext anzeigen) nicht das gleiche ist, als würde ich Ihn über den Firefox Inspektor auslesen.

Der FF Inspektor enthällt alle Informationen. Der Quelltext fast nichts brauchbares.

Das liegt daran, dass du im Browser den DOM-Explorer verwendest und das ist der bereits verarbeitete Code.

AutoTim

Vielen Dank für Eure Antworten.

Ja genau. Danke Alpines, endlich bekommt das Kind einen Namen.

Den Inhalt des DOM Explorers würde ich gerne auslesen, nicht den Seitenquelltext.

Grüße

Tim

NO1 :-)

Ich weiß jetzt nicht wirklich, welche Infos du genau bekommen willst, aber vielleicht handelt dieser Thread ja von deinem Problem...

--> Parse HTML String width DOM

Da bekommst du halt den reinen HTML Code und die Styles (extra)... oder magst du für jedes Element auch gleich den Style mitgeliefert bekommen?

**Stilgar**

Hallo,

_FFReadHTML liefert nur den Original Quelltext.

Um das "Ergebnis" vom Browser zu bekommen kannst Du z.B. folgendes machen:

Code

$s = _FFXPath("/html/body/", "textContent", 9)

(siehe auch Dokumentation)

Falls Du nur wirklich den Quelltext zerlegen möchtest geht das auch mit der _HTML.au3, ähnlich wie die von NO1 :- genannte _ParseTags-Funktion

AutoTim

Hallo NO1,

danke für deine Antwort. Ich habe noch das Problem den Quelltext von der angezeigten Website zu bekommen, da der Inhalt dynamisch nachgeladen wurde. Zerlegen kommt danach Ich denke da wird StringRegEx mein Freund sein

Stilgar, danke für den Tip mit _FFXPath, leider bekomme ich immer nur 0 zurück. Ich muss gestehen ich bin trotz der englischen Doku etwas überfordert, da mir viele Begriffe unbekannt sein

Mit folgenden bekomme ich den Inhalt der body tags des quelltextes. Also des statischen Quelltextest (rechte Maustaste -> Seitenquelltext anzeigen). Dort ist aber nicht der Inhatl zu finden wie ich Ihn mit dem Firefox DOM Inspector / Explorer lesen kann.

Spoiler anzeigen

$s = _FFXPath("/html", "textContent", 9)

Leider sind das aber die gleichen Daten die ich mit _FFReadHTML bekomme.

**Stilgar**

Hast Du einen Link zu entsprechenden Seite?

NO1 :-)

Meinst du mit "dynamisch nachgeladen" onload, das heißt, dass einmalig die Seite für dich dynamisch erstellt wird oder wird diese ständig aktualisiert?

timee000

Ich glaube er sucht einfach eine Möglichkeit "die Seite so auszulesen wie man sie fertig sieht".

Also nicht den Quelltext sondern auch die Elemente die vielleicht nachträglich nach dem Laden der Website von Javascript eingefügt/aktualisiert wurden.

Wie oben schon erwähnt den DOM. (Bei Chrome -> Rechtsklick -> Untersuchen)

Habe mich allerdings noch nie mit der FF.au3 beschäftigt.

Ich kenne nur _IEPropertyGet oder _IEGetObjById mit denen du es über den Internet Explorer realisieren könntest.

NO1 :-)

Oh okay... ja das wird dann echt etwas schwierig, weil einfache HTTP-Anfragen (InetRead, WinHTTP) immer den statischen Quelltext zurückgeben, heißt der "Standard-Quellcode", der für jede Plattform gleich ist... die Seite wäre natürlich echt hilfreich... vll kann man die Daten auch über TCP abfangen, aber dann muss man mit dem Server kommunizieren und ich denke es geht bestimmt leichter... Naja wir wissen echt wenig über die Seite... muss man sich anmelden? Wird der Inhalt aktualisiert? Usw....

**Bitnugger**

Schau mal hier... evtl. hilft dir das weiter...

AutoTim

Hallo hier eine Beispielwebsite: http://wikimapia.org

Der Seitenquellcode enthällt keinerlei Informationen über die möglichen Menüpunkte oben links. Im DOM Explorer finde ich die Informationen und könnte den Text parsen.

timee000 wenn es im Internetexplorer einfacher geht als im Firefox wäre das auch ok! Leider habe ich es nicht geschafft nachgeladenen content via _IE zu bekommen.

Hiermit bekomme ich schon einmal das Erstelldatum der Seite zurück. Dies ist keine Info die im Quelltext zu finden ist. Ich habe das Beispiel $oDoc.fileCreatedDate aus der Doku. Woher kenne ich die Möglichkeit des .fileCreateDate?

C

#include <IE.au3>
#include <MsgBoxConstants.au3>

Local $oIE = _IECreate("http://wikimapia.org/")
Local $oDoc = _IEDocGetObj($oIE)
MsgBox(0, "Document Created Date", $oDoc.fileCreatedDate)

timee000

Also wenn du die Menüpunkte Bearbeiten, Kategorien und Anmelden meinst, dann kannst du diese auch im Quelltext der Seite finden.

Allerdings sind die etwas "versteckt" relativ weiten unten im Quelltext als JSON formatiert.

Einfach mal im Quelltext nach den Namen der Menüpunkten suchen und man findet sie.

Um die Elemente im DOM auszulesen geht z.B. folgendes:

Code

#include <IE.au3>

$oIE = _IECreate("http://wikimapia.org/")
$obj = _IEGetObjById($oIE, "wikimapia-top-panel")

ConsoleWrite($obj.innertext)

Ist halt am einfachsten wenn man weiß wonach man sucht. Oft haben die einzelnen Elemente eine ID wonach man diese dann ansprechen kann.

Unbenannt.jpg

AutoTim

Danke timee000 für deine Bemühung! Dein Beispiel funktioniert tadellos.

Dann war meine Vorgabe nicht gut genug. Ich habe jetzt amazon gewählt.

Die Empfohlenen Produktte wenn man sich eines ansieht, werden dynamisch nachgeladen und sind nicht im Quelltext zu finden.

Ich habe Screenshots davon gemacht. Die Info und auf den Containerinhalt mit der ID anonCarousel kann ich über _IEGetObjById nicht zugreifen, da es diese ID im Quellcode nicht gibt.

Grüße

**alpines**

Liegt das Element zufälligerweise in einem <iframe>-Tag?

timee000

Die nachgeladenen Elemente lassen sich schon mit _IEGetObjById finden allerdings ist bei Amazon das Problem das diese manchmal unterschiedlich heißen z.B. anonCarousel1 oder anonCarousel3.

Weiteres Problem ist das wenn man das Script ausführt die Seite und die Elemente zwar geladen werden aber komischerweise nicht gefunden werden.

Scrollt man allerdings nachdem sich der Internet Explorer geöffnet hat zu den Element werden die einwandfrei gefunden obwohl diese schon vorher geladen waren. Kann nicht sagen ob dies am Internet Explorer oder was anderen liegt.

Andere Möglichkeit ist sich den kompletten DOM geben zu lassen. Dort werden dann alle Elemente ausgeben. Hat bei mir wunderbar funktioniert. Auch ohne "scrollen nach dem öffnen"

Code

#include <IE.au3>

$oIE = _IECreate("https://www.amazon.de/Sweatshirt-Pullover-Kapuzenpullover-Baumwolle-Einfarbig/dp/B075WXH2TB/ref=sr_1_2_sspa?ie=UTF8&qid=1520504545&sr=8-2-spons&keywords=kapuzenpullover+m%C3%A4nner&psc=1&smid=AJF24GPENWU86")
$prop = _IEPropertyGet($oIE, "innertext")

ConsoleWrite($prop)

AutoTim

alpines - Nöp, kein iframe element zu finden. Es sind >frameset> Elemente

timee000 - Danke. Dein Script funktioniert. Aber bei der Adresse die du verwendest steht auch alles nötige im Quellcode. Da ist Kaputzenpullover auch im Quellcode zu finden. Da ist es genau so, das das Script das gleiche ausgibt wie der Seitenquelltext. Nachgeladene Elemente werden auch hier nicht geladen. Ob das etwas mit <frameset> zu tun hat?

Grüße Tim

**alpines**

Wenn deine Objekte in Frames liegen wirst du da mit _IEGetObjById (auf die IE-Instanz) nicht rankommen.

Du könntest das src-Attribut des Frames direkt aufrufen und dort dann deine _IE*-Funktionen anwenden (sofern die in frames liegen, egal ob iframe oder frame/frameset).

Ansonsten musst du mit FrameCollections arbeiten und das ist ziemlich nervig.

AutoTim

Danke alpines , dann werde ich wohl leider mit FrameCollection arbeiten müssen. Ich habe davon allerdings bis jetzt noch nie etwas gehört... Ich google das einfach mal im Zusammenhang mit AutoIt und sehe was dabei raus kommt...

Dank Tim