Webseiten ansprechen im Hintergrund

sklaim

Hallo! Nun hab ich schon wieder ein Problem, diesmal aber etwas komplexer :).

Ich habe jetzt gefühlte 20 Stunden im kompletten www gesucht und finde einfach nichts, wirklich gar nichts, brauchbares.

Mein Problem lässt sich anhand eines Beispiels erklären:

Ich möchte http://www.google.de/ im Hintergrund, also "unsichtbar" aufrufen. Dabei ist es mir vollkommen wurscht welcher Browser dafür zuständig ist. Dann möchte ich die "Suchzeile" ansprechen, also fokussieren, um dann einen Text hineinzuschreiben. Anschließend soll auf den Button geklickt werden zum suchen.

Was ich bis jetzt kann:
- Ich schaffe es ein sichtbares Fenster zu öffnen, bei dem die einzelnen Inputs etc. angesprochen werden.
- Ich kann einen Text senden mithilfe des Send() Befehls.
- Ich kann auf den Button klicken.

Problem:
- Das ganze funktioniert nicht mit einem unsichtbaren Fenster
- Der Benutzer kann währenddessen nichts machen, da die Felder immer fokussiert sein müssen damit der Send() Befehl an die richtige Stelle geht
- Auf dynamischen Seiten kann ich die einzelnen Inputs, Buttons etc. erst gar nicht ansprechen, bzw. fokussieren. Auch wenn ich die ID kenne...

Und desweiteren kriege ich es einfach nicht hin mir simple Informationen von Webseiten auszulesen. Es muss doch irgendwie möglich sein zum Beispiel den Börsenkurs eines Unternehmens oder so mithilfe bestimmter Webseiten einfach auslesen zu können. Ich verstehe einfach nicht wie das gehen soll...

Ich bin für jede Hilfe dankbar. Falls ich etwas nicht klar genug dargestellt habe schreibt es einfach. Im Wesentlichen habe ich mehrere Probleme wie man sieht :). Ich bin einfach zu verzweifelt gerade, hab zu lange gegoogelt .

**chip**

Einfach die _IE Funktionen von Autoit nutzen. Da kannst du bei _IECreate sagen, dass das Fenster nicht sichtbar sein soll.

PuReIroNie

Man kann auch direkt via URL nach den Schlagwörtern suchen:
Beispiel: https://www.google.de/#q=Text mit Leerzeichen
Zu beachten, ein "+" dient auch als Leerzeichen.

Edit.:

Wenn es aber nur darum geht Börsenkurse auszulesen würde ich lieber die Google Finance API oder die von Yahoo nutzen.
Ich kenn mich nicht gut mit den Börsengeschichten aus aber hier mal ein Beispiel:

http://finance.yahoo.com/d/quotes.csv?s=MSFT&f=snat1

gibt folgendes aus:

Zitat

"MSFT","Microsoft Corpora",37.29,"4:00pm"

Diese Daten kann man einfach mit RegExp oder StringSplitt verarbeiten.

**alpines**

Alternativ kann man auch TCP verwenden, das ist ein wenig aufwendiger aber deutlich schneller.

sklaim

Ja danke, aber das kann ich schon. Das Problem ist wenn es nicht sichtbar ist funktioniert Send() und so nicht mehr. Also bringt es mir rein gar nix^^...

PainTain

Schau dir doch mal alle _IE_... Funktionen an.

[autoit]

_IENavigate

[/autoit]

ist denke ich ein guter Anfang

sklaim

Tut mir leid, mir wurde gerade nur chip's Antwort angezeigt :D.

Also ehrlich gesagt sind die IE Funktionen *Müll*. Bringt einfach nix.

@PuReIroNie Meine Frage bezieht sich aber leider nicht nur auf Google sondern allgemein Und da geht das nicht immer so einfach. Trotzdem danke!

alpines Das interessiert mich jetzt, wie genau würde das denn grob gehen?

**alpines**

Na ist doch ganz einfach, dein Browser sendet ein HTTP Packet über TCP an den Webserver. Dieser antwortet dann und sendet je nach Packet die entsprechende Datei.
Folgendes Beispiel:

[autoit]

;Browser -> WebServer

[/autoit][autoit][/autoit][autoit]

GET /index.html HTTP/1.1
Host: http://www.deine-domain.de
User-Agent: myUserAgent1
Connection: keep-alive

[/autoit][autoit][/autoit][autoit]

;============

[/autoit][autoit][/autoit][autoit]

;WebServer -> Browser

[/autoit][autoit][/autoit][autoit]

HTTP/1.1 200 OK
Server: nginx
Date: Tue, 31 Dec 2013 00:22:39 GMT
Content-Type: text/html;
Transfer-Encoding: chunked
Connection: keep-alive

[/autoit][autoit][/autoit][autoit]

<html> .....

[/autoit]

Statt den Browser zu nutzen reduzierst du alles auf die einzelnen Pakete die zum Server schickst und schon hast du einen erheblichen Geschwindigkeitszuwachs.

Und Anfragen stellen kannst du so machen:

[autoit]

TCPStartup()

[/autoit][autoit][/autoit][autoit]

$sServer = InputBox("Server", "Bitte Website angeben (autoit.de")

[/autoit][autoit][/autoit][autoit]

$hServer = TCPConnect(TCPNameToIp($sServer), 80)
If $hServer = -1 Then Exit

[/autoit][autoit][/autoit][autoit]

Local $sGetPacket = "GET / HTTP/1.1" & @CRLF & _
"Host: " & $sServer & @CRLF & _
"Connection: keep-alive" & @CRLF & @CRLF

[/autoit][autoit][/autoit][autoit]

TCPSend($hServer, $sGetPacket)

[/autoit][autoit][/autoit][autoit]

Local $sHTML = ""

[/autoit][autoit][/autoit][autoit]

Do
$sHTML &= TCPRecv($hServer, 2048)
Until StringInStr($sHTML, "</html>")

[/autoit][autoit][/autoit][autoit]

TCPCloseSocket($hServer)
TCPShutdown()

[/autoit][autoit][/autoit][autoit]

FileWrite($sServer & "_quelltext.html", $sHTML)

[/autoit]

PainTain

Alternativ zu TCP kannst du auch WinHTTP nehmen:

[autoit]

$sURL = "http://www.autoit.de"

[/autoit][autoit][/autoit][autoit]

$oHTTP = ObjCreate("WinHttp.WinHttpRequest.5.1")
$oHTTP.Open("GET", $sURL, False)

[/autoit][autoit][/autoit][autoit]

$oHTTP.Send("")
$sReturn = $oHTTP.ResponseText

[/autoit][autoit][/autoit][autoit]

; ConsoleWrite($sReturn & @CRLF)
FileWrite("index.html", $sReturn)

[/autoit]

Alle Methoden u. Properties zum WinHttpRequest-COM-Object findest du hier.

**alpines**

TCP ist schneller

**AspirinJunkie**

InetRead ist noch schneller - und nu?

Mal ein Beispiel um schnell und simpel an die aktuellen Kurse zu kommen:

[autoit]

$s_Kurse = BinaryToString(InetRead("http://finance.yahoo.com/d/quotes.csv?s=AAPL+GOOG+MSFT+%5EGDAXI&f=nl1"))
MsgBox(0,"", $s_Kurse)

[/autoit]

Prinzipiel ist man bei der Yahoo Finance API sehr frei was die Formatierung und mögliche Werte angeht. Alle gewünschten Einstellungen werden direkt in der URL eingetragen. (>>hier mal ein Einstieg<<)

**alpines**

Hatten wir diese Diskussion nicht schon mal?
INetRead ist in mehreren Fällen schneller aber nich bei Einzelfällen.

**AspirinJunkie**

Inetread macht im Hintergrund nichts anderes als einen solchen TCP-Request durchzuführen. Allerdings muss das nicht mehr durch den Interpreter sondern liegt bereits in Maschinencode vor. Des Weiteren kann man bei Mehrfachanfragen Caching nutzen. Viel wichtiger ist jedoch: Es ist viel simpler.

Wenn nun also ein Anfänger eine Frage stellt wie er Inhalte per URL von Webseiten bekommt - was geben wir ihm am besten für einen Tipp?:

Einen 15-Zeiler TCP-Request bei dem der User ohne Hintergrundwissen zum größten Teil nicht versteht was der Code überhaupt macht.
EInen Zweizeiler per Inetread bei dem der User lediglich die URL eintragen muss und der (Zitat alpines: ) "In mehreren Fällen schneller ist"

**alpines**

Ist trotzdem schneller Aber okay.

PainTain

Zitat von AspirinJunkie

Inetread macht im Hintergrund nichts anderes als einen solchen TCP-Request durchzuführen. Allerdings muss das nicht mehr durch den Interpreter sondern liegt bereits in Maschinencode vor. Des Weiteren kann man bei Mehrfachanfragen Caching nutzen. Viel wichtiger ist jedoch: Es ist viel simpler.

Wenn nun also ein Anfänger eine Frage stellt wie er Inhalte per URL von Webseiten bekommt - was geben wir ihm am besten für einen Tipp?:

Einen 15-Zeiler TCP-Request bei dem der User ohne Hintergrundwissen zum größten Teil nicht versteht was der Code überhaupt macht.

EInen Zweizeiler per Inetread bei dem der User lediglich die URL eintragen muss und der (Zitat alpines: ) "In mehreren Fällen schneller ist"

Und für POST-Request kann man dann ja WinHTTP nutzen (was nun eigentlich auch nicht unbedingt komplex ist, sind ja meist nur 4-5 Zeilen).

**AspirinJunkie**

Zitat von alpines

Ist trotzdem schneller Aber okay.

Kann jeder selbst testen (Dein Beispiel):

Vergleich TCP-Inetread

[autoit]

Global Const $N = 10 ; Anzahl der Messwiederholungen

[/autoit] [autoit][/autoit] [autoit][/autoit] [autoit]

$iT = TimerInit()
For $i = 1 To $N
$sServer = "autoit.de"
TCPStartup()
$hServer = TCPConnect(TCPNameToIP($sServer), 80)
If $hServer = -1 Then Exit

[/autoit] [autoit][/autoit] [autoit]

Local $sGetPacket = "GET / HTTP/1.1" & @CRLF & _
"Host: " & $sServer & @CRLF & _
"Connection: keep-alive" & @CRLF & @CRLF

[/autoit] [autoit][/autoit] [autoit]

TCPSend($hServer, $sGetPacket)
Local $sHTML = ""
Do
$sHTML &= TCPRecv($hServer, 2048)
Until StringInStr($sHTML, "</html>")

[/autoit] [autoit][/autoit] [autoit]

TCPCloseSocket($hServer)
TCPShutdown()
Next
$iT = TimerDiff($iT)
ConsoleWrite(StringFormat("% 10s:\t%7.3f ms\n", "TCP", $iT / $N))

[/autoit] [autoit][/autoit] [autoit][/autoit] [autoit][/autoit] [autoit]

$iT = TimerInit()
For $i = 1 To $N
$sHTML = BinaryToString(InetRead("http://www.autoit.de", 1))
Next
$iT = TimerDiff($iT)
ConsoleWrite(StringFormat("% 10s:\t%7.3f ms\n", "InetRead", $iT / $N))

[/autoit]

**alpines**

Dann hättest du es dir mal korrekter durchlesen sollen, ich sagte das es in Einzelfällen schneller ist.

**AspirinJunkie**

Durchaus. Ich antwortete lediglich auf deinen nachfolgenden Post in dem du sagtest, dass dein TCP-Variante trotzdem schneller sei.

James · AutoIt Version (Prod): 3.3.14.2

Zitat von alpines

ich sagte das es in Einzelfällen schneller ist.

Die Frage ist doch: Wen interessiert das?
Du solltest das Verhältnis zwischen deinem Aufwand und dem daraus resultierenden Nutzen im Auge behalten. Wenn du fast 20x so viele Zeilen brauchst für etwas, was in Einzelfällen schneller (im Sinne von "für Menschen nicht wirklich wahrnehmbar schneller") ist, dann hast du dir die ganze Arbeit sozusagen umsonst gemacht. Programme optimieren zu wollen ist ja schön und gut, aber man muss auch lernen Grenzen zu ziehen.

**alpines**

Stimmt auch wieder, man kann das ja aber in eine Funktion packen dann ist es weniger aufwändig.
Aber sicherlich ist es besser als Anfänger InetRead + BinaryToString zu nutzen.