Mehrere Seiten gleichzeitig unsichtbar öffnen (ca.20)

Hallo zusammen,
1. Ich möchte mit dem IE ($oIE) mehrere Seiten gleichzeitig, bzw in kurzem Abstand öffnen.
2. Dann warten bis bestimmte Dateien, (deren jeweiliger Dateiname einen bestimmten String enthält) in den temporären Internet Dateien gelandet ist. Dann sollte sich diejenige Seite/Tab wieder schliessen
(2. wäre nicht ganz so wichtig, aber nett zu haben)
3. Sollen dann die Dateien aus dem Cache an einen anderen Ort kopiert werden (nicht so kompliziert), (und nach Links durchsucht werden, komplizierter)
Letzteres mache ich bisher per "egrep" unter Cygwin,

egrep -o -h 'http://[^"]*' /home/xxx/datei >> /home/xxx/neue_Datei.txt

denke aber, das Autoit eine ähnliche Funktion enthalten wird..
Bisher bin mehr oder unelegant vorgegangen und zwar so:

#include <IE.au3>
ProcessClose("iexplore.exe")
Sleep(500)
Run("RunDll32.exe InetCpl.cpl,ClearMyTracksByProcess 8") ;leert zuerst den cache
$oIE = _IECreate("seite1.com/test", 0, 0)
$oIE = _IECreate("seite2.com/test", 0, 0)
$oIE = _IECreate("seite3.com/test", 0, 0)
ProcessClose("iexplore.exe")

So landen dann auch die gewünschten Dateien im Cache (der zuerst geleert wird).
Es werden natürlich auch diverse iexplore Prozesse gestartet, zwar unsichtbar, aber immerhin.
Das geht doch mit Sicherheit eleganter..;)

Zitat

Ganz einfach würde es statt mit WinHttp & co auch mit InetRead / InetGet gehen - sogar gleichzeitig.
Da alle 4 textbasiert sind, sparst du dir auch das laden von Werbung, Bildern, Flash, JavaScript, Videos usw - du bekommst nur den Quelltext der Seite zurück

Tja, so einfach ist es nicht, ansonsten hätte ich mir ein kleines Shell Script gebastelt und die Seiten mit CURL/Wget geladen.
Kurze Erklärung: Beim laden der Seite mit FF/IE (Authentifizierug notwendig), wird dynamisch ein Link generiert, der eine zeitbegrenzte Gültigkeit hat. Eine kleine Datei wird dabei im Cache gespeichert, aus der man diesen Link auslesen kann. Im Quelltext ist er nicht enthalten.
Also Quelltext auslesen fällt weg!
Und der IE aus dem Grund, weil dort die entsprechenden Dateien sehr einfach im Cache zu finden sind. Beim FF werden sie umbenannt und sind damit nutzlos.
Fazit: Es geht nur so, wie ich es beschrieben habe...(zudem beim Aufruf der Seiten noch "X-forwarded-for" gesetzt sein muss und die ganze Geschichte noch zusätzlich über TOR läuft...)
Kann man nicht, den IE nur einmal laden, und die ganzen Seiten in Tabs?

Zitat

1
StringRegExp

Hab ich schon gefunden.
Ist aber mehr oder weniger eine Auflistung/Erklärung der versch. Regular Expressions.
Meine Syntax ist schon ok, funktioniert z.B. auch zuverlässig in Notepad++
Ein kleines Beispiel, das den obigen egrep Aufruf umsetzt und das gefundene, in eine Datei schreibt, bzw. es an diese anhängt, wäre nett. Der Rest ist schon nervig genug..
thanks im voraus

SO,
ich habe jetzt mal alles durchprobiert und es funktioniert auch irgendwie....
Das Problem ist aber, erstens dauert es sehr lange und zweitens laden die Seiten ewig weiter, und da sie Flash-Movies beinhalten, ist die Bandbreite recht schnell verbraucht. Zudem sind seit neuestem weitere Seitenaufrufe geblockt, solange ein Movie läuft..
ABER: nach längerem hin und herüberlegen und probieren, hab ich festgestellt, daß es reichen würde, wenn man die einzelnen Links nacheinander aufruft.
Mit anderen Worten so:
Zuerst die Hauptseite aufrufen, warten bis die geladen ist (30 Sekunden) und dann auf dieser Seite nacheinander die Links aufrufen. Quasi das anklicken simulieren. (Adressen sind bekannt)
Also zuerst http://hauptseite/ link1..dann ca . 20 Sekunden warten, http://hauptseite/Link2 "anklicken" usw.
Ich habs auch mal so probiert:

#include <IE.au3>
$oIE = _IECreate("http://abc.com", 0, 1, 0) ;das ist die Homepage
Sleep(30000)

;Link1
Send("^t") ;neuen Tab öffnen
Send("http://abc.com/view#abc1") ;internetseite angeben
Send("{ENTER}") ;enter
Sleep(15000) ;warten
Send("^w") ;Tab schließen

Sleep(1000)

;Link2
Send("^t")
Send("http://abc.com/view#abc2")
Send("{ENTER}")
Sleep(15000)
Send("^w")

Sleep(1000)

Funktioniert allerdings nur solange das Fenster den Fokus behält....
Zweitens werden die Links in dem Format: "view#abc2" als "viewabc2" übermittelt, also unbrauchbar.
Den Rest, das kopieren und auslesen, habe ich mittlerweile hinbekommen. es geht also nur noch um den Seitenaufruf

Zitat

Wo wird was übermittelt? Redest du von den Links in dieser Cache Datei? Wenn ja musste halt noch bei jedem Link ein

nein, wenn wie im obigen Beispiel

Send("http://abc.com/[color=#ff0000]view#abc1[/color]") geschickt wird, erhält der IE nur http://abc.com/[color=#ff0000]viewabc1[/color]

Aber egal, da diese Methode nichts taugt.
Separate Authentifizierung ist nicht nötig, erledigt der Browser automatisch.
Separate Fenster/Tabs funktioniert auch nicht mehr, da alle anderen geblockt sind, sobalt das erste Fenster/Tab, die Authorisierung erhalten hat! (ging aber mal)
Dh: Entweder müssen die Fenster ein nach dem anderen geöffnet und geschlossen werden (funktioniert, aber saulahm), oder am besten Mausklicks auf die entsprechenden Links simuliert werden.
Wenn ich die Links manuell anklicke, habe ich die gewünschten Dateien nämlich innerhalb von 5-10 Sekunden pro Link. Bei der Seite handelt es sich um Zatt** Schweiz.
Ein entsprechender Link sieht so aus. (Mit Firebug ermittelt):

<li class="zapper_prosieben">
		<span class="channel-search"></span>
		<a class="name" href="/view/prosieben" onclick="playercontroller.switchMetachannel('prosieben', 'zapper'); return false;">
			<img src="/static/images/black.jpg" original="/static/images/channels/b_42x24/Pro7.png" alt="Pro7 Schweiz" />
			<div class="updatable_content">
			<span class="now-showing">

			</span>
			<span class="next-showing"><span class="next">next:</span>

			</span>
			</div>
		</a>
	</li>

Zitat

Öhm naja wie gesagt verwende doch _ienavigate:

Dein Beispiel mit google, heise etc. funktioniert.
Bei meinen gewünschten Seiten, wird jedoch nur die erste geladen. Ich vermute mal wegen der Flash-Livestreams.

$myIE = _IECreate()
_IENavigate($myIE,"zattoo.com/view#rtl")
Sleep(1000)
_IENavigate($myIE,"zattoo.com/view#prosieben")
Sleep(1000)
_IENavigate($myIE,"zattoo.com/view#ard")
Sleep(1000)

In der IE Eingabezeile, werden die anderen beiden zwar kurz angezeigt, aber nicht geladen
EDIT: mir ist gerade was seltsames aufgefallen...
Wenn z.B.: die Seite "zattoo.com/view#rtl" geladen ist, und ich paste "zattoo.com/view#prosieben" in die Eingabezeile und drücke "Enter", wird die Seite ebenfalls nicht geladen . Nur wenn ich F5 drücke, oder den "aktualisieren" Button anklicke.
Was ist das denn nun wieder? IE9

Das funktioniert bei mir nicht, es wird Zattoo aufgerufen und dann gehts nicht weiter. Hatte ich aber auch schon ausprobiert. Liegts vielleicht am IE9?

Zitat

Ich vermute du willst an die Stream Links rankommen um sie jederzeit auch extern nutzen zu können?

Richtig, ich habe mir eine kleine Batch geschrieben, über die ich die Programme im externen Programm (TvBrowser) umschalten und mit VLC abspielen kann. Und damit den unsäglichen Flash Mist loswerden kann.

Würde das channel switching vielleicht mit FF einfacher gehen? Man könnte FF im Debug-Modus starten, dann landet eh alles in einer .log Datei. Die Logdatei mit grep auslesen...fertig
Habe ich allerdings erst vor kurzem gefunden, daher meine vorherigen Versuche mit dem IE

Ich habs jetzt mal mit der FF.au3 probiert, automatisches Link klicken funktioniert damit leider auch nicht.
Hmm, scheint also keine Möglichkeit zu geben, die zattoo links automatisch "anzuklicken"
Schade eigentlich

erstmal danke für eure Antworten, aber ich habs aufgegeben.
Nach einigem testen, wäre das interessante an Autoit, das automatische anklicken von Links gewesen, ohne ein neues Fenster/Tab zu öffnen. (zu lange Ladezeiten)
Das habe ich aber weder mit IE.au3 noch FF.au3 hinbekommen...
Von daher ist der Thread-Titel jetzt eigentlich nicht mehr passend.
Vielleicht eröffne ich einen neuen Thread.