Text aus Homepage extrahieren

  • Hallo,
    Bisher habe ich als stiller Leser oft Anregung von Euch bekommen. Aber nun weiß ich nicht mal wonach ich mit der Suchfunktion suchen muss. :wacko:
    Ich versuche die durchschnittlichen Quoten (gelb hinterlegt) aus http://www.oddsoddsodds.com/goto/odds/s1/g965326/m1/d0/ zu extrahieren. Leider ohne Erfolg.
    Kann mir jemand einen Hinweis oder Quelle geben, wie ich das anpacken kann? Bisher habe ich es mit der IE.au3/IEBodyread versucht.

    Einmal editiert, zuletzt von GrisuDrache (29. Dezember 2010 um 20:06)

  • Zitat

    Kann mir jemand einen Hinweis oder Quelle geben, wie ich das anpacken kann? Bisher habe ich es mit der IE.au3/IEBodyread versucht.

    Das Stichwort dazu ist StringRegExp.
    Hier ein Tutorial zu dem Thema (Lesen & Durcharbeiten - nicht nur überfliegen !)
    Und da nich nicht direkt darauf verlinken darf: Wenn du nach "RegexMagic und RegexBuddy bedienen" googlest, findest du noch eine Beschreibung von mir zum Thema RegExBuddy, und erfährst wie du ein Pattern zusammenstellst.

    MfG

  • Danke euch für die schnelle Antwort.
    blubbstar
    aha nun weiß ich wenigstens das es javascript ist ...bin völlig planlos auf dem gebiet. funktioniert aber leider nicht, wie du schon vermutet hast.

    SEuBo
    entschuldige, ich habe mich wohl unverständlich ausgedrückt. die einzelteile aus dem gesamttext herauszulesen sollte ich hinbekommen. mein problem ist eher den gesamttext einzulesen

  • [autoit]

    #include <Array.au3>
    $sHTML = BinaryToString(InetRead("http://www.oddsoddsodds.com/goto/odds/s1/g965326/m1/d0/"))
    $aMatch = StringRegExp($sHTML,'Durchschnitt [^>]+>[^>]+>([^<]+)[^>]+>[^>]+>([^<]+)[^>]+>[^>]+>([^<]+)[^>]+>[^>]+>([^<]+)[^>]+>[^>]+>([^<]+)[^>]+>[^>]+>([^<]+)[^>]+>[^>]+>([^<]+)',3)
    _ArrayDisplay($aMatch)

    [/autoit]
  • Anders rangegangen aber vielleicht etwas verständlicher:

    Zahlen rausfiltern
    [autoit]

    #include <INet.au3>
    #include <Array.au3>

    [/autoit] [autoit][/autoit] [autoit]

    Global Const $s_URL = "http://www.oddsoddsodds.com/goto/odds/s1/g965326/m1/d0/"
    Global $s_Source, $a_RegExp

    [/autoit] [autoit][/autoit] [autoit]

    ; Quelltext auslesen:
    $s_Source = _INetGetSource($s_URL)
    If @error Then Exit

    [/autoit] [autoit][/autoit] [autoit]

    ; Nur den Inhalt der gelben Spalte komplett auslesen:
    $a_RegExp = StringRegExp($s_Source, '<tr.+?style="background-color: #FFF700;"(.+?)</tr>', 3)

    [/autoit] [autoit][/autoit] [autoit]

    ; Die Gleitkommazahlen aus diesem Teil extrahieren (!: es kommen Punkt und Komma als Trenner vor):
    If Not @error Then $a_RegExp = StringRegExp($a_RegExp[0], "(\d+[\.,]\d+)", 3)

    [/autoit] [autoit][/autoit] [autoit]

    ; Ergebnis anzeigen:
    _ArrayDisplay($a_RegExp)

    [/autoit]
  • Hi,
    ich hab dir mal was gemacht.

    [autoit]

    #include <Array.au3>

    [/autoit][autoit][/autoit][autoit]

    $sHTML = BinaryToString(InetRead("http://www.oddsoddsodds.com/quoten-stoke-fulham.php?sport=1&game=965326&market=1&detail=0&order=&PHPSESSID=bf51707da6c85326c762944cc697cfa1"))
    $aRet = StringRegExp($sHTML,'(?:<td>Durchschnitt\s\(%\)<\/td>)*(?:<td\salign="center">\(?(\d+[\d\.\,\s]*)\)?<\/td>)(?:<td>(\d+[\d\,\.]*)\s*%*<\/td>)*',3)
    _ArrayDisplay($aRet)

    [/autoit]

    //Edit: Zu langsam :rolleyes::D

  • habe beide versionen ausprobiert. bei beiden bekomme ich einen /ErrorStdOut-Fehler. bin gerade auf windows 7 umgestiegen. kann es daran liegen?

  • >"C:\Program Files\AutoIt3\SciTE\..\autoit3.exe" /ErrorStdOut "E:\Odds_auslesen3.au3"
    >Exit code: 0 Time: 0.716

  • Das ist kein Fehler sondern sagt lediglich mit welchen Parametern AutoIt aufgerufen wurde.
    In dem Fall wo der ErrorLog gespeichert werden soll.
    Sieht so aus als ob er Probleme beim Auslesen des Quelltextes hat.
    Probier mal nochmal das:

    Spoiler anzeigen
    [autoit]

    #include <INet.au3>
    #include <Array.au3>
    #RequireAdmin

    [/autoit] [autoit][/autoit] [autoit]

    Global Const $s_URL = "http://www.oddsoddsodds.com/goto/odds/s1/g965326/m1/d0/"
    Global $s_Source, $a_RegExp

    [/autoit] [autoit][/autoit] [autoit]

    HttpSetUserAgent("WasAnderes")

    [/autoit] [autoit][/autoit] [autoit]

    ; Quelltext auslesen:
    $s_Source = _INetGetSource($s_URL)
    If @error Then
    MsgBox(0,"Fehler", "Konnte Quelltext nicht lesen!")
    Exit
    EndIf

    [/autoit] [autoit][/autoit] [autoit]

    ; Nur den Inhalt der gelben Spalte komplett auslesen:
    $a_RegExp = StringRegExp($s_Source, '<tr.+?style="background-color: #FFF700;"(.+?)</tr>', 3)

    [/autoit] [autoit][/autoit] [autoit]

    ; Die Gleitkommazahlen aus diesem Teil extrahieren (!: es kommen Punkt und Komma als Trenner vor):
    If Not @error Then $a_RegExp = StringRegExp($a_RegExp[0], "(\d+[\.,]\d+)", 3)

    [/autoit] [autoit][/autoit] [autoit]

    ; Ergebnis anzeigen:
    _ArrayDisplay($a_RegExp)

    [/autoit]


    Das @RequireAdmin ist dazugekommen und der HTTP UserAgent wurde geändert da manche Webseiten AutoIt blocken (was aber hier nicht wahrscheinlich ist da es bei uns ja auch so klappt).

  • was aber hier nicht wahrscheinlich ist da es bei uns ja auch so klappt


    Richtig. Viel wahrscheinlicher ist, dass der Internet Explorer deinstalliert wurde.

    Zitat von InetRead Hilfe

    Internet Explorer 3 oder höher muss installiert sein, damit diese Funktion funktioniert.

    Probier's mal so (du benötigst dafür die WinHTTP.au3:(

    Spoiler anzeigen
    [autoit]

    #include <WinHTTP.au3>
    #include <Array.au3>

    [/autoit] [autoit][/autoit] [autoit]

    $sHTML = _WinHTTPReadURL("http://www.oddsoddsodds.com/goto/odds/s1/g965326/m1/d0/")
    $aMatch = StringRegExp($sHTML,'Durchschnitt [^>]+>[^>]+>([^<]+)[^>]+>[^>]+>([^<]+)[^>]+>[^>]+>([^<]+)[^>]+>[^>]+>([^<]+)[^>]+>[^>]+>([^<]+)[^>]+>[^>]+>([^<]+)[^>]+>[^>]+>([^<]+)',3)

    [/autoit] [autoit][/autoit] [autoit]

    _ArrayDisplay($aMatch)
    Exit

    [/autoit] [autoit][/autoit] [autoit][/autoit] [autoit]

    Func _WinHTTPReadURL($sURL)
    Local Static $hSession = _WinHttpOpen("Spezialagent")
    Local $aCracked, $hConnect, $hRequest, $sReturn

    [/autoit] [autoit][/autoit] [autoit]

    If StringLeft($sURL,7) <> "http://" Then $sURL = "http://" & $sURL
    $aCracked = _WinHttpCrackUrl($sURL)
    If @error Then Return SetError(1, @error, -1)

    [/autoit] [autoit][/autoit] [autoit]

    $hConnect = _WinHttpConnect($hSession, $aCracked[2], $aCracked[3])
    $hRequest = _WinHttpOpenRequest($hConnect, "GET", $aCracked[6])

    [/autoit] [autoit][/autoit] [autoit]

    _WinHttpSendRequest($hRequest)
    _WinHttpReceiveResponse($hRequest)

    [/autoit] [autoit][/autoit] [autoit]

    Do
    $sReturn &= _WinHttpReadData($hRequest)
    Until @error
    _WinHttpCloseHandle($hConnect)
    _WinHttpCloseHandle($hRequest)

    [/autoit] [autoit][/autoit] [autoit]

    Return $sReturn
    EndFunc ;==>_WinHTTPReadURL

    [/autoit]
  • Gnade! Ihr seit zu schnell für mich ;)
    Also.....ALLE versionen funktionieren! Vielen herzlichen Dank!!
    Ich habe mich ausgelogt und den IE geschlossen. danach hat es funktioniert :wacko:
    jetzt werde ich mich erst mal dem tutorium von SEuBo widmen. ich hatte keine ahnung wie mächtig
    StringRegExp ist.

    Aber wenn ihr schon in fahrt seit, gibt es die möglichkeit sich durch die einzelnen links der seite automatisiert durchzuhangeln?