Nein, die Liste in der die Source Websites sind ist 20 Zeilen. Jede Zeile ein URL.
Aber aus dieser Liste wird ja nach neuen Links geschaut.... Das können max. 30 neue links sein... und diese z.b. 30 links müssen gecheckt werden gegen eine log datei ob das neue links sind oder links sind die schon gefunden wurden.
ini oder hash?
Falls einer ne lösung hat bitte code zeigen! :wacko:
Das script lädt zeile für zeile von einem nicht sich änderten Textfile. Sind ca. 30 URLs. Auf jeder URL checkt das script ob neue links da sind. Falls ja haut er die URL in die 20 MB log datei und speichert nur die neuen gefundenen links in einer neuen textdatei.
Das Bottleneck an Zeit ist hier ganz klar das testen ob die neuen links schon in der log datei sind.
Warum benutze ich überhaupt eine log datei? Damit das Script weiss dass diese links schon besucht wurden.
Hat jemand eine Idee das schneller zu machen?
Hi Powercoder 
Ich habe hier ein kleines crawler script. Das aus einer Textdatei mit urls jede einzelne url besucht und checkt ob es neue links auf der jeweiligen url gibt. Das Skript muss ein Textfile checken ob es duplicate links gibt - das file ist im Moment 20 MB und jeden tag wirds grösser -> je grösser das textfile desto langsamer wird das ganze. hat jemand eine idee um das schneller zu machen?
#Region ;**** Directives created by AutoIt3Wrapper_GUI ****
#AutoIt3Wrapper_UseX64=n
#AutoIt3Wrapper_Res_Fileversion=0.0.0.17
#AutoIt3Wrapper_Res_Fileversion_AutoIncrement=y
#AutoIt3Wrapper_Add_Constants=n
#AutoIt3Wrapper_AU3Check_Stop_OnWarning=y
#EndRegion ;**** Directives created by AutoIt3Wrapper_GUI ****
#Include <File.au3>
#include <IE.au3>
#include <Array.au3>
#include <string.au3>
;Options
Opt("WinTitleMatchMode", 2) ;1=start, 2=subStr, 3=exact, 4=advanced, -1 to -4=Nocase
Opt("WinSearchChildren", 1) ;0=no, 1=search children also
Opt("WinTextMatchMode", 1) ;1=complete, 2=quick
Opt("WinWaitDelay", 250)
Opt("WinDetectHiddenText", 1) ;1=on
Opt("MouseCoordMode", 0)
$testurl = "www.google.de"
$sites = FileOpen("rlinksites.txt", 0)
$savepath=("rlinkurls.txt")
$temppath=("True")
$log = ("old_links_log.txt")
FileDelete($savepath)
FileDelete($temppath)
Local $hTimer = TimerInit() ; Begin the timer and store the handle in a variable.
[/autoit] [autoit][/autoit] [autoit]Sleep(5000)
[/autoit] [autoit][/autoit] [autoit]; Check if file opened for reading OK
If $sites = -1 Then
;MsgBox(0, "Error", "Unable to open file.")
Exit
EndIf
; Read in lines of text until the EOF is reached
While 1
; Timer to know how long it takes to get all sites done
;$AnfangsTimer = TimerInit()
; -------------------------------------------------------------------------
; Test if Internet available
Do
MsgBox(4096, "Testing...", "...Internet Connection", 2)
$testsite = 0
$testsite = Ping($testurl)
$e = 0
While $testsite = 0
If $e >= 10 Then Exit
$testsite = Ping($testurl)
MsgBox(4096, "No...", "...Connection - Try again",2)
$e = $e + 1
MsgBox("",$e,"",1)
Sleep(1000)
WEnd
Until $testsite > 0
MsgBox("","Internet is...","...Working",2)
$e = 0
; -------------------------------------------------------------------------
$line = FileReadLine($sites)
If @error = -1 Then ExitLoop
If $line = "" Then ContinueLoop ;skip blank lines
$line = _IECreate($line)
_IEErrorHandlerRegister ("MyErrFunc")
If @error = -1 Then ContinueLoop
Sleep(500)
WinWait("Windows Internet Explorer","")
WinSetState("Windows Internet Explorer", "", @SW_MAXIMIZE)
If Not WinActive("Windows Internet Explorer","") Then WinActivate("Windows Internet Explorer","")
WinWaitActive("Windows Internet Explorer","")
Sleep(5000)
If @error = -1 Then ContinueLoop
; $line = FileReadLine($sites)
; If @error = -1 Then ExitLoop
; If $line = "" Then ContinueLoop ;skip blank lines
$oLinks = _IELinkGetCollection ($line)
$iNumLinks = @extended
;MsgBox(0, "Link Info", $iNumLinks & " links found")
If @error = -1 Then ContinueLoop
Dim $arLinks[1] = [$iNumLinks]
$oLinks =_IELinkGetCollection($line)
$iNumLinks = @extended
For $oLink in $oLinks
$fileContent = FileRead($log)
If NOT StringRegExp($fileContent, $olink.href) Then
_ArrayAdd($arLinks, $oLink.href)
; Else
;; Do what you want with the link here
EndIf
Next
_IEErrorHandlerRegister ("MyErrFunc")
If @error = -1 Then ContinueLoop
;_ArrayDisplay($arLinks,"Links")
;if @error Then Msgbox(0,"", @error)
;If FileExists($savepath) Then
; FileDelete($savepath)
; EndIf
;_FileCreate($savepath)
;_FileWriteToLine($savepath, 1, $arLinks[0], 0)
[/autoit] [autoit][/autoit] [autoit];_FileWriteFromArray($writeurls, $arLinks, 1)
[/autoit] [autoit][/autoit] [autoit]$writeurls = FileOpen($savepath=("rlinkurls.txt"),1)
_FileWriteFromArray($writeurls, $arLinks, 1)
FileClose($writeurls)
_IEQuit($line)
If @error = -1 Then ContinueLoop
; NEW
Send("{ENTER}")
ProcessClose("iexplore.exe")
Sleep(1000)
ProcessClose("iexplore.exe")
Sleep(1000)
ProcessClose("iexplore.exe")
Sleep(1000)
ProcessClose("wmplayer.exe")
Sleep(1000)
ProcessClose("msinm.exe")
Wend
; REMOVE DUPLICATE LINKS
[/autoit] [autoit][/autoit] [autoit]Dim $oFile,$nFile
[/autoit] [autoit][/autoit] [autoit]_FileReadToArray($temppath,$oFile)
$nFile = _ArrayUnique($oFile)
_FileWriteFromArray($savepath,$nFile)
; Wire "old" URLS in log so they will be no more "double or more checking of same links"
$savepath=("rlinkurls.txt")
$log=("old_links_log.txt")
Dim $fileAll
Dim $lastFile
$lastFile = 1 ;This is the number that is on the last file. Ex.
;You have work1.txt thru work11.txt then $lastFile
;should be 11.
$fileAll = FileOpen($log, 1) ;Write mode = Append to end of file.
[/autoit] [autoit][/autoit] [autoit]For $i = 1 To $lastFile Step 1
FileWrite($fileAll, FileRead($savepath))
Next
FileClose($fileAll)
[/autoit] [autoit][/autoit] [autoit]; NEW
Send("{ENTER}")
ProcessClose("iexplore.exe")
Sleep(1000)
ProcessClose("iexplore.exe")
Sleep(1000)
ProcessClose("iexplore.exe")
Sleep(1000)
ProcessClose("wmplayer.exe")
Sleep(1000)
ProcessClose("msinm.exe")
Local $iDiff = TimerDiff($hTimer) ; Find the difference in time from the previous call of TimerInit. The variable we stored the TimerInit handlem is passed as the "handle" to TimerDiff.
[/autoit] [autoit][/autoit] [autoit]MsgBox(4096,"Execution Time",$iDiff)
[/autoit] [autoit][/autoit] [autoit]Func MyErrFunc()
; Important: the error object variable MUST be named $oIEErrorHandler
$ErrorScriptline = $oIEErrorHandler.scriptline
$ErrorNumber = $oIEErrorHandler.number
$ErrorNumberHex = Hex($oIEErrorHandler.number, 
$ErrorDescription = StringStripWS($oIEErrorHandler.description, 2)
$ErrorWinDescription = StringStripWS($oIEErrorHandler.WinDescription, 2)
$ErrorSource = $oIEErrorHandler.Source
$ErrorHelpFile = $oIEErrorHandler.HelpFile
$ErrorHelpContext = $oIEErrorHandler.HelpContext
$ErrorLastDllError = $oIEErrorHandler.LastDllError
$ErrorOutput = ""
$ErrorOutput &= "--> COM Error Encountered in " & @ScriptName & @CR
$ErrorOutput &= "----> $ErrorScriptline = " & $ErrorScriptline & @CR
$ErrorOutput &= "----> $ErrorNumberHex = " & $ErrorNumberHex & @CR
$ErrorOutput &= "----> $ErrorNumber = " & $ErrorNumber & @CR
$ErrorOutput &= "----> $ErrorWinDescription = " & $ErrorWinDescription & @CR
$ErrorOutput &= "----> $ErrorDescription = " & $ErrorDescription & @CR
$ErrorOutput &= "----> $ErrorSource = " & $ErrorSource & @CR
$ErrorOutput &= "----> $ErrorHelpFile = " & $ErrorHelpFile & @CR
$ErrorOutput &= "----> $ErrorHelpContext = " & $ErrorHelpContext & @CR
$ErrorOutput &= "----> $ErrorLastDllError = " & $ErrorLastDllError
;MsgBox(0,"COM Error", $ErrorOutput)
Return
EndFunc ;==>MyErrFunc
Wie kann ich mehrere Files per FTP in einem Verzeichnis löschen:
1. Unabhängig von der Endung
2. Abhängig von der Endung, z.B. .html
Das war die letzte Frage für 2011 
Bitte Beispielcode...
Hallo,
Ist ein ISP Problem. ARCOR fixt das gerade.
Kann mir bitte jemand zeigen wie ich FTP files aus einem FTP Directory löschen kann, ich benötige 2 Bwispiele:
1. Alles löschen im Dir
2. nur bestimmte dateien mit bestimmten Endungen z.B. .HTML
Ich weiss dass es über arrays geht, wäre aber super wenn jemand ein Beispiel Script schreiben kann für die 2 Fälle.
Regards,
R4z0r
Wie kann ich mehrere Files per FTP in einem Verzeichnis löschen:
1. Unabhängig von der Endung
2. Abhängig von der Endung, z.B. .html
?
Danke Autobert, fuinktioniert jetzt!
Hat jemand eine Antwort zu ersten Frage:
1. Wie kann dass das Problem sein? Hat jemand eine Idee? Bei einem ISP funktioniertes, beim anderen nicht. Muss ich am Router irgendwas checken? Werde auch mal mein hosts file checken...
Ich habe die Lösung!!! Auf meinem Window 7 nutze ich einen anderen Internet Service Provider (Kabel Deutschland) als auf meiner Windows XP Maschine (Arcor). Ich switche nun auf meinem Windows XP die Adpater um auf den funktionierenden ISP (Kabel Deutschland) zu gehen). Ist aber nicht die Lösung die ich benötige. 
1. Wie kann dass das Problem sein? Hat jemand eine Idee? Bei einem ISP funktioniertes, beim anderen nicht. Muss ich am Router irgendwas checken? Werde auch mal mein hosts file checken...
2. Wie Ihr im Script sehen könnt habe ich nun auch _FTP_FilePut "reingebaut", das geht aber nicht. Was mache ich falsch??
#Region ;**** Directives created by AutoIt3Wrapper_GUI ****#AutoIt3Wrapper_UseX64=n#EndRegion ;**** Directives created by AutoIt3Wrapper_GUI ****#include
; login$server = 'ftp.******.org'$i_Passive = '1'$port = '21'$username = '*****'$pass = '*****'
; Customization DirPut$Programs = @ProgramFilesDir$Path = @DesktopDir & "\Proxy Stuff\_Database\"$UploadPath = @DesktopDir & "\Proxy Stuff\_Database\Upload\"$PromoUploadPath = @DesktopDir & "\Proxy Stuff\_Database\Upload\promo\"$ExternalPromoUploadPath = @DesktopDir & "\Proxy Stuff\_Database\Upload\externalpromo\"$ForumPromoUploadPath = @DesktopDir & "\Proxy Stuff\_Database\Upload\forumpromo\"; Customization FilePut$SocksSP = "Scrapebox_Socks.txt"$SocksIP = "Socks_Proxy_IP_Only.txt"$HTTPTRANSIP = "HTTP_Transparent_Proxy_IP_Only.txt"$HTTPANONIP = "HTTP_Anonymous_Proxy_IP_Only.txt"$HTTPELITEIP = "HTTP_Elite_Proxy_IP_Only.txt"
;$temppublicdir = "internal"$URLUploadPathSocks = "/public_html/proxy-customer/socks/"$URLUploadPathHTTP = "/public_html/proxy-customer/http/"$publicdir = "/public_html/internal/database/"$paiddir = "/public_html/home/static/paid/"$promodir = "/public_html/home/static/promo/"$externalpromodir = "/public_html/home/static/externalpromo/"$forumpromodir = "/public_html/home/static/forumpromo/"
If Not FileExists($Path) Then MsgBox(0, "Path", "Falsch")If Not FileExists($UploadPath) Then MsgBox(0, "Uploadpath", "Falsch")If Not FileExists($PromoUploadPath) Then MsgBox(0, "PromoUploadPath", "Falsch")If Not FileExists($ExternalPromoUploadPath) Then MsgBox(0, "ExternalPromoUploadPath", "Falsch")If Not FileExists($ForumPromoUploadPath) Then MsgBox(0, "ForumPromoUploadPath", "Falsch")
$Open = _FTP_Open('FTP')If Not @error Then $Conn = _FTP_Connect($Open, $server, $username, $pass, $i_Passive, $port) If Not @error Then _FTP_DirCreate($Conn,$paiddir) _FTP_DirCreate($Conn,$publicdir) _FTP_DirDelete($Conn,$promodir) Sleep(5000) _FTP_DirCreate($Conn,$promodir) _FTP_DirCreate($Conn,$externalpromodir) _FTP_DirCreate($Conn,$forumpromodir) ;Sleep(5000) _FTP_DirPutContents($Conn, $UploadPath, $paiddir, 1) ;Sleep(5000) _FTP_DirPutContents($Conn, $UploadPath, $publicdir, 1) ;Sleep(5000) _FTP_DirPutContents($Conn, $PromoUploadPath, $promodir, 1) ;Sleep(5000) _FTP_DirPutContents($Conn, $ExternalPromoUploadPath, $externalpromodir, 1) ;Sleep(5000) _FTP_DirPutContents($Conn, $ForumPromoUploadPath, $forumpromodir, 1) ;Sleep(5000) _FTP_FilePut($Conn, $UploadPath, $URLUploadPathSocks&$SocksIP, 1) ;Sleep(5000) _FTP_FilePut($Conn, $UploadPath, $URLUploadPathSocks&$SocksSP, 1) ;Sleep(5000) _FTP_FilePut($Conn, $UploadPath, $URLUploadPathHTTP&$HTTPTRANSIP, 1) ;Sleep(5000) _FTP_FilePut($Conn, $UploadPath, $URLUploadPathHTTP&$HTTPANONIP, 1) ;Sleep(5000) _FTP_FilePut($Conn, $UploadPath, $URLUploadPathHTTP&$HTTPELITEIP, 1) ;Sleep(5000) Else MsgBox(0, "Connect", "fehlgeschlagen") EndIfElse MsgBox(0, "Open", "fehlgeschlagen")EndIf_FTP_Close($Open)
#Region ;**** Directives created by AutoIt3Wrapper_GUI ****
#AutoIt3Wrapper_UseX64=n
#EndRegion ;**** Directives created by AutoIt3Wrapper_GUI ****
#include
; login
$server = 'ftp.******.org'
$i_Passive = '1'
$port = '21'
$username = '*****'
$pass = '*****'
; Customization DirPut
$Programs = @ProgramFilesDir
$Path = @DesktopDir & "\Proxy Stuff\_Database\"
$UploadPath = @DesktopDir & "\Proxy Stuff\_Database\Upload\"
$PromoUploadPath = @DesktopDir & "\Proxy Stuff\_Database\Upload\promo\"
$ExternalPromoUploadPath = @DesktopDir & "\Proxy Stuff\_Database\Upload\externalpromo\"
$ForumPromoUploadPath = @DesktopDir & "\Proxy Stuff\_Database\Upload\forumpromo\"
; Customization FilePut
$SocksSP = "Scrapebox_Socks.txt"
$SocksIP = "Socks_Proxy_IP_Only.txt"
$HTTPTRANSIP = "HTTP_Transparent_Proxy_IP_Only.txt"
$HTTPANONIP = "HTTP_Anonymous_Proxy_IP_Only.txt"
$HTTPELITEIP = "HTTP_Elite_Proxy_IP_Only.txt"
;$temppublicdir = "internal"
$URLUploadPathSocks = "/public_html/proxy-customer/socks/"
$URLUploadPathHTTP = "/public_html/proxy-customer/http/"
$publicdir = "/public_html/internal/database/"
$paiddir = "/public_html/home/static/paid/"
$promodir = "/public_html/home/static/promo/"
$externalpromodir = "/public_html/home/static/externalpromo/"
$forumpromodir = "/public_html/home/static/forumpromo/"
If Not FileExists($Path) Then MsgBox(0, "Path", "Falsch")
If Not FileExists($UploadPath) Then MsgBox(0, "Uploadpath", "Falsch")
If Not FileExists($PromoUploadPath) Then MsgBox(0, "PromoUploadPath", "Falsch")
If Not FileExists($ExternalPromoUploadPath) Then MsgBox(0, "ExternalPromoUploadPath", "Falsch")
If Not FileExists($ForumPromoUploadPath) Then MsgBox(0, "ForumPromoUploadPath", "Falsch")
$Open = _FTP_Open('FTP')
If Not @error Then
$Conn = _FTP_Connect($Open, $server, $username, $pass, $i_Passive, $port)
If Not @error Then
_FTP_DirCreate($Conn,$paiddir)
_FTP_DirCreate($Conn,$publicdir)
_FTP_DirDelete($Conn,$promodir)
Sleep(5000)
_FTP_DirCreate($Conn,$promodir)
_FTP_DirCreate($Conn,$externalpromodir)
_FTP_DirCreate($Conn,$forumpromodir)
;Sleep(5000)
_FTP_DirPutContents($Conn, $UploadPath, $paiddir, 1)
;Sleep(5000)
_FTP_DirPutContents($Conn, $UploadPath, $publicdir, 1)
;Sleep(5000)
_FTP_DirPutContents($Conn, $PromoUploadPath, $promodir, 1)
;Sleep(5000)
_FTP_DirPutContents($Conn, $ExternalPromoUploadPath, $externalpromodir, 1)
;Sleep(5000)
_FTP_DirPutContents($Conn, $ForumPromoUploadPath, $forumpromodir, 1)
;Sleep(5000)
_FTP_FilePut($Conn, $UploadPath, $URLUploadPathSocks&$SocksIP, 1)
;Sleep(5000)
_FTP_FilePut($Conn, $UploadPath, $URLUploadPathSocks&$SocksSP, 1)
;Sleep(5000)
_FTP_FilePut($Conn, $UploadPath, $URLUploadPathHTTP&$HTTPTRANSIP, 1)
;Sleep(5000)
_FTP_FilePut($Conn, $UploadPath, $URLUploadPathHTTP&$HTTPANONIP, 1)
;Sleep(5000)
_FTP_FilePut($Conn, $UploadPath, $URLUploadPathHTTP&$HTTPELITEIP, 1)
;Sleep(5000)
Else
MsgBox(0, "Connect", "fehlgeschlagen")
EndIf
Else
MsgBox(0, "Open", "fehlgeschlagen")
EndIf
_FTP_Close($Open)
Vielen Dank für die nette Unterstützung!!!
Teamwork rules!
Danke für das Script mit @error.
Musste noch was modifizieren dass es läuft:
_FTP_DirPutContents($Conn, $UploadPath, $paiddir, 1)
;Sleep(5000)
_FTP_DirPutContents($Conn, $UploadPath, $publicdir, 1)
;Sleep(5000)
_FTP_DirPutContents($Conn, $UploadPath, $alldir, 1)
;Sleep(5000)
_FTP_DirPutContents($Conn, $PromoUploadPath, $promodir, 1)
Ich bekomme connect failed. Server ist ok. Username und Passwort auch. Firewall ist ausgeschalten. Unter Windows 7 - kein Problem es funzt. Was jetzt?
Aktiver oder Passiver FTP Modus: gleiches Resultat
Die Pfade sind richtig. Ich sagte doch schon es funktioniert perfekt in Windows 7!
Hi,
habe die neueste A'utoIt Version und Windos XP mit allen Updates. Ich habe hier ein einfaches FTP script das supper auf Windows 7 funktioniertt aber NICHT auf Windows XP:
[autoit]#Include <FTPEx.au3>
[/autoit][autoit][/autoit][autoit]; login
$server = 'ftp.xxxxxxxxxxxxxx.org'
$i_Passive = '1'
$port = '21'
$username = 'xxxxxxxx'
$pass = 'xxxxxxx'
; Customization
$Programs = @ProgramFilesDir
$Path = @DesktopDir & "\Proxy Stuff\_Database\"
$UploadPath = @DesktopDir & "\Proxy Stuff\_Database\Upload\"
$PromoUploadPath = @DesktopDir & "\Proxy Stuff\_Database\Upload\promo\"
;$temppublicdir = "internal"
$publicdir = "public_html/internal/database/"
$paiddir = "public_html/home/static/paid/"
$promodir = "public_html/home/static/promo/"
$alldir = "public_html/home/static/"
$Open = _FTP_Open('FTP')
$Conn = _FTP_Connect($Open, $server, $username, $pass,$i_Passive,$port)
Sleep(5000)
_FTP_DirPutContents($Conn, $UploadPath, $paiddir,1)
Sleep(5000)
_FTP_DirPutContents($Conn, $UploadPath, $publicdir,1)
Sleep(5000)
_FTP_DirPutContents($Conn, $UploadPath, $alldir,1)
Sleep(5000)
_FTP_DirPutContents($Conn, $PromoUploadPath, $promodir,1)
Sleep(5000)
_FTP_DirPutContents($Conn, $UploadPath, $paiddir,1)
_FTP_Close($Open)
Habe Firewall in Windows XP OFFEN. Das ist nicht das Problem. Liegts daran dass Windows 7 eine andere Version der winininet.dll hat?
Ich zahle 20 EUR sofort für Hilfe (per PayPal)
Bin verzweifelt!
