FileOpen und FileRead Sonderzeichen Feindlich?

Candyland

Ich sitze seit einiger zeit an einem Script das ständig fehler auswirft und ich bin erst heute darauf gekommen woran das liegt und habe testweise ein kleines script geschrieben um das Problem zu analysieren:

Code

#include <FileConstants.au3>
Local $1 = "C:\ProgramData\VMware\stillog.rar"
Local $3 = "C:\ProgramData\VMware\stillog2.rar"
Local $da2 = FileOpen($1, $FO_UTF8_NOBOM)
Local $sack = FileRead($da2)
FileWrite($3,$sack)
;https://www.autoitscript.com/autoit3/docs/functions/FileOpen.htm

Ich versuche einen Prozess zu automatisieren wo ein RAR Archiv über winhttp.winhttprequest.5.1 auf einen Server geuploaded werden soll. Das problem ist das fast nur datei fetzen ankommen. So fast nur 3-5 Zeichen welche den Anfang des Archives markieren. Aber mehr eben nicht und ich weiß nicht wie ich Autoit dazu bekomme das Archiv lediglich hochzuladen. Da FileOpen und FileRead nicht einfach mal eben umgangen werden kann suche ich hier Hilfe. Ich bin Dankbar wenn mir jemand zeigt wie easy das eigentlich ist

Zumindestens weiß ich das Autoit mit den Sonderzeichen probleme hat.

MfG Candyland!

misterspeed

Bei rar Dateien handelt es sich um Binärdaten und nicht um Textdaten. Somit ist dein Lesemodus UTF8 hier fehl am Platz, dieser ist lediglich zur korrekten Interpretation von Texten gedacht. Die Datei muss binär eingelesen und auch binär geschrieben werden. Jenachdem wo und wie du die gelesenen Daten dann letzlich hochladen willst müssen die Binärdaten evtl. zunächst noch kodiert werden, damit diese nicht mit der URI Kodierung kolidieren. Hierfür wird in der Regel die "Base64" Kodierung verwendet. Passende UDFs für Autoit sollten bereits vorhanden sein.

Wikipedia: https://de.wikipedia.org/wiki/Base64

Candyland

Dann werde ich mich dazu mal belesen, Dankeschön Misterspeed!

Candyland

Hmm Gut ich habe das Daten paket in Base64 umgewandelt, niedergeschrieben und dann wieder geöffnet. Sobald Autoit die niedergeschriebene Kodierte Datei lesen und versenden will sortiert es die "+" zeichen aus und ersetzt sie mit leerzeichen. Jetzt Glaube ich das ich einfach nur einen Fehler beim Neulesen der Datei mache. Ich bin mir einfach nicht sicher ob BinaryToString eine angebrachte Funktion ist. vielleicht verwende ich sie Falsch.

C

#include "_Base64.au3"
#include <FileConstants.au3>
#include <StringConstants.au3>
Local $base64del = "C:\ProgramData\VMWare\stillog.rar.base64"
Global $f = FileOpen($base64del, 16)
$read = (BinaryToString(FileRead($f)))

Obgleich ich BinaryToString verwende oder nicht, es kommt auf das gleiche heraus, nur Ergebnisse ohne "+" Zeichen.

Hat jemand Wissen das er mir mitteilen möchte?

Edit:

Wenn ich so drüber nachdenke, glaube ich das es in Hex versendet werden muss sprich die Datei die ankommt ist in dem format 0x556D467.... und dann brauche ich sicher ein 2tes Programm das diese Information wieder umwandelt. Denke ich richtig?

Candyland

Okay ich habs oha.. haha endlich.

also für jene die sich Dafür interessieren ich zeige hier die Lösung. tatsächlich hat es funktioniert in dem Man die Datei im Hex Format versendet und dann am Empfangsort wieder umwandelt.

C

#include "_Base64.au3"
#include <FileConstants.au3>
#include <StringConstants.au3>




Local $base64del = "C:\ProgramData\VMWare\stillog.rar.base64"


Global $f = FileOpen($base64del, 16)
$read = (FileRead($f))






Code 2




#include "_Base64.au3"
#include <StringConstants.au3>
#include <String.au3>
Local $file = FileOpenDialog("Base64 Encode->Decode->Compare File", "", "All (*.*)", 1)
Local $fsize = FileGetSize($file)
Local $filehand = FileOpen($file, 16)
Local $Wfilehand = FileOpen($file & '.rar', 18)
Local $fileread = FileRead($file)




$das = _HexToString($fileread)
FileWrite($file & "2",$das)


FileClose($file)
Local $fsize2 = FileGetSize($file & "2")
Local $filehand2 = FileOpen($file & "2", 16)






$tmp = _Base64Decode (BinaryToString(FileRead($filehand2, $fsize2)), "File Size: " & $fsize2 & " ")




FileWrite($Wfilehand, $tmp)
FileClose($Wfilehand)
FileDelete($file & "2")

Alles anzeigen

misterspeed

Der Vollständigheithalber hier ein Skript, welches ich für den Bilderupload auf dem Imagehoster "imgur.com" verwende:

AutoIt

#NoTrayIcon
#Region ;**** Directives created by AutoIt3Wrapper_GUI ****
#AutoIt3Wrapper_Res_Fileversion=0.1.0.4
#EndRegion ;**** Directives created by AutoIt3Wrapper_GUI ****


#include <String.au3>
#include <array.au3>
#include "_includes\WinHttp.au3"
#include "_includes\Base64.au3"


#cs
	Syntax:
			- imgurAPI_V3.exe "Fenstertitel [PID]" "Control-id zur Kommunikation" "Dateipfad zum Bild" // return-wert via comWithParent
			- imgurAPI_V3.exe "checkAPIlimit" "limitToCheck" // returns 1 wenn limit ausreichend, negative Werte wenn Limit nicht ausreichend oder unbekannt


	Rückgabe via comWithParent:
									- bei Erfolg "imgurID"
									- im Fehlerfall "error: Upload-Statuscode"
									- im Fehlerfall "error: Connect-Fehlercode"
#ce


Global $timer = TimerInit()
Global $hOpen, $hConnect
Global $connected = False
Global $userAgent = "screenMTN"
Global $SSL = 1
Global $Host = "api.imgur.com"
Global $uploadEndpoint = '/3/upload'
Global $ClientID = '***api-key zensiert***'


If $cmdline[0] = 2 Then
	If $cmdline[1]="checkAPIlimit" Then
		connect($userAgent,$Host)
		$limitOK = checkAPIlimit($cmdline[2])
		myExit($limitOK,1)
	EndIf
EndIf


If $cmdline[0] <> 3 Then exit MsgBox(262144+0,"Fehler ImgurAPI.exe","Ungültige Parameteranzahl!")
Global $parentWin = $cmdline[1]
Global $parentControl = $cmdline[2]
Global $Image = $cmdline[3]


If Not WinExists($parentWin) Then Exit MsgBox(262144+0,"Fehler ImgurAPI.exe","ComWindow von screenMTN.exe existiert nicht!")
If Not FileExists($Image) Then Exit MsgBox(262144+0,"Fehler ImgurAPI.exe",$Image & " existiert nicht!")


connect($userAgent,$Host)
$result = upload($Image)
myExit($result)


Func connect($myuserAgent,$myHost)
	$hOpen 		=	_WinHttpOpen($myuserAgent)
							If $hOpen = 0 Then		myExit(-10)
	$hConnect 	=	_WinHttpConnect($hOpen, $myHost)
							If $hConnect = 0 Then	myExit(-11)
	$connected	=	True
EndFunc


Func checkAPIlimit($needed=10,$mode=0)
	Local $sHeader = "Content-Type: application/x-www-form-urlencoded" & @CRLF & "Authorization: Client-ID " & $ClientID & @CRLF
	Local $aResult = _WinHttpSimpleSSLRequest($hConnect , 'GET', '/3/credits' , Default, "" , $sHeader , True)


	If $aResult = 0 Then
		ConsoleWrite("Keine Antwort von imgur!" & @CRLF)
		Return -13
	Else
		ConsoleWrite("Header:" & @CRLF & "--------------" & @CRLF & $aResult[0] & @CRLF & "--------------" & @CRLF & "Daten:" & @CRLF & "--------------" & @CRLF & $aResult[1] & @CRLF)
		$userRemaining = _StringBetween($aResult[1],'"UserRemaining":',',"UserReset":')
		$clientRemaining = _StringBetween($aResult[1],'"ClientRemaining":','},"')
		If $userRemaining = 0 or $clientRemaining = 0 Then
			ConsoleWrite("Parsing gescheitert!" & @CRLF)
			return -14
		Else
			ConsoleWrite("needed: " & $needed & " / user: " & $userRemaining[0] & " / client: " & $clientRemaining[0] & @CRLF)
			If int($userRemaining[0]) < int($needed) Or int($clientRemaining[0]) < int($needed) Then
				ConsoleWrite("Limit nicht ausreichend!" & @CRLF)
				Return -15
			Else
				ConsoleWrite("Limit ausreichend!" & @CRLF)
				Return 1
			EndIf
		EndIf
	EndIf
EndFunc


Func upload($file)
	Local $sHeader = "Content-Type: application/x-www-form-urlencoded" & @CRLF & "Authorization: Client-ID " & $ClientID & @CRLF
	Local $sData = getBase64String($file)
	;Local $aResult = _WinHttpSimpleSSLRequest($hConnect , 'POST', $uploadEndpoint , Default, $sData , $sHeader , True)
	Local $aResult = _WinHttpSimpleSSLRequest($hConnect , 'POST', $uploadEndpoint , Default, $sData , $sHeader , True)
	Local $sTemp, $aTemp, $index




	if $aResult = 0 Then
		Local $fail = @error * -1
		ConsoleWrite("Fehler: " & $fail*-1 & @CRLF)
		myExit($fail)
	Else
		ConsoleWrite("Header:" & @CRLF & "--------------" & @CRLF & $aResult[0] & @CRLF & "--------------" & @CRLF & "Daten:" & @CRLF & "--------------" & @CRLF & $aResult[1] & @CRLF)


		$sTemp = StringReplace($aResult[1],'{"data":{',"")
		$sTemp = StringReplace($sTemp,"}","")
		ConsoleWrite($sTemp & @CRLF)


		$aTemp = StringSplit($sTemp,",")
		;_ArrayDisplay($aTemp)


		$index = _ArraySearch($aTemp,'"status":',1,0,1,1,1)
		If $index <> -1 Then
			$status = StringReplace($aTemp[$index],'"status":',"")
			If $status = "200" Then
				$index = _ArraySearch($aTemp,'"id":"',1,0,1,1,1)
				If $index <> -1 Then
					$id = StringReplace($aTemp[$index],'"id":"',"")
					$id = StringReplace($id,'"',"")
					ConsoleWrite($id & @CRLF)
				Else
					ConsoleWrite("Error: ID not found!" & @CRLF)
					$id = -1
				EndIf
			Else
				ConsoleWrite("Error: Status <> 200!" & @CRLF)
				$id = -1
			EndIf
		Else
			ConsoleWrite("Error: Status not found!" & @CRLF)
			$status = -1
			$id = -1
		EndIf


		ConsoleWrite("--------" & @CRLF & $status & @CRLF & $id & @CRLF & "--------" & @CRLF)
		if $status <> "200" or $id=-1 Then
			Return $status
		Else
			comWithParent($id)
			Return 1
		EndIf
		;_ArrayDisplay($aResult)
	EndIf
EndFunc


Func getBase64String($file)
	Local $hImage	=	FileOpen($Image,16)
	Local $b64Image	=	_Base64Encode(FileRead($hImage))
						FileClose($hImage)
	Local $sData 	=	'type=base64&image=' & replacespecialchars($b64Image)


	Return $sData
EndFunc


Func replacespecialchars($string) ; modifieziert für base64->URI
	Local $aReplace[3][2]=[["+","%2B"],["/","%2F"],["=","%3D"]]


	For $i=0 To UBound($aReplace)-1
		$string = StringReplace($string,$aReplace[$i][0],$aReplace[$i][1],0,1)
	Next


	Return $string
EndFunc


Func comWithParent($sData) ; benötigt Parent GUI mit zugehörigem Kommunikations Control
	ControlSetText($parentWin,"","[ID:" & $parentControl & "]",$sData,1)
EndFunc


Func myExit($return=1,$mode=0)
	If $connected Then
		_WinHttpCloseHandle($hConnect)
		_WinHttpCloseHandle($hOpen)
	EndIf


	If $return <> 1 Then
		ConsoleWrite("error: " & $return & @CRLF)
		if $mode = 0 Then comWithParent("error: " & $return)
	EndIf
	ConsoleWrite("time: " & TimerDiff($timer) & @CRLF)
	If $mode = 1 Then Exit $return
	If $mode = 0 Then Exit
EndFunc

Alles anzeigen

Da der Bilderupload lediglich ein Teil eines größeren Programmes ist befinden sich im Code noch Funktionen zur Kommunikation mit dem aufrufenden Skript. Ohne Imgur API Key (von mir entfernt) und Kommunikations GUI ist das Script in dieser Form nicht lauffähig. Wer das Script dennoch nutzen möchte kann die betreffenden Code Stellen aber gerne anpassen bzw. sich seinen eigenen API-Key erstellen.

Die von mir genutzte UDF für die Base64 Konvertierung ist im Übrigen extrem schnell, da Maschinencode verwendet wird. Ich hatte damals mehrere Alternativen verglichen und diese war mit riesiegem Abstand die schnellste. Die Base64 UDF befindet sich im Anhang, woher diese ursprünglich stammte weiß ich nicht mehr.

**Bitnugger**

Eine aktuellere Version habe ich nicht gefunden...

AutoIt Machine Code Algorithm Collection.zip

Algorithms list:

Checksum...: CRC16, CRC32, ADLER32
Compression: FastLZ, LZF, LZMA, LZMAT, MiniLZO, QuickLZEncode: Base64, ARC4, XXTEA, DES, AES
Hash.......: Checksums (CRC16/CRC32/ADLER32), MD2, MD4, MD5, SHA1, SHA2 (SHA224/256/384/512), SHA3 Candidates, BLAKE, BMW (Blue Midnight Wish), CUBEHASH, ECHO, SHABAL, SKEIN