Textdatei mit URLs bearbeiten ...

substyle

Hallo Leute,

ich habe folgendes Problem:

In einer TXT Datei sind 177000 URLS enthalten.
Je eine Pro Zeile. Nun muss / sollte folgendes Passieren:

1. Doppelte Einträge sollten entfernt werden.
2. Alle URLs sollte auf "Konformität" geprüft werden (also http://www.domain.tld)
Fehlende Angaben (z.B. http://domain.tld -> http://www.domain.tld)
3. Die URLs sollten gekürzt werden
Und zwar auf http://www.domain.tld also http://www.domain.tld/tolle/seite.php?gui=esksdfkshkf -> http://www.domain.tld/

Jetzt habe ich keinen blassen Schimmer wie ich anfangen soll

Für jeden Hinweis / Tipp wäre ich rechte dankbar.

Lars

huggy

Hi!

1) Boardsuche nutzen, wurde oft beschrieben hier!
2) StringRegExp, StringInString
3) Stringleft (besser) oder Stringsplit

mfg

substyle

2&3 OK

1 = Boardsuche, dann bin ich zu blind, finde so rein garnix

Ich werde mal weitersuchen ...

huggy

Hiho

Hab mal nach "doppelte" gesucht, das gefunden:

http://www.autoit.de/thread.php?threadid=3211&hilight=Doppelte

Zitat von Xenobiologist:

[autoit]

Func _ArrayUnique(ByRef $aArray, $vDelim = '', $iBase = 1, $iUnique = 1)
If $vDelim = '' Then $vDelim = Chr(01)
Local $sHold
For $iCC = $iBase To UBound($aArray) - 1
If Not StringInStr($vDelim & $sHold, $vDelim & $aArray[$iCC] & $vDelim, $iUnique) Then _
$sHold &= $aArray[$iCC] & $vDelim
Next
Return StringSplit(StringTrimRight($sHold, StringLen($vDelim)), $vDelim)
EndFunc ;==>_ArrayUnique

[/autoit]

Liebe Grüße aus Wien,

Huggy

ps: kommst du mit dem Source klar oder brauchst du hilfe? =)

huggy

kannst du mal die TXT datei .raren oder .zippen? dann wirds nur paar mb groß^^

Pee und ich würden gern so einen vergleich machen - java vs autoit

**peethebee**

Hatte gerade irgendwie Bock, das in Java zu realisieren :D.
Lösung nimmt nur korrekte URLs entgegen, korrigiert sie und schmeißt gleiche raus. Auch Subdomains werden rausgeworfen. Leider bleibt die Sortierung nicht erhalten (habe ein [hoffentlich schnelles] HashSet verwendet, und das speichert, wie es mag). Könnte man aber mit einer ineffizienteren Klasse auch ohne "Durcheinanderwürfeln" machen.

Laufzeit für 10 Einträge: ~15 ms
Laufzeit für 21600 Einträge (die 10 von oben mehrfach kopiert): ~ 340 ms

Zum Ausführen: Einfach die start.au3 ausführen oder mit

Code

java dc "C:\input.txt" "C:\output.txt"

in der Konsole (im Ordner, in dem dc.class liegt).

Viel Spaß,
peethebee

Edit: Dank eines Tipps von AspirinJunkie ist das Ergebnis jetzt auch sortiert (bei gleicher Geschwindigkeit): LinkedHashSet tut den Dienst.

substyle

Hi peethebee,

sieht zunächst sehr gut aus, tut aber seinen Dienst nicht!
Es kommen vollkommen verstümmelte URLs dabei raus, subdomains landen kreuz und quer und nach der TLD gibt es noch immer diverse Einträge mit unterpfaden und html oder php Dateien

Also ich will mich ja nicht beschweren, aber es geht einfach nicht ... :comp1:

subby

Wäre es nicht leichter den String zu "durchsuchen" bis de, com oder net true ist und dahinter alle zeichen einfach zu löschen, und das sortieren in einem zweiten Schritt zu tun?

subby

**peethebee**

Mit meinen Beispieldaten geht es. Wie soll ich denn aus deiner schön zu lesenden, aber leider nicht präzisen Fehlerbeschreibung rausfinden, was schief läuft? Bitte posten, was du reinsteckst und was rauskommt...

Mein Test:

Zitat

http://www.autoit.de
test.autoit.de
autoit.de/translation
http://www.google.de
https://autoit.de/www.test.com/trans?3=2
http://www.google.de

wird zu

Zitat

http://www.autoit.de
http://www.google.de
http://www.test.com

peethebee

substyle

HI, sorry,

also das wollte ich wirklich nicht,

hier mal ein Beispiel:

Input:

Code

http://promotions.ebay.de/urlaubsgeld/
http://gewinnspiel.postbank.de/
http://www.bitburger.de/bitburger_aktivitaeten/aktionen/feierabend_mit_bitburger/index.html?no_cache=1
http://www.schlecker.com/htdocs/cms/StatischCMS.aspx?CMSDatei=cms_gluecksdreh.aspx
http://www.maestrocard.com/de/promotions/registration.html
http://promotions.ebay.de/heissmachtreich/
http://promotions.ebay.de/heissmachtreich/
http://https://www.mastercard.com/de/personal/de/uebermastercard/promotions/registration.html?formType=single&lang=de&cntry=DE&promo=1822
http://www.homann.de/grillen/aktionen/akt.php
http://www.computerbild.de/gewinnspiel/gewinnspiel_1301932.html
http://www.cultimatum.de/tages_raetsel.php
http://www.betty-tv.de/de/betty/millionenspiel/gewinnspiel.php

Alles anzeigen

Output:

Code

http://www.ebay.de
http://www.postbank.de/
http://www.bitburger.de
http://www.aspx?CMSDatei=cms_gluecksdreh.aspx
http://www.com/de/promotions/registration.html
http://www.mastercard.com
http://www.de/grillen/aktionen/akt.php
http://www.de/gewinnspiel/gewinnspiel_1301932.html
http://www.de/tages_raetsel.php
http://www.de/de/betty/millionenspiel/gewinnspiel.php

subby

**peethebee**

Okay, hast Recht :).

Habe nicht bedacht, dass hinten noch mal ein Punkt kommen kann. Werde es gleich fixen (geht hoffentlich schnell).

peethebee

Edit: Gefixt - kleine Spiele am RegEx und es passt wieder - war wirklich mein Fehler, hatte eine Testcases nicht gut genug gebastelt - jetzt sollte es aber passen.

Ergebnis jetzt:

Zitat

http://www.ebay.de
http://www.postbank.de
http://www.bitburger.de
http://www.schlecker.com
http://www.maestrocard.com
http://www.mastercard.com
http://www.homann.de
http://www.computerbild.de
http://www.cultimatum.de
http://www.betty-tv.de

Alles anzeigen

substyle

WOW!

Also das hätte ich nie gedacht! Vielen vielen Dank!
Da geb ich mal ein virtuelles Bier aus!
:kette:

subby

**peethebee**

Hi!

Danke schön - interessant wäre noch, wieso du das brauchst... Scheint mir etwas komisch, dass du da die Basis-URLs zu den Gewinnspielen suchst ;).

peethebee

p.s. Hattest Glück, dass mir RegEx-Tüfteln Spaß macht und ich gerade Java ins Herz geschlossen habe und außerdem glaube, dass ich das Ding vielleicht auch mal in einem Log-Parser brauchen kann

Edit: Laufzeit sollte für 177.000 URLs bei etwa 5 Sekunden liegen...

substyle

Hi peethebee

nennen wir den Zweck mal eine statistische Auswertung.

Grüße

Lars