FuzzyString-UDF - unscharfe Vergleiche von Strings und Suche in Arrays

**AspirinJunkie**

Diese UDF beinhaltet Algorithmen zum unscharfen Stringvergleich und der damit verbundenen Ähnlichkeitssuche in String-Arrays.
Sie bietet Funktionen zu zeichenbasierten Vergleichen, dem Vergleich der Phonetik der Wörter sowie dem Abstand von Zeichen auf einer Tastatur.

Auf diese Art kann man Tippfehler erkennen, gleichklingende Wörter detektieren und andere Schreibweisen von Wörtern einbeziehen.

Aktuell sind in der UDF folgende Funktionen enthalten:

Code

--------- fuzzy array handling:
_FS_ArraySearchFuzzy           - finds similar entries for a search value in an array
_FS_ArrayToPhoneticGroups      - groups the values of an array according to their phonetics

--------- character-based metrics:
_FS_Levenshtein                - calculate the levenshtein distance between two strings
_FS_OSA                        - calculate the OSA ("optimal string alignment") between two strings
_FS_Hamming                    - calculate the hamming distance between two strings

--------- phonetic metrics:
_FS_Soundex_getCode            - calculate the soundex code for a given word to represent the pronounciation in english
_FS_Soundex_distance           - calculate the soundex-pattern for both input values
_FS_SoundexGerman_getCode      - calculate the modified soundex code for german language for a given word to represent the pronounciation in german
_FS_SoundexGerman_distance     - calculate the soundexGerman-pattern for both input values
_FS_Cologne_getCode            - calculate the cologne phonetics code for german language for a given word to represent the pronounciation in german
_FS_Cologne_distance           - calculate the cologne phonetics distance between both input values

--------- key-position based metrics:
_FS_Keyboard_GetLayout         - return a map with coordinates for the characters for using in _FS_Keyboard_Distance_Chars()
_FS_Keyboard_Distance_Chars    - calculates the geometric key spacing between two characters on a keyboard
_FS_Keyboard_Distance_Strings  - calculate the keyboard-distance between two strings

Alles anzeigen

>>Download und Quellcode auf GitHub<<

**SOLVE-SMART**

Hi AspirinJunkie 👋 ,

mal ganz abgesehen davon, dass ich beeindruckt bin von deinem akademischen Ansatz der UDF, die ich toll finde, nur ehrlich gesagt noch nie den Bedarf hatte etwaige Funktionen einzusetzen, Danke ich erstmal fürs Teilen auf GitHub 👍 .

Beim anschauen und ausprobieren sind mir ein paar Kleinigkeiten aufgefallen, die mir u. a. auch die AutoIt Direktiven #AutoIt3Wrapper_AU3Check_Parameters verraten haben 😅 .

$iDistMin in Zeile 341 könnte ein Local vertragen (unkritisch)
- das Gleiche für Zeile 691
unbenutzte optionale Paramter
- $iDummy in Funktion _FS_Hamming kommt in der Funktion nie zum Einsatz => kann also weg (Zeile 378)
- $iDummy in Funktion _FS_Soundex_distance kommt in der Funktion nie zum Einsatz => kann also weg (Zeile 421)
- das Gleiche bei Zeile 495 und 571
- sind sicherlich alles Überbleibsel bei der Entwicklung 🤔
Möchtest du vielleicht die magic number 9223372036854700000 als Global Const deklarieren (im obersten Bereich der UDF), die immerhin 6x genutzt wird? Nur eine Idee.
Möchtest du vielleicht Tidy das UDF Format anpassen lassen? Auch total unkritisch, es wäre nur dann einfach eine einheitliche Struktur über die ganze UDF hinweg.

Aber nochmal: Krasse Sache, Danke 👍 .

Viele Grüße
Sven

**SOLVE-SMART**

Nachtrag:

Die example Skripte sind echt toll, Danke! Vielleicht habe ich doch ein Einsatzgebiet, mal schauen.
Wie bist du darauf gekommen, eine solche UDF zu erstellen würde mich interessieren?

**AspirinJunkie**

Danke für den Hinweis.

Das Au3Check habe ich ausgelassen. Das hätte ich natürlich tun sollen - war allerdings zu faul da mir schon das ganze dokumentieren tierisch auf den Sack ging. $iDistMin wird natürlich korrigiert.

$iDummy muss unbedingt drin bleiben. Diese Funktionen werden als Callback-Funktionen in _FS_ArraySearchFuzzy() verwendet und erhalten beim Call 3 Parameter. Der Parameter heißt nicht umsonst so.

Zur konstanten Int-Zahl: Was habt ihr alle damit? Im englischen Forum kam auch schon die Sprache darauf. Es ist einfach nur eine möglichst große Zahl gegen die verglichen wird. Die muss gar nicht über die Funktionen hinweg den gleichen Wert besitzen. Ich sehe daher nicht wirklich einen Vorteil hierfür eine zusätzliche globale Konstante einzuführen. Ihr aber offensichtlich schon. Verstanden habe ich es jedoch noch nicht.

Tidy: Klar kann ich machen. Würde sich was gravierend an der Formatierung ändern? Kann ich morgen testen (bin grad auf Linux unterwegs)

Zitat von SOLVE-SMART

Wie bist du darauf gekommen, eine solche UDF zu erstellen würde mich interessieren?

Weiß ich ehrlich gesagt nicht mehr genau. Ich kam aber darauf, dass eine Funktion für die unscharfe Suche in Arrays gut für die ArrayPlus-UDF wäre.

Als ich mich dann tiefer in die Thematik eingelesen habe, hab ich festgestellt, dass die Thematik eine eigene UDF verdient.

**SOLVE-SMART**

Zitat von AspirinJunkie

da mir schon das ganze dokumentieren tierisch auf den Sack ging

Kann ich mir vorstellen, absolut.

Zitat von AspirinJunkie

$iDummy muss unbedingt drin bleiben. Diese Funktionen werden als Callback-Funktionen in _FS_ArraySearchFuzzy() verwendet und erhalten beim Call 3 Parameter. Der Parameter heißt nicht umsonst so.

Das verstehe ich leider nicht. Was genau bringt der optionale Parameter, wenn er in der Funktion selbst keine Verwendung findet?

Zitat von AspirinJunkie

Zur konstanten Int-Zahl: Was habt ihr alle damit? Im englischen Forum kam auch schon die Sprache darauf. Es ist einfach nur eine möglichst große Zahl gegen die verglichen wird. Die muss gar nicht über die Funktionen hinweg den gleichen Wert besitzen. Ich sehe daher nicht wirklich einen Vorteil hierfür eine zusätzliche globale Konstante einzuführen. Ihr aber offensichtlich schon. Verstanden habe ich es jedoch noch nicht.

Du hast mir jetzt erklärt wofür diese "möglichst große Zahl" steht. Du hast auch aufgezeigt, dass es gar nicht die selbe große Zahl sein muss, welche 6x in den (zwei) Funktionen verwendet wird sondern auch eine andere jedes Mal sein könnte. => Genau das ist der Hintergrund von "magic numbers", man weiß nicht wieso, was sie darstellen soll und ob es genau diese sein muss etc. Man fragt sich ob man diese Zahl nicht auslagern kann usw. Daher wird allgemein "empfohlen", dass magic numbers mit sprechenden Namen verhindert werden sollten.

Wenn es keine Konstante ist, was ich nun verstanden habe, würde ich persönlich folgendes tun: Local $iRandomBigNumber = 9223372036854700000 oder ähnliches. Dann ist klar für jeden weiteren Entwickler der sich die UDF ansieht, was sie bedeuten soll und das sie nicht konstant ist (sein muss).

Zitat von AspirinJunkie

Weiß ich ehrlich gesagt nicht mehr genau. Ich kam aber darauf, dass eine Funktion für die unscharfe Suche in Arrays gut für die ArrayPlus-UDF wäre.
Als ich mich dann tiefer in die Thematik eingelesen habe, hab ich festgestellt, dass die Thematik eine eigene UDF verdient.

Du bist der Knaller 😂 , alles klar. Danke dir.

Viele Grüße
Sven

**AspirinJunkie**

Zitat von SOLVE-SMART

Das verstehe ich leider nicht. Was genau bringt der optionale Parameter, wenn er in der Funktion selbst keine Verwendung findet?

Die ArraySearchFuzzy ist flexibel was die verwendete Distanzmetrik angeht. Die verschiedenen Metriken wählt man, indem man diese als Callbackfunktionen übergibt.

Nun ist es jedoch so, dass manche der Algorithmen sich beschleunigen lassen, wenn man diesen mitteilt was der Grenzwert ist. Die Levenshtein-Funktion wäre so ein Beispiel. Das ist besonders wichtig für die Suche in einem Array. Daher muss diese der Callback-Funktion den Grenzwert auch übergeben (Parameter $iMax). Es gibt aber auch die Algorithmen die sich dadurch nicht beschleunigen lassen bzw. ich das nicht implementiert habe. Denen ist daher ein $iMax wurscht. Aber da sie als Callback-Funktion zusammen mit den $iMax-Funktionen verwendet werden habe ich nun die Wahl entweder den $iMax-Parameter auszulassen und daher die Arraysuche massiv zu verlangsamen oder alternativ den anderen Funktionen einfach nur einen funktionslosen Dummy-Parameter hinzufügen.

**water**

Hab's in das engl. Wiki aufgenommen

Womit sich mir mal wieder die Frage stellt - kriegen wir sowas im dt. Forum demnächst auch? Das Addon ist ja installiert und der Menüpunkt ("Artikel") eingerichtet. Viel kann also nicht mehr fehlen

**SOLVE-SMART**

Ahhh, jetzt habe ich es verstanden. Vielen Dank für die Erläuterung 🤝 , ergibt Sinn soweit.

Aus deiner einen Funktion, drei zu machen ist keine Option oder? Also ich meine eine mit optionalen Parameter, eine ohne und eine die den eigentlichen Inhalt beinhaltet der dann von beiden Funktionen aufgerufen wird. Also damit du natürlich den Code nicht redundant (doppelt) hast. Somit wäre der Aufruf von einer oder der anderen Funktion (je nach Bedarf des Dummy param) gegeben und unter der Haube (als eine Abstraktionsebene tiefer), hast du den Code aufgeteilt.

Naja, ist glaube ich over-the-top und unnötig 😅 .

**BugFix**

Zitat von AspirinJunkie

war allerdings zu faul da mir schon das ganze dokumentieren tierisch auf den Sack ging.

Ernst gemeintes Angebot: Wenn du mal einen Ghost-Dokumentator brauchst, melde dich. Ich werde wahrscheinlich nicht zwingend alle Finessen erkennen und beschreiben können. Aber für das Grundgerüst sollte es reichen. Feinheiten und Korrekturen blieben dann noch für dich.

Nicht dass ich wirklich scharf aufs Dokumentieren bin, aber besser kann man neue Dinge kaum lernen, als sie eigenständig beschreiben zu müssen.

**SOLVE-SMART**

Zitat von water

Hab's in das engl. Wiki aufgenommen

Well well water , fleißig und weitsichtig wie immer - vielen Dank 👍 .

Für die die nicht wissen wo das engl. Wiki zu finden ist, 🔗 hier .

**water**

**AspirinJunkie**

Zitat von BugFix

Wenn du mal einen Ghost-Dokumentator brauchst, melde dich.

Um mal meinen alten Prof zu zitieren: "Sind wir ehrlich - so ne Pampelarbeit ist eigentlich eher was für Frauen oder Kriminelle"...

Danke dir aber wenn ich möchte, dass andere meine Funktionen nutzen und darüber hinaus auch so wie sie gemeint waren, dann komme ich schlicht nicht darum, das selbst zu dokumentieren.
Da muss man sich halt zusammenreißen - gehört halt auch dazu.

Zitat von SOLVE-SMART

Aus deiner einen Funktion, drei zu machen ist keine Option oder?

Dann haben wir Unübersichtlichkeit, Code-Redundanz und Komplexität mit dazugehöriger Fehleranfälligkeit dazugewonnen.
Da bleibe ich ganz sicher bei der Variante wo ich 4 Parameter definiere von denen der User nie was mitbekommt.

**SOLVE-SMART**

Zitat von AspirinJunkie

Dann haben wir Unübersichtlichkeit, Code-Redundanz und Komplexität mit dazugehöriger Fehleranfälligkeit dazugewonnen.
Da bleibe ich ganz sicher bei der Variante wo ich 4 Parameter definiere von denen der User nie was mitbekommt.

Sehe ich nicht zwingend so, aber fair enough, klar bleib dabei. Danke nochmal für die Erläuterung warum du es so gemacht hast 🤝 .

Viele Grüße
Sven

**BugFix**

Zitat von AspirinJunkie

"Sind wir ehrlich - so ne Pampelarbeit ist eigentlich eher was für Frauen oder Kriminelle"

Ein Mann voller Lebensweisheit ...