Intuitive Bedienung von Windows

1. offizieller Beitrag

    Hallo zusammen!
    Ich schon wieder ;)
    Ich bin gerade dabei eine neue Bedienmöglichkeit für Windows zu programmieren.
    Funktionen:

    Spoiler anzeigen

    -> Bedienung der Maus über eine Webcam
    -> "anzapfen" der Windows-Spracherkennung um Befehle für das Programm auszuführen

    Ideen sind gerne erwünscht!! :D

    Es ist grad in der Entwicklung, geht aber schnell voran :)

    Zugegeben, ich verwende ein bisschen C++ bzw. C#, aber nur, weil das mit AutoIT an manchen Stellen nicht so gut funktioniert :rolleyes:
    Aber das Grundgerüst besteht aus AutoIT :!:^^

    Falls es was neues gibt, schreibe ich es hier hinein ;)

    Willst du das auch mit dem Touchless machen?

    Ich finde die Idee ziemlich cool ich hoffe das wirde was

    mfg eagle

    Danke erstmal!

    Ja, läuft alles über Touchless, aber in meiner Version :) :
    Ein Video von der Webcam wird solange durch Videoprogramme geschickt, bis von den Fingerspitzen nur noch weiße Punkte übrig sind, die werden in Koordinaten umgewandelt, und diese bewegen dann die Maus :D

    Ich habe nun ein paar Funktionen in meinen Plan hinzugefügt und habe schon angefangen:

    Spoiler anzeigen

    -> Klicks weden durch Touchless über die Webcam erkannt (ruckartige Bewegungen in Richtugn webcam ;) )
    -> Klicks werden über Spracherkennung ("Klick") angenommen
    -> Der Computer kann zur Uhrzeit abgefragt werden ("Wie viel Uhr ist es?" - "12 Uhr" 8) )
    -> Koordinaten von Touchless werden in Variablen gepackt und können so von anderen programmierten Anwendungen übergeben werden
    -> Eine Spielesammlung wird erstellt 8o
    -> Kleinprogramme werden über Sprachbefehle ausgeführt (z.B. "Rechner", "AutoIT-Entwicklungsumgebung"...)
    -> Versch. Programme werden ferngesteuert (z.B. "Parpierkorb leeren" (Bei Vista zusätzlich: "Ja ich bin mir sicher", "Zulassen", "Fortsetzen", "Ja!" und nicht zu vergessen "Zulassen" :rofl: ))
    -> Sprachbefehle können dem Programm "beigebracht werden", um auf Befehl Programme auszuführen
    -> Die Spracherkennung kann auch für externe Anwendungen verwendet werden

    So jetzt habe ich mir viel vorgenommen. Also könnte noch was dauern... Aber es wird! ;)

    Nochmal danke!

    Ich glaube ich lasse das erst mal seriös ;)

    Ich hab da gleich mal eine Bitte: Ich suche schon die ganze Zeit, finde aber nichts. Wenn jemand zufällig ein Freeware (ideal wär Open-Source, ist aber nicht nötig) -Programm kennt, dass Videos von der Webcam "Live" bearbeiten kann, soll sich bitte bei mir melden (PM, Email, hier, ist egal :) ). Oder ist das sogar mit AutoIT möglich ?(:huh:?(

    Danke für den Link, ich schar den mal an ;)

    Ich brauche das Programm dafür: Das Video wird von der Webcam aufgenommen und gleichtzeitig durch verschiedene Filter geschickt, sodass nur noch weiße Punkte von den Fingerspitzen übrig bleiben. Diese werden dann in Koordinaten verwandelt, der Rest ist ganz normal... :)

    Aber danke!

    Jaja, das war mehr ein Scherz :)

    Ich habe nun wieder eine Frage an alle: Gibt es eine Möglichkeit mit AutoIT etwas ähnliches wie eine Spracherkennung zu machen (*.WAVs vergleichen)? Sonst würde ich das über Microsoft Speech SDK machen, wär aber schade, da nicht AutoIT zu benutzen... ;)

    Welche Möglichkeit, die oben beschrieben wurde, findet ihr besser? 9

    1. 1. Möglichkeit (der Kasten ^^ ) (2) 22%
    2. 2. Möglichkeit (Webcam, aber Mist ^^ ) (1) 11%
    3. 3. Möglichkeit (Entscheidung, längere Programmierarbeit, aber bequemer für den User ^^ ) (6) 67%

    Danke für die Antwort! ;)

    <-- Für diese Umfrage bitte weiterlesen :!: :!: :!: :) ^^

    Ich habe erst einmal ein Icon angefertigt, , hoffe das gefällt euch (ist zwar sehr primitiv, finde ich aber persönlich ok. Ist jetzt JPG, da ico nicht unterstützt wird :S

    Nun habe ich, sagen wir mal, eine Hardware "entwickelt" :):

    Also man nehme:

    Spoiler anzeigen


    1. Holz
    2. Eine Webcam (ruhig mindere Qualität)
    3. Schwarze Farbe
    4. Leim oder Schrauben, was ihr lieber mögt :)
    5. Bohrer
    6. USB-Kabel für die Webcam
    7. Schwache Lampe (Glühbirne kP)
    8. Treiber für die Webcam

    Und nun baut man das so auf:

    Spoiler anzeigen


    1. Man baut aus 5 Brettern ein Quadrat (unten offen): Oben teilweise offen (da schaut die Webcam raus) unten Webcam rein, nach oben ausgerichtet und hinten Loch für USB-Kabel
    2. Oben drauf wird ein weiterer Würfel gebaut, unten offen, vorne offen (da kommt die Hand rein) hinten Löcher. An die Löcher eine Glühbirne dran, die mit Strom versorgt wird.
    3. Die Innenseiten des oberen Würfels möglichst gleichmäßig schwarz anmalen
    4. Webcam anschließen, Treiber installieren :D

    So folgender Sinn: Das schwarze ist, damit die Touchless-Software die Hand besser erkennt. Das wird alles "Lichtdicht" abgeschlossen, nur die Glühbirne leuchtet von hinten etwas aus. Das führt dazu, dass die Webcam das besser erkennt. Ich werde das am Wochenende auch bauen und testen, wenn nichts dazwischenkommt 8o

    Also: Folgende Frage, wie findet ihr das besser?
    1. So wie ich es oben beschrieben habe... Beste Qualität
    2. Besser mit anderer Webcam, die auch aufs Gesicht ausgerichtet ist (Laptop intengrierte oder so...) Schlechtere Qualität des Programms *
    3. Der User soll dann selbst entscheiden (längere Programmierzeit...)

    *= Das Gesicht wird von dem Programm auch versucht umgewandelt zu werden, dass ist auch eines der aktuellen Touchless-Betas...

    Achja zu 1.: Es geht natürlich auch, dass eine Webcam auf eine Hand ausgerichtet wird, der Hintergrund sollte aber möglichst weiß oder schwarz sein...

    So erstmal Schluss, bitte unten abstimmen :)

    P.S.: Jetzt aber zum Status:

    Touchless: Suche im Moment noch Software, wird aber 8)
    Speech: Ich werde SpeechSDK verwenden, d.h. jetzt auch noch Visual Basic lernen :wacko: Aber nur das wichtigste, Rest von AutoIT :rolleyes:
    Text-To-Speech: Joa, ich schau mal wo Microsoft Anna runtergeladen werden kann (Sam ist Mist :thumbdown:;) )
    Versch. Programme: In Arbeit, kommen aber zum Schluss

    Gesamtprogramm: Erst die Einzelteile :P

    So, Abstimmung für die Umfrage läuft erstmal grenzenlos, werde sie aber später mal stoppen :D Bitte abstimmen :thumbup:

    Einmal editiert, zuletzt von MatthiasG. (29. November 2008 um 11:21)

    @ Peethebee: Tut mir Leid, hier muss ich jetzt einen doppelten Threat machen, es geht hier um was anderes als oben...

    Hallo zusammen,

    so, nun gibts Neuigkeiten! :)
    Ich habe mir nun genauere Gedanken gemacht und angefangen zu programmieren:

    1. Die Box wird ersetzt, ich habe mir was einfacheres überlegt: Sparender ist das hier:

    (eben mit Maya gerendert, ich weiß, ist nicht das beste, war nur auf die schnelle... :) )
    Die Umfrage bleibt aber bestehen! Das ersetzt jetzt die 1. Möglichkeit! Weiter Abstimmen! :D

    2. Die Bilder die von der Webcam verarbeitet zurückgeliefert werden, sehen in etwa so aus:

    VVV kann ich leider nicht verwenden (das ist leider zu groß, und lässt sich nicht so gut bedienen. Ich habe aber eine gute Alternative gefunden (Beschreibung folgt ;) ))

    3. Aufruf an alle: Ich bitte um Ideen für die Spiele- bzw. Gadget-Sammlung!! Ich werde ein Snake entwickeln, dass über Touchless gesteuert wird :) Zusätlich wird ein Wetter-Informations-Tool verwirklicht ;)

    So, das war es erstmal von mir! Ich melde mich (Hoffentlich wenn es was neues gibt :rolleyes:8o )

    Hallo, habe nun 2 kleine Tools verwirklicht, die eingebunden werden:

    1. Papierkorb-Entleerer: Ist eigentlich nur dazu da, um den Computer-Papoerkorb zu entleeren. Sprachsteuerung, so wie es im Programm steht funktioniert noch nicht!!
    2. Datum und Uhrzeits-Ausgabe: Dafür müsst ihr euch die Software installieren, die ich angehängt habe, die wird auch für das spätere Programm gebraucht. Es wird eine Stimme für den PC installiert, die ihr erst in der Systemsteuerung auswählen müsst. Sie ist eine deutsche Stimme. Die Programme befinden sich im Zip, müssen entpackt und dann installiert werden...

    Edit: Leider sind die zu groß zum Hochladen, hier die Links dazu:
    1. Programm: http://www.microsoft.com/reader/de/downloads/pc.mspx --> ganz oben rechts das auswählen
    2. Programm: http://www.microsoft.com/reader/de/downloads/pc.mspx --> wieder ganz oben rechts

    Schaut es euch an, über Lob / Kritik etc. würde ich mich freuen.

    (Das ist bis jetzt alles nur testweise, um TTS zu testen...)

    So, nach langer Zeit wieder was neues 8)

    1. Touchless: Eine Handschrifterkennung (von Windows) wird eingebunden
    2. Text-To-Speech: Text-To-Speech-Modul fertig entwickelt :thumbup:
    3. Dauert wohl noch länger :S
    4. Gadget Sammlung: Wetter ist fertig :D! (Im Anhang) Neue Planungs-Gadgets:

    Spoiler anzeigen


    1. Chem. Periodensystem
    2. Snake für den Computer (kann mir da mal jemand bei helfen ?( )

    Zitat

    Das ist leider nicht möglich. Die UAC kannst du nicht fernsteuern...


    Es ist möglich. Du müsstest dafür einen Treiber programmieren.

    MFG. RAPTOR-ONE

    Ich gaube meine Version ist dann doch etwas leichter :D Aber danke für den Hinweis! Ich werde sowieso noch ein Installationsprogramm schreiben müssen...

    Edit:

    Zitat von RAPTOR-ONE


    Es ist möglich. Du müsstest dafür einen Treiber programmieren.

    MFG. RAPTOR-ONE

    Wie genau ist so was den möglich? Ich hab gegoogelt, aber nichts gefunden. Könntest du mir einen Link geben??

    Einmal editiert, zuletzt von MatthiasG. (17. November 2008 um 14:32)

    Zitat von MatthiasG.

    1. Programm: http://www.microsoft.com/reader/de/downloads/pc.mspx --> ganz oben rechts das auswählen
    2. Programm: http://www.microsoft.com/reader/de/downloads/pc.mspx --> wieder ganz oben rechts

    Was soll denn das? Das ist doch die gleiche URL! :S
    Oder soll das Ironie sein? Dann hast du aber [ironie]das[/ironie] vergessen!

    Twitter: @L3viathan2142
    Benutze AutoIt persönlich nicht mehr, da ich keinen Windows-Rechner mehr besitze.