DeskJarvis

Projektidee

Es geht darum, einen Prototypen eines AR-Interfaces (Augmented Reality) zu entwickeln, dessen Ziel es ist, deinen physischen Schreibtisch komplett zu entlasten.

Das Setup besteht aus einem Projektor, der die Benutzeroberfläche an die Wand projiziert, sowie einer Webcam, die deine Handbewegungen erfasst und zur Steuerung nutzt.

Das System ersetzt dabei:
- Uhr, Stoppuhr und Timer
- Notizen und To-Do-Listen
- Mediensteuerung für Musik
- jegliche Fotokopien oder Bilder – flexibel skalierbar in beliebiger Größe

Ziel ist es, eine minimalistische, aufgeräumte Arbeitsumgebung zu schaffen, in der alle wichtigen Funktionen digital und intuitiv über Gesten verfügbar sind.

Funktionsweise

• Projektor zeigt das Interface an der Wand hinter dem Schreibtisch
• Webcam erfasst Handbewegungen in Echtzeit
• Gestensteuerung aller Funktionen (ähnlich einer Maus)
• Virtuelle Widgets für Uhrzeit, Stoppuhr und Timer
• Digitale Notizen und To-Do-Listen
• Musiksteuerung per Handgesten
• Bilder und Dokumente frei skalierbar und verschiebbar
• Interaktion in Echtzeit mit geringer Verzögerung
• Minimaler Hardwareaufwand
• Fokus auf einfache, intuitive Bedienung

Daten und Fakten

Spannung: ~15V (Laptop/Webcam-Setup) / 230V (Projektor)
Leistung: ca. 50–150W gesamt, abhängig vom Projektor
Technologien: Angular (Typescript, HTML, SCSS, Libraries...), Python 3.12 (MediaPipe)
Kamera: HD-Webcam (30 FPS; höhere Framerates sind für die Anwendung nicht zwingend erforderlich)
Projektor: 1080p Auflösung empfohlen
Tracking: Computer Vision (Handerkennung mit OpenCV / ML-Modellen)
Software: Web-/Desktop-App (z. B. Angular + Node.js)
Latenz: <300 ms angestrebt
Eingabe: Gestensteuerung ohne Controller
Ausgabe: Wandprojektion
System: Laptop/PC erforderlich
Fokus: kostengünstige Komponenten (Gesamtbudget ca. 200 €)