Benutzerinteraktion für HR-Displays

Projektpartner: HCI-KN, CG-KN, VIS-KN, MPI

Die typische Interaktionsform für ein HR-Display ist direkte Interaktion, in der ein oder mehrere Benutzer vor dem Display stehen und mit Zeigegeräten interagieren. Eine tastatur- oder mausbasierte Eingabe ist hierbei nicht optimal, da die Benutzer dann häufig ihren Standort wechseln und/oder ihren visuellen Fokus aufgeben müssten, der bei einem HR-Display naturgegeben immer nur einen kleinen Teil der dargestellten Daten umfasst. Aus dem obigen Grund ist auch die traditionelle Interaktion per Click und Drag/Drop eingeschränkt. Vielmehr sollen gestenbasierte, intuitive Interaktionsformen untersucht werden, die es in Kombination mit geeigneten Zoomingverfahren (z.B. Zoomable User Interfaces, ZUI, mit semantischer Zoomfunktionalität) erlauben, auf natürliche Weise mit einem HR-Display zu interagieren.

Es wurden verschiedene Eingabegeräte für Gigapixel Displays untersucht, teilweise selbst entwickelt und evaluiert. Hierbei spielt insbesondere die hohe erforderliche Zeigegenauigkeit der Geräte eine wichtige Rolle. Zusätzlich wurden Blickbewegungen zur Steuerung in einer Studie untersucht (mit Teilprojekt 5), was durch mobiles Augentracking ermöglicht wurde. Die entwickelten Methoden wurden in einer Interaktionsbibliothek kombiniert und können nun auch von den anderen Projektteilnehmern verwendet werden.

Langfristige Zielsetzung

Im Rahmen des Teilprojektes 5 werden von der Arbeitsgruppe Mensch-Computer Interaktion (HCI-KN) an der Universität Konstanz für die Interaktion mit großen, hochauflösenden Displays (HR-Displays) geeignete Eingabegeräte und Interaktionstechniken entwickelt und hinsichtlich ihrer Ge-brauchstauglichkeit überprüft. Ziel hierbei ist es sowohl dem Gelegenheitsnutzer als auch dem Experten als Einzelbenutzer oder in Kollaboration mit weiteren Anwendern eine natürliche und intuitive Interaktion zu ermöglichen. Eine besondere Herausforderung resultiert dabei aus der Tatsache, dass der Anwender sich vor großen, hochauflösenden Displays bewegen muss, um kleinste Details pixelgenau wahr zu nehmen oder einen Überblick über die gesamte Darstellungsfläche zu erhalten. Demzufolge sind Eingabegeräte und Interaktionstechniken gefordert, welche dem Anwender selbst aus mehreren Metern Entfernung zum Bildschirm noch eine effiziente und effektive Manipulation der aktuellen Ansicht sowie der dargestellten Informationen erlauben. Die entwickelte Hard- und Software sowie die gewonnenen Erkenntnisse aus quantitativen und qualitativen Benutzerstudien sollen den Projektpartnern in Form einer BW-FIT Interaktionsbibliothek zur Verfügung gestellt werden, die durch eine umfassende Dokumentation der dabei verwendeten Modelle und Konzepte sowie deren theoretische Fundierung ergänzt wird.

Stand der Forschung

Aufgrund der Neuheit von HR-Displays und der damit verbundenen technischen Herausforderungen lag in den letzten Jahren der Forschungsschwerpunkt überwiegend auf der konkreten technischen Realisierung der Mehrfachprojektion, der Verbesserung der Darstellungsqualität und der Art und Weise der Informationsvisualisierung. Die Mensch-Computer Interaktion beschäftigt sich dagegen erst seit kurzem mit großen, hochauflösenden Displays, wobei überwiegend versucht wurde bewährte Interaktionskonzepte wie die Desktop-Metapher [Bezerianos-2005] oder das WIMP-Paradigma [Robertson-2005] vom Desktop-Bereich auf HR-Displays zu übertragen. Im Bereich der Eingabegeräte und Interaktionskonzepte gibt es erste Arbeiten [Chen-2001], [Cao-2003], [Vogel-2005], [Collomb-2005], [Yost-2007], welche die Notwendigkeit von neuen Eingabetechniken unterstreichen, konkrete Lösungen für spezielle Nutzungskontexte liefern und das Potential der interaktiven Exploration von komplexen Informationsräumen mit geeigneten Eingabetechniken für unterschiedlichste Anwendungsfelder wie „Visual Analytics“, „Interactive Visualization“ und „Scientific Visualization“ aufzeigen. Aufgrund der noch geringen Anzahl von Arbeiten, der unterschiedlichen Zielsetzungen und nicht standardisierten Experimente besteht jedoch weiterhin ein hoher Forschungsbedarf hinsichtlich geeigneter Eingabegeräte, generischer Interaktionskonzepte sowie deren Evaluation in Form von vergleichbaren Benutzerstudien. Gerade in der empirischen Absicherung der gefunden technischen Lösungen bestehen noch große Defizite (z.B. Langzeitevaluationsstudien unter Berücksichtigung von Trainings- und Lerneffekten).

Stand der eigenen Arbeiten

Im Rahmen des Teilprojektes „Benutzerinteraktion für HR-Displays“ wurden im letzten Jahr, basie-rend auf den Forschungsergebnissen der ersten sechs Projektmonate, unterschiedlichste Eingabegeräte und Interaktionstechniken für große, hochauflösende Displays entworfen, umgesetzt und evaluiert. Die außergewöhnlichen Anforderungen an Eingabegeräte für Gigapixel-Displays hinsichtlich Mobilität, Präzision, Effizienz, Flexibilität und Ergonomie erforderten hierbei nicht nur technische Neuentwicklungen auf Hard- und Softwareebene, sondern ebenso die Konzeption und Ausarbeitung von neuen Interaktionsmodellen, Anwendungsszenarien und Evaluationsmethoden.

Im Hinblick auf eine möglichst natürliche und an die gewohnte Kommunikation angelehnte Interaktion wurde die Gebrauchstauglichkeit von Hand- und Fingergesten zur Steuerung von großen, hochauflösenden Displays analysiert. Hierzu wurden in Kooperation mit dem Industriepartner A.R.T. GmbH in Weilheim im Rahmen einer empirischen Evaluationsstudie mit 20 Probanden die Interaktionsgeschwindigkeit und Präzision von Zeige- und Griffgesten für Selektionsaufgaben nach ISO 9241-9 überprüft und darüber hinaus auch mögliche Mehrwerte einer zusätzlichen taktilen Stimulation der Fingerkuppen getestet. Basierend auf den Erkenntnissen wurden geeignete Fingergesten bestimmt, ein kalibrierungsfreies Tracking-Device entwickelt (siehe Abbildung 1) und adaptive Methoden zur Gestenerkennung entworfen.

Als eine weitere natürliche und eher implizite Art der Eingabe wurde die Interpretation von Blickbewegungen identifiziert. In enger Kooperation mit dem Projektpartner MPI wurde die dort entwickelte LibGaze API für mobiles Eye-Tracking an der Konstanzer Powerwall installiert und über die BW-FIT Interaktionsbibliothek an das integrierte optische Tracking-System angebunden (siehe Abbildung 1). So konnte eine weltweit einmalige Forschungsumgebung geschaffen werden – einerseits für das MPI zur Weiterentwicklung des mobilen Eye-Trackings und als experimentelle Umgebung für psychophysikalische Experimente und andererseits für die Arbeitsgruppe HCI-KN zum Design von geeigneten Interaktionstechniken für Blicksteuerung und zur Analyse des spezifischen Benutzerverhaltens von Einzelpersonen sowie Benutzergruppen vor Powerwalls. Es wurden diverse Interaktionskonzepte zur impliziten Steuerung von Visualisierungen mit dem mobilen Eye-Tracker als alleiniges Eingabegerät und in Kombination mit Laserpointer oder Spracherkennung entwickelt [Bieg-2008]. Die HCI-KN konnte im Rahmen des Reinvestitionsprogramms für die Forschung an der Universität Konstanz einen weiteren baugleichen Eye-Tracker erwerben, wodurch zeitgleiche Studien und Mehrbenutzer-Szenarien möglich wurden. Forschungsergebnisse dieser Kooperation wurden gemeinsam auf dem Workshop on Vision, Modeling and Visualization (VMV 2007) in Saarbrücken präsentiert.

Eine sehr direkte und haptische Interaktion vermitteln sogenannte Multi-Touch-Displays. Diese erlauben als Wand- oder Tischbildschirme die Manipulation der GUI mit mehreren Fingern bzw. Händen gleichzeitig. Gerade auch für kollaborative Umgebungen ergeben sich hier Vorteile, da sich so mehrere Benutzer um den Tisch oder vor der Wand versammeln und gemeinsam interagieren können. Zur Analyse dieser Thesen und als Basis zur Konzeption neuer Interaktionstechniken wurde ein 40‘‘ Multi-Touch-Display auf Basis der FTIR-Technik (Frustrated Total Internal Reflection) entwickelt (siehe Abbildung 1). Hierfür wurde als Projektions- und Eingabefläche eine Acryl-Scheibe mit Silikon beschichtet und mit Projektionsfolie und Bandpass-Filter schichtweise verbunden. Über einen Oberflächenspiegel wird die Projektion übertragen und das Kamerabild für die Kontakterkennung aufgenommen. Die BW-FIT Interaktionsbibliothek erlaubt hierbei die optische Erfassung der Kontaktpunkte, die Identifizierung der Aktionen sowie die Anbindung an unterschiedlichste Visualisierungen und Systeme. Das Multi-Touch-Display wurde auf dem World Usability Day 2007 in Stuttgart sowie im Rahmen des Art Lunch Vortrags „PhoneVis - Auf dem Weg zum Traum eines blended museums" im Bildungsturm in Konstanz präsentiert.

Das schon im ersten Projektabschnitt entstandene Konzept der Laserpointer-Interaktion wurde weiter fortgesetzt, in mehreren Iterationsschritten verbessert, erweitert und umfassend evaluiert. In der aktuellen Version ist der handliche Laserpointer mit einer energiearmen Infrarotlaserdiode (Laserklasse I), einem Buttonmodul mit drei Tasten und einem Beschleunigungssensor zur Gestenerkennung ausgestattet (siehe Abbildung 5.1). Mittels mehrfarbigen LEDs an beiden Enden können Statusänderungen direkt am Gerät visuell und mit einem Vibrationsmotor taktil kommuniziert werden. Ein Array aus Industriekameras nimmt die Reflexion des Lasers auf der Projektionsfläche wahr und übermittelt diese an die BW-FIT Interaktionsbibliothek, welche deren sub-pixel genaue Lokalisierung, die Kompensation des natürlichen Zitterns der Hand und die Steuerung des Systems übernimmt [König-2007a]. In einer empirischen Vergleichsstudie wurde mit 16 Probanden die Laserpointer-Interaktion mit einer konventionellen Maus vor der Konstanzer Powerwall mittels Fitts’ Law Tapping Test bei unterschiedlichen Distanzen zum Display verglichen [König-2007b]. In einer darauf aufbauenden Langzeitstudie wurden speziell Lern- und Ermüdungseffekte untersucht und hierfür neue Evaluationsmethoden bezüglich Testdesign, Aufgabenstellung, Motivation sowie Feedback entworfen [Bieg-2008].

Die Laserpointer-Interaktion ist nicht nur an der Konstanzer Powerwall für Präsentation, Kollaboration und Evaluation in ständiger Verwendung, sondern dient ebenso für die künstlerisch-wissenschaftliche Installation „Globorama“ als Eingabegerät zur intuitiven Navigation in 360°-Satellitenaufnahmen und georeferenzierten Panoramabildern. Das in Kooperation der Projektpart-nern ZKM, CG-KN und HCI-KN entstandene Globorama wurde vom 29.09. bis 28.10.2007 am ZKM in Karlsruhe im Rahmen des Panorama Festivals ausgestellt, wodurch mehrere Tausend Besucher mit der Laserpointer-Interaktion in Kontakt gekommen sind. Während der Ausstellung wurden mehrere informelle Interviews mit Besuchern sowie schriftliche Umfragen durchgeführt und alle Interaktionsdaten von Laserpointer und Beschleunigungssensor aufgezeichnet und ausgewertet. Im Rahmen der International Conference on Intelligent User Interfaces wurde die Laserpointer-Interaktion mit der Anwendungsdomäne Globorama präsentiert und publiziert [König-2008]. Darüber hinaus wurde die Laserpointer-Interaktion im Rahmen der International „Reseller and Partner Days 2007“ der Eyevis GmbH in Reutlingen in mehreren Workshops der Industrie demonstriert. Ebenso wurde sie der Firma Merck KGaA Darmstadt als potentielles Eingabegerät zur Steuerung der Großprojektionen in deren neuer Feuerwehrleitzentrale vorgeführt und im Rahmen des 4. Heidelberger Innovationsforums präsentiert. Derzeit finden mit der Eyevis GmbH in Reutlingen und Barco Control Rooms GmbH in Karlsruhe, dem globalen Marktführer für Großprojektionen, in Absprache mit dem Ministerium Lizenzierungsgespräche zur Kommerzialisierung der Laserpointer-Interaktion statt.

BW-FIT Interaktionsbibliothek mit direkt-manipulativer GUI zur interaktiven Konfiguration und Integration diverser Eingabegeräte für unterschiedlichste Anwendungsdomänen

Die softwaretechnische Basis der bisher entwickelten Eingabegeräte und Interaktionstechniken ist die BW-FIT Interaktionsbibliothek. Diese abstrahiert die einzelnen Gerätetreiber, Konfigurationen, Filter und Interaktionspipelines von den Visualisierungen. So können Standardapplikationen ohne Anpassungen mit Laserpointer, Fingergesten etc. bedient und Filter (z.B. Multi-Modell Kalman-Filter zur Zitter-Kompensation) für unterschiedlichste Eingabegeräte mehrfach verwendet werden. Die BW-FIT Interaktionsbibliothek wurde bisher als zentrale Komponenten in zahlreichen bilateralen Kooperationen für mobiles Eye-Tracking (MPI), Globorama (ZKM, CG-KN), Visualisierung von Zeitreihendaten (VIS-KN) sowie projektintern (HCI-KN) eingesetzt (siehe Abbildung 1). Ebenso wurde sie für das taktile Finger-Tracking in Kooperation mit der A.R.T. GmbH in Weilheim und für die Realisierung der Laserpointer-Interaktion in Verbindung mit den Rückprojektions-Cubes der Eyevis GmbH in Reutlingen verwendet. In Kooperation mit der Global Information Systems Group der ETH Zürich wurde das iPaper Framework für „Interactive Paper“ an die BW-FIT Interaktionsbibliothek angeschlossen und Interaktionskonzepte zur Steuerung der Powerwall mit digitalem Stift und annotiertem analogen Papier entwickelt. Es ist geplant bis Ende 2. Quartal 2008 die BW-FIT Interaktionsbibliothek als Release V1.0 allen BW-FIT Projektpartnern und ausgewählten Industrie- und Forschungspartnern zur Verfügung zu stellen.

Sowohl die BW-FIT Interaktionsbibliothek als auch die verschiedenen Eingabegeräte und Interakti-onstechniken wurden im Rahmen der Seminare „Interaktionstechniken für große Displays“ (SS06), „Neue Eingabegeräte für die Mensch-Computer Interaktion“ (SS07) und der Vorlesung „Interaktionsdesign für hochauflösende Displays“ (WS07/08) eng mit der Lehre verzahnt, in Bachelor- und Masterprojekten sowie Abschlussarbeiten erweitert und evaluiert. Des Weiteren bearbeiten derzeit zwei Doktoranden das Thema „Entwicklung von neuen Eingabegeräten und Interaktionstechniken“ für hochauflösende Displays. Die Ergebnisse dieser Arbeiten fließen ebenfalls direkt in die Interaktionsbibliothek ein.

Veröffentlichungen

[König-2008] Werner A. König, Joachim Böttger, Nikolaus Völzow, Harald Reiterer: Laserpointer-Interaction between Art and Science, IUI'08: Proceedings of the 13th International Conference on Intelligent User Interfaces, ACM Press, New York, pp. 423-424, 2008.

[Bieg-2008] Hans-Joachim Bieg: Laserpointer and Eye Gaze – Interaction Design and Evaluation, Masterarbeit, FB Informatik und Informationswissenschaft, Universität Konstanz, 2008.

[König-2007a] Werner A. König, Hans-Joachim Bieg, Toni Schmidt, Harald Reiterer: Position-independent interaction for large high-resolution displays, IHCI'07: Proceedings of IADIS International Conference on Interfaces and Human Computer Interaction 2007, IADIS Press, Lisbon, Portugal, pp. 117-125, 2007.

[König-2007b] Werner A. König, Hans-Joachim Bieg, Harald Reiterer: Laserpointer-Interaktion für große, hochauflösende Displays, Mensch & Computer 2007: Interaktion im Plural, 7. Konferenz für interaktive und kooperative Medien, Oldenbourg Verlag, pp. 69-78, 2007.

[König-2007c] Werner A. König: Zoomable User Interfaces - Intuitive Navigation in komplexen In-formationsräumen, VDM Verlag Dr. Müller, Saarbrücken, 2007.

Sonstige Forschungsleistungen

Termine 2008

Sonstige Aktivitäten im Projektverbund

Für die Entwicklung einer möglichst generischen und damit vielseitig einsetzbaren Interaktionsbibliothek für HR-Displays ist die kontinuierliche Anwendung und Überprüfung der entwickelten Methoden bei den Projektpartnern an konkreten Anwendungsdomänen und Problemstellungen unabdingbar. So wurde die BW-FIT Interaktionsbibliothek inklusive Laserpointer-Interaktion der HCI-KN mit Visualisierungstechniken der CG-KN gekoppelt und zusammen mit dem ZKM zu der künstlerisch-wissenschaftlichen Installation Globorama ausgebaut. Für die Ausstellung am ZKM wurde die Interaktionsbibliothek an den ZKM 360° PanoramaScreen und für die wissenschaftliche Demonstration auf der IUI 2008 an eine Einzelprojektion angebunden. In Kooperation mit der Eyevis GmbH in Reutlingen wurde die Laserpointer-Interaktion in kommerzielle Rückprojektions-Cubes integriert und mit der A.R.T. GmbH in Reutlingen Gestenerkennung mittels taktilem Finger-Tracking auf Basis der BW-FIT Interaktionsbibliothek realisiert. Zusammen mit dem MPI wurde der mobile Eye-Tracker an der Powerwall integriert und verschiedene Interaktionsmethoden entworfen und getestet. Zum einen wurde der mobile Eye-Tracker mit dem Laserpointer-Interaktion kombiniert, um hierbei die Zeige-präzision zu optimieren, zum anderen wurden die Möglichkeiten der rein blickbasierten Interaktion in einer prototypischen Anwendung getestet. Darüberhinaus fand eine enge Zusammenarbeit zwi-schen dem MPI und HCI-KN bei der Implementierung der Java API (JGaze) für die Eye-Tracking Bibliothek (LibGaze) statt, um diese mit bestehenden Powerwall Anwendungen nutzen zu können und LibGaze künftig in die BW-FIT Interaktionsbibliothek einbinden zu können. Zur Darstellung von interaktiven hochauflösenden Visualisierungen auf dem Powerwall wurden mit CG-KN und VIS-KN geeignete Verfahren analysiert und umgesetzt. In Kooperation mit VIS-KN wurden Interaktionskonzepte für die Exploration und Analyse von Zeitreihendaten entworfen, welche im weiteren Verlauf des Projektes konkret umgesetzt und evaluiert werden sollen. Ferner wurde das iPaper Framework für „Interactive Paper“ der Global Information Systems Group der ETH Zürich an die BW-FIT Interaktionsbibliothek angeschlossen und gemeinsam geeignete Interaktionskonzepte zur Steuerung der Powerwall mit digitalem Stift und annotiertem analogen Papier entwickelt.

Presseberichte und Ankündigungen

Suedkurier.de, 06.02.2008, click

AV Europe magazine, „HD art in a circle, 360° projection in Germany“, Haymarket Publishing, UK, Cover und pp. 46-47, Jan 2008, click

Ka-news. de, 30.09.2007, click

Badische Neueste Nachrichten (Printausgabe), Besprechung Globorama, 29./30.09.2007

Page-online.de, 29.09.2007, click

Suedkurier.de, 27.09.2007, click

Visual-computing.de, 25.09.2007, click

Netzwerk-mediatheken.de, 25.09.2007, click

Inf.uni-konstanz.de, 25.09.2007, click

Dumontreise.de, 25.09.2007, click

Heise.de, 24.09.2007, click

National Geographic, 19.09.2007, click

Lifepr.de, 19.09.2007, click

Baden-Württemberg Magazin, Nr. 4, 2007, S. 23, click

Computer Zeitung (Print- und Online-Ausgabe), 04.05.2007, click

Mannheimer Morgen (Printausgabe), 25.04.2007, Bericht anlässlich des Heidelberger Innovationsforums

Externe Referenzen

[Bezerianos-2005] Bezerianos, A. and Balakrishnan, R., View and Space Management on Large Dis-plays, IEEE Computer Graphics and Applications 2005.

[Cao-2003] Cao, X. and Balakrishnan, R., VisionWand: interaction echniques for large displays using a passive wand tracked in 3D. UIST 2003.

[Chen-2001] Chen, X. and Davis, J., LumiPoint: Multi-User LaserBased Interaction on Large Tiled Displays. Technical report, Stanford University, 2001.

[Collomb-2005] Collomb, M., Hascoet, M., Baudisch, P., and Lee, B., Improving drag-and-drop on wall-size displays. GI 2005.

[Robertson-2005] Robertson, G., Czerwinski, M., Baudisch, P., Meyers, B., Robbins, D., Smith, G., and Tan, D., The Large-Display User Experience, IEEE Computer Graphics and Applications 2005.

[Vogel-2005] Vogel, D. and Balakrishnan, R., Distant freehand pointing and clicking on very large, high resolution displays. UIST 2005.

[Yost-2007] Yost, B., Haciahmetoglu, H., and North, C., Beyond Visual Acuity: The Perceptual Scala-bility of Information Visualizations for Large Displays, to appear in ACM Conference on Human Factors in Computer Systems (CHI), April 2007.

Koordination:

Prof. Dr. Harald Reiterer (HCI-KN)
Arbeitsgruppe Mensch-Computer-Interaktion
Universität Konstanz
Universitätsstraße 10, 78457 Konstanz
Tel: 07531/88-2442
Fax: 07531/88-4772
harald.reiterer@uni-konstanz.de
http://hci.uni-konstanz.de/research/projects/intehrdis