Skip to main content

12 Tangible und Embodied Interaction

Ära​

  • Beginn: 1950er
    • Mainframe Ära
  • Beginn: 1970er
    • Personal Computing Ära
  • Beginn: 1990er/2000er
    • Ubiquitous Computing Ära

Ubiquitous Computing​

“The most profound technologies are those that disappear. They weave themselves into the fabric of everyday life until they are indistinguishable from it.“

Reality-Based Interaction​

  • Naïve Physics (NP):
    • people have common sense knowledge about the physical world.
  • Body Awareness & Skills (BAS):
    • people have an awareness of their own physical bodies and possess skills for controlling and coordinating their bodies.
  • Environment Awareness & Skills (EAS):
    • people have a sense of their surroundings and possess skills for negotiating, manipulating, and navigating within their environment.
  • Social Awareness & Skills (SAS):
    • people are generally aware of others in their environment and have skills for interacting with them.

Tangible User Interfaces​

Hiroshi Ishii

The key idea of tangible interfaces is giving physical form to digital information. These physical forms serve both as representations and controls for their interwoven digital bindings and associations. TUIs make digital information directly manipulable with our hands, and perceptible through our foreground and peripheral senses. Ishii & Ullmer 2012

  • Physische Objekte repräsentieren digitalen Daten, z.B. digitale Objekte, Objekteigenschaften oder Funktionen
  • Die Manipulation physischer Objekte bewirkt die Manipulation der assoziierten Daten
  • Tangible Interaction bezieht Körper, Raum und Umgebung ein (Embodied Interaction)
  • Interdisziplinäres Forschungsfeld
  • „tangere“ (lat.) = berühren, greifen
  • In Deutschland vertreten durch die Fachgruppe „Be-greifbare Interaktion“ innerhalb der Gesellschaft für Informatik
  • Vorgänger: 3D Modellierung

Constraints - Tangible User Interfaces​

  • Physical Constraints
    • properties of the physical world (e.g., form, size); make some actionsimpossible and encourage others
    • should be easy to see and interpret
  • Logical Constraints
    • Use reasoning to determine the alternatives (what are the possible options?)
    • Natural mappings work by providing logical constraints (e.g., spatial layout)
  • Cultural Constraints
    • Conventions shared by a cultural group; prohibit some activities and encourage others
    • Cultural conventions evolve over time

Bimanual Interaction - Tangible User Interfaces​

The non-dominant hand provides a frame of reference for the dominant hand.

Potentiale - Tangible User Interfaces​

  • Große Bedeutung des Tastsinns: Form- und Materialvielfalt in der MCI
  • Menschen sind motorisch sehr geschickt mit den Händen.
  • Gewohnte Handlungen können nahtlos mit digitalen Systeme integriert werden.
  • Verwendung von Objekteigenschaften zur Interaktion („Affordances” und „Constraints”)
  • Nutzung des dreidimensionalen Raums und Einbeziehung des ganzen Körpers
  • Geeignet für Gruppenszenarien: Externalisierung und Zugriff
  • Im Einklang mit konstruktivistischer Lerntheorie: Multimodal mit allen Sinnen Lernen

Arten von Tangible User Interfaces​

ArtBildInfo
Interactive Surfaceshorizontal, vertical, or other surfaces as interactive workspace for the manipulation of physcial tokens
Tokens and ConstraintsMain Topics: Audio Manipulation, Image and Video Manipulation, System Control
Constructive assembliesMain topics: spatial arrangement, 3d modelling, programming for kids, storytelling

GUI Interaction Model: MVC​

  • Model:
    • The digital model e.g. a data file
  • View:
    • The visual representation e.g. a graphical icon
  • Control:
    • The controller e.g the mouse pointer

TUI Interaction Model: MCR-pd​

  • 1 Physical representations (rep-p) are computationally coupled to underlying digital information (model).
  • 1 Physical representations embody mechanisms for interactive control (control).
  • 2 Physical representations are perceptually coupled to actively mediated digital representations (rep-d).
  • 3 Physical state of tangibles embodies key aspects of system’s digital state.
  • 4 Spatial (re-) configurability (added by (Ullmer 2002) )

Sand als Interaktionsmaterial​

  • Sand hat eine lange Tradition beim kindlichen Spielen
  • Erinnerungen an die eigene Kindheit: wir alle haben Erfahrungen mit Interaktion mit Sand
  • Erlaubt offenes Spielen, Gestalten, Bauen, Explorieren, Ausprobieren, insbesondere zusammen mit Wasser
  • Multisensorische Interaktion, insbesondere haptisch-taktiles Feedback
  • Eignet sich auch für soziale Interaktionen

VRBox (Virtual Reality Sandbox)​

Interaktion VRBox​

  • Direkte Interaktion: Formen der Oberfläche mit den Händen im Sand
  • Per Mid-Air Menü und Freihandgeste: Wasserstand verändern, Virtuelle Objekte in der Szene platzieren
  • Per Kopfbewegung: Teleportation in die kreierte VR Welt

Interactiver Tisch​

Anwendungsgebiete Interaktive Tische​

  • Meetingräume, Büroanwendungen, Gruppenunterstützungstools
  • Lernanwendungen (e.g., Klassenzimmer, Museum)
  • Entertainment (z.B..,Spiele, Musikanwendungen, Multimedia)
  • Interactive Möbel auf Messen, in Läden oder Restaurants
  • Planungstische (e.g., Stadt- und Landschaftsplanung, Schiffsverkehr, Polizei, Feuerwehr)

Reactable: Setup​

Shape-Changing Interfaces​

Interfaces, welche Ihre Form verändern können

Radical Atoms​

Radical Atoms takes a leap beyond Tangible Bits by assuming a hypothetical generation of materials that can change form and appearance dynamically, becoming as reconfigurable as pixels on a screen.

Radical Atoms is a computationally transformable and reconfigurable material that is bidirectionally coupled with an underlying digital model (bits) so that dynamic changes of physical form can be reflected in digital states in real time, and vice versa.