9+10

Kontrolliertes Experiment

Ihr habt eine Gestensteuerung für einen Smart TV entwickelt. Ihr möchtet die Gestensteuerung in einem kontrollierten Experiment evaluieren. Hierzu vergleicht Ihr zwei Eingabemethoden: Die Gestensteuerung und eine klassische Fernbedienung. Ihr wollt feststellen, ob Wechsel zwischen Programmen mit der Gestensteuerung schneller ausgeführt werden können als mit Hilfe der Fernbedienung. Ihr geht davon aus, dass BenutzerInnen mit Gestensteuerung Programme schneller wechseln können. Für Eure Studie habt Ihr 150 Personen rekrutiert, welche alle einen Fernseher besitzen. Alle Teilnehmer und Teilnehmerinnen absolvieren die folgenden Aufgaben. Zuerst wird der Fernseher angeschaltet, dann die Lautstärke erhöht und abschließend soll der Videotext geöffnet werden. Zuerst verwenden die Teilnehmenden die Fernbedienung und anschließend die Gestensteuerung. Für die Auswertung habt Ihr gemessen, wie viel Zeit die Teilnehmenden für jede Aufgabe benötigen.

Was ist die Hypothese?

BenutzerInnen mit Gestensteuerung Programme schneller wechseln können

Was ist die unabhängige Variable?

Messugn der Zeit

Was ist die abhängige Variable?

Test was schneller ist

Welches experimentelle Design wurde angewandt (Between oder Within-Subjects Design)?

• Within-Subject
  • Es werden beide Methoden ausprobiert

Welcher Apparatus wird benötigt?

• TV
• Fernbedienung

Welche zwei Fehler wurden gemacht wodurch sinnvolle Beantwortung der Eingangsfrage möglich ist?

• Vorbedinung ist nicht gleich (jeder sollte beigebracht bekommen wie das funktioniert)
• Studienteilnehmer werden zu wenig gefiltert

Warum werden in der Mensch-Technik-Interaktion Evaluationen durchgeführt?

• Prüfung von Usability, User Experience und Funktionalität
  • Wie gut ist das System?
  • Ist die Schnittstelle geeignet?
  • Welche Probleme gibt es?
  • Testen des Designs und der Umsetzung
  • Vergleich der Systeme

Was wird in den Evaluationen untersucht?

• Effizienz
• Effektivität
• Erlernbarkeit
• Erinnerbarkeit
• Spaß
• Akzeptanz

Was sind analytische Evaluationen?

• Prädiktive Modelle für Interaktion:

  • verwendung formaler Modelle, um das Verhalten vorherzusagen
  • Beispiel: Fitt‘s Law

• Deskriptive Modelle für Interaktion:

  • Machen Annahmen über die Zukunft basierend auf Erfahrungen aus der Vergangenheit
  • Beispiele: GOMS /KLM

Was sind empirische Evaluationen?

• Empirische Forschung trifft Aussagen über die Realität auf der Basis von Untersuchungen
  • Befragungen
  • Beobachtungen
  • Messungen
• verstehen, welche Ursache welchen Effekt hat

Was sind formative Evaluationen?

• Sind dafür da das Design zu verbessern

Was sind summative Evaluationen?

• Um herauszufinden, wie gut das Produkt angekommen ist
• Letzte Evaluation, die nach den Formativen Evaluationen stattfindet

Was sind subjektive Daten?

• Daten sind Subjektiv und können nicht genormt werden.
• Die Frage nach Gefühlen ist immer subjektiv
  • Standartisierte Fragebögen

Was sind objektive Daten?

• erfassen gemessene Werte
• performance metriken

Was sind qualitative Ergebnisse?

• Daten die eine Qualität beschreiben. Es geht nicht um die Qualität der Daten.
• Können nicht (oder nur sehr schwer/eingeschränkt) statistisch ausgewertet werden
• Erzählen warum etwas ist
  • Inhalt -> Kommentare, Interviews, Beobachtungen

Was sind quantitative Ergebnisse?

• Alles was man zählen kann
• Nachteil
  • Dinge werden stark vereinfacht
  • Dinge werden schnell aus dem Kontext gerissen
  • Wir kenne die Hintergründe zu den Ergebnissen nicht

Was sind jeweils die Vor- und Nachteile von Labor-Tests und Feldstudien?

Labor-Tests

• Pro
  • Spezielle Apparate vorhanden
  • Keine Störungen
  • Wiederholbar
  • Mehr Probanden
  • meist günstig
• Contra
  • Kontext fehlt
  • Echtes Verhalten schwer zu generieren
  • Usability-Labor nötig
• Gut wenn Umgebung schwer oder Gefährlich

Feldstudie

• Pro
  • Natrürliche Umgebung
  • Kontext vorhanden (wird aber vom Experiment beeinflusst)
  • Langzeitstudien möglich
  • (manchmal günstiger)
• Contra
  • Ablenkung
  • Geräusche, Störungen
  • Nicht immer reproduzierbar
  • Oft nur qualitativ
    • Probanden werden Interviewt
    • Wie geht es den Probanden nach dem test
  • Meist teuer
• Gut wenn Kontext wichtig ist

Was ist empirische Forschung?

• gaining knowledge by means of direct and indirect observation or experience

Was sind kontrollierte Experimente?

• Isolierung von Grund und Effekt
• Eine Kontrollgruppe, die nichts bekommt
• Eine Gruppe, die eine speizielle Kondition erhält (Führt das Experiment aus)

Was sind abhängige, unabhängige und kontrollierte Variablen?

• abhängig
  • was getestet wird
• unabhängig
  • was gemessen wird
• kontrolliert
  • was ist gleich

Was ist der Unterschied zwischen einer Forschungsfrage und einer Hypothese?

Forschungsfrage

fragt nach etwas, das nicht bekannt ist, beschreibt ein Ziel für Forschungsvorhaben. Aus Forschungsfragen folgen meist eine Reihe von Hypothesen, die überprüft werden können.

Hypothese

formuliert Annahmen für ein Phänomen in Form von logischen Aussagen (in einer wenn...dann Beziehung; im Experiment wird dieser Zusammenhang dann zwischen unabhängigen und abhängigen Variablen untersucht). Es gibt eine anerkannte Möglichkeit, wie diese Hypothese getestet werden kann. Die Gültigkeit einer wissenschaftlichen Hypothese kann nicht bewiesen werden, aber sie kann verworfen werden, wenn sie falsch ist, oder sie kann sich bewähren.

Was formuliert eine Hypothese? Wie lässt sie sich überprüfen?

Was ist eine Nullhypothese?

• No-Effekt Hypothesis
• There is no difference between two possibilities

Was sind Sequenzeffekte in einem Experiment? Wie kann man Sequenzeffekten entgegenwirken?

• Störeinflüsse, die bei Wiederholungsmessungen beachtet werden müssen
  • Beispiele hierfür sind Training, Müdigkeit oder Gewöhnung.
• Durch Ausbalancierung der Reihenfolge der Konditionen können Sequenzeffekte ausgeglichen werden
• lateinisches Quadrat
  • In einem ausbalancierten lateinischem Quadrat werden Sequenzeffekte ausgeglichen, indem kein Symbol zweimal auf das gleiche folgt.

Welche Arten des Versuchsgruppendesign kennt Ihr? Was sind jeweils die Vor- und Nachteile?

Between-groups

• Zufällig auswählen, welche Person welche Aufgabe macht
• Pro
  • meistens leichter zu analysieren
  • Studie ist kürzer, weil jeder Proband nur eine Sache machen muss
• Contra
  • benötigt mehr Probanden

Within-Groups

• Ein Proband durchläuft alle Varianten Beispielsweise geht ein Proband durch alle Designs
• Pro
  • Probanden können verschiedene Varianten vergleichen
  • Es ist effizienter, da man mehr und schneller Daten sammeln kann
  • Varianzen sind geringer
• Contra
  • Studie daurn länger
  • Probanden ermüden
  • Priming effekt -> Da Probanden schon etwas kennen, verhalten sie sich in den anderen Varianten anders

Was ist die Effektgröße?

• Wie groß ist der Effekt, welcher herausgefunden worden ist
• magnitude of the difference between groups

Was bedeutet der p-Wert?

The P value means the probability, for a given statistical model that, when the null hypothesis is true, the statistical summary would be equal to or more extreme than the actual observed results.

• Wahrscheinlcihkeit dass die null-hypothese wahr ist.

Was sind Typ-1 und Typ-2 Fehler?

• Typ 1: False Positive
• Typ 2: False Negative