Daniel Reinhardt

• Intuitive Benutzung wird in dieser Arbeit definiert als das Ausmaß, mit dem ein Produkt mental effizient und effektiv genutzt wird, was mit einem starken metakognitiven Gefühl von Flüssigkeit einhergeht. Aktuelle Methoden verfügen nicht über eine ausreichend hohe zeitliche Anwendungseffizienz, um im Industrieprojekt 3D-GUIde effektiv zur Evaluation von Interaktionspatterns für 3D-Creation-Oriented-User-Interfaces (3D-CUIs) eingesetzt werden zu können. Diese Interaktionspatterns beschreiben strukturiert, wie 3D-CUIs als User Interfaces zurIntuitive Benutzung wird in dieser Arbeit definiert als das Ausmaß, mit dem ein Produkt mental effizient und effektiv genutzt wird, was mit einem starken metakognitiven Gefühl von Flüssigkeit einhergeht. Aktuelle Methoden verfügen nicht über eine ausreichend hohe zeitliche Anwendungseffizienz, um im Industrieprojekt 3D-GUIde effektiv zur Evaluation von Interaktionspatterns für 3D-Creation-Oriented-User-Interfaces (3D-CUIs) eingesetzt werden zu können. Diese Interaktionspatterns beschreiben strukturiert, wie 3D-CUIs als User Interfaces zur Erstellung von dreidimensionalen Inhalten gestaltet werden müssen, um intuitive Benutzung zu unterstützen. In dieser Arbeit werden daher zwei neue Evaluationsmethoden vorgeschlagen: 1) IntuiBeat-F als formative Evaluationsmethode und 2) IntuiBeat-S als summative Evaluationsmethode. Basierend auf Default-Interventionist-Theorien und bestehenden Definitionen intuitiver Benutzung werden die mentale Beanspruchung als zentrales objektives, das metakognitive Gefühl von Flüssigkeit als zentrales subjektives und die Effektivität als zentrales pragmatisches mit intuitiver Benutzung assoziiertes Merkmal identifiziert. Die Evaluation intuitiver Benutzung mithilfe von IntuiBeat-F und IntuiBeat-S ist vielversprechend, da es sich bei beiden Methoden um Inhibition basierende Rhythmuszweitaufgaben handelt und diese somit mentale Beanspruchung objektiv erfassen können. Das Potential beider Methoden wird im Hinblick auf vorherige Forschungsarbeiten zur zeitlich effizienten Evaluation von 3D-CUIs aus der Mensch-Computer-Interaktion und der Psychologie diskutiert. Aus dieser Diskussion werden empirische Forschungsfragen abgeleitet. Die erste Forschungsfrage untersucht die wissenschaftliche Güte von IntuiBeat-S. Im ersten, zweiten und dritten Experiment werden Paare von 3D-CUIs miteinander summativ verglichen (d.h. weniger vs. stärker intuitiv benutzbare User Interfaces). Dabei wird die wissenschaftliche Güte von IntuiBeat-S hinsichtlich der Hauptgütekriterien Objektivität, Reliabilität und Validität beurteilt. Die Ergebnisse zeigen, dass IntuiBeat-S eine hohe wissenschaftliche Güte bei der summativen Evaluation besitzt. Zudem macht es bei der Anwendung von IntuiBeat-S keinen Unterschied, ob der Rhythmus über die Ferse oder den Fußballen eingeben wird, und ob als Stichproben Studierende mit höherer oder geringerer Vorerfahrung bezüglich der Nutzung von 3D-CUIs verwendet werden. Die zweite Forschungsfrage untersucht die wissenschaftliche Güte von IntuiBeat-F. Im vierten, fünften, sechsten und siebten Experiment werden 3D-CUIs einzeln formativ evaluiert (d.h. entweder ein weniger oder stärker intuitiv benutzbares User Interface). Dabei wird die wissenschaftliche Güte von IntuiBeat-F hinsichtlich der Hauptgütekriterien Gründlichkeit, Gültigkeit und Zuverlässigkeit beurteilt. Die Ergebnisse zeigen, dass IntuiBeat-F eine hohe wissenschaftliche Güte bei der formativen Evaluation besitzt. Diese liegt bei strikter Anwendung der Methode (d.h. Berücksichtigung ausschließlich mit der Methode entdeckter Nutzungsprobleme) zwar höher, ist aber bei wenig strikter Anwendung der Methode (d.h. Berücksichtigung auch unabhängig von der Methode entdeckter Nutzungsprobleme) noch ausreichend hoch. Jedoch konnte erst die Entwicklung und Einführung einer zusätzlichen Analysesoftware im Zuge des sechsten und siebten Experiments die wissenschaftliche Güte von IntuiBeat-F hinsichtlich aller drei Hauptgütekriterien demonstrieren, da ohne deren Unterstützung IntuiBeat-F vom Evaluator nicht ausreichend gründlich angewendet wird. Die dritte Forschungsfrage untersucht, wie hoch die zeitliche Anwendungseffizienz beider Methoden als wichtiger Aspekt praktischer Güte im Vergleich zu bereits vorhandenen Evaluationsmethoden für intuitive Benutzung ist. Bezüglich der summativen Evaluation wird im zweiten Experiment eine höhere zeitliche Anwendungseffizienz von IntuiBeat-S im Vergleich zum aktuellen summativen Benchmark, der CHAI-Methode, sowohl bei der Evaluation von weniger als auch bei der von stärker intuitiv benutzbaren 3D-CUIs demonstriert. Auch bezüglich der formativen Evaluation konnten die Ergebnisse der letzten vier Experimente zeigen, dass die zeitliche Anwendungseffizienz von IntuiBeat-F im Vergleich zum aktuellen formativen Benchmark, dem Nutzertest mit retrospektivem Think-Aloud- Protokoll, sowohl bei der Evaluation von weniger als auch stärker intuitiv benutzbaren 3D-CUIs höher liegt. Dieser Unterschied bleibt bestehend, egal ob eine zusätzliche Analysesoftware vom Evaluator verwendet wird oder nicht. Als Ergebnis aller Experimente lässt sich feststellen, dass die wissenschaftliche Güte und die zeitliche Anwendungseffizienz beider Methoden zur Evaluation intuitiver Benutzung von 3D-CUIs mehr als zufriedenstellend beurteilt werden kann. Die Arbeit wird mit einer Diskussion des geleisteten Forschungsbeitrags geschlossen. Dabei werden Anregungen für künftige Forschung aus theoretischer (z.B. Berücksichtigung des Gefühls von Flüssigkeit bei der Evaluation), praktischer (z.B. Untersuchung der Anwendbarkeit beider Methoden in anderen Domänen) und methodischer (z.B. Beurteilung der praktischen Güte beider Methoden anhand anderer Kriterien) Perspektive gegeben.…
• In this work, intuitive use is defined as the extent to which a product can be used in a mentally efficient and effective manner, which is accompanied by a strong metacognitive feeling of fluency. Currently available methods to measure intuitive use lack sufficiently high time efficiency to apply them effectively for evaluating interaction patterns for 3DCreation- Oriented-User-Interfaces (3D-CUIs) in the context of the industrial project 3DGUIde. These interaction patterns describe in a structured way how 3D-CUIs – user interfaces aimed toIn this work, intuitive use is defined as the extent to which a product can be used in a mentally efficient and effective manner, which is accompanied by a strong metacognitive feeling of fluency. Currently available methods to measure intuitive use lack sufficiently high time efficiency to apply them effectively for evaluating interaction patterns for 3DCreation- Oriented-User-Interfaces (3D-CUIs) in the context of the industrial project 3DGUIde. These interaction patterns describe in a structured way how 3D-CUIs – user interfaces aimed to create three-dimensional content – should be designed to support intuitive use. This work therefore proposes two new evaluation methods for intuitive use: 1) IntuiBeat-F as a formative method and 2) IntuiBeat-S as a summative method. Based on default-interventionist theories and current definitions of intuitive, this work identifies mental efficiency as the central objective, the metacognitive feeling of fluency as the central subjective and the effectiveness as the central pragmatic attribute associated with intuitive use. The evaluation of intuitive use with IntuiBeat-F and IntuiBeat-S is promising since both methods are inhibition-based rhythm secondary tasks, and can therefore assess mental efficiency objectively. Their potential for a time efficient evaluation of 3D-CUIs is discussed in the light of existing research in human-computer interaction and psychology and empirical research questions are derived from this discussion. The first research question examines the scientific quality of IntuiBeat-S. In the first, the second and the third experiment pairs of 3D-CUIs are compared in a summative manner (i.e., less intuitive vs. more intuitive user interfaces) and the scientific quality of IntuiBeat- S is assessed with regard to the scientific criteria objectivity, reliability and validity. The results show that IntuiBeat-S has a high scientific quality. Moreover, it makes no difference whether the rhythm is entered via the heel or the ball of the foot and whether the tested undergraduate students are more or less experienced in dealing with 3D-CUIs. The second research question examines the scientific quality of IntuiBeat-F. In the fourth, the fifth, the sixth and the seventh experiment 3D-CUIs are evaluated individually in a formative manner (i.e., either a less intuitive or more intuitive user interface) and the scientific quality of IntuiBeat-F is assessed with regard to the scientific criteria thoroughness, validity and reliability. The results show that IntuiBeat-F has a high scientific quality. The scientific quality of IntuiBeat-F is higher when strictly applied (i.e., considering usability problems solely found with the method), but it is already high when applied less strictly (i.e., considering further usability problems found regardless of the method). However, only the development and use of an additional analysis software in the sixth and the seventh experiment show the scientific quality of IntuiBeat-F as a formative evaluation method for intuitive use with regard to all three scientific criteria. Without the software support, IntuiBeat-F is not applied thoroughly by the evaluator. The third research question examines the practical quality of both methods in terms of application time efficiency when compared to existing evaluation methods for intuitive use. Regarding the summative evaluation, the second experiment demonstrates a higher application time efficiency of IntuiBeat-S in comparison to the current summative benchmark, the CHAI method, when evaluating both less and more intuitive 3D-CUIs. With regard to the formative evaluation, the last four experiments show a higher application time efficiency of IntuiBeat-F in comparison to the current formative benchmark, the user test with retrospective think-aloud protocol, when evaluating both less and more intuitive 3D-CUIs, irrespective of whether or not an additional analysis software is used. As a result of these studies it can be concluded that the scientific quality and the application time efficiency of both methods for the evaluation of intuitive use in the context of 3D-CUIs can be considered satisfactory. This work closes with a discussion of the accomplished research contribution and suggestions for future research from a theoretical (e.g., consideration of the feeling of fluency during the evaluation), a practical (e.g., applicability of both methods in other domains) and a methodological perspective (e.g., assessment of the practical quality of both methods using other criteria).…