Refine
Has Fulltext
- yes (16) (remove)
Is part of the Bibliography
- yes (16)
Year of publication
Document Type
- Doctoral Thesis (8)
- Journal article (4)
- Report (4)
Language
- German (16) (remove)
Keywords
- Evaluation (16) (remove)
Institute
- Institut für Pädagogik (6)
- Zentrum für Sprachen (2)
- Institut Mensch - Computer - Medien (1)
- Institut für Psychologie (1)
- Institut für Psychotherapie und Medizinische Psychologie (1)
- Institut für deutsche Philologie (1)
- Klinik und Poliklinik für Nuklearmedizin (1)
- Medizinische Klinik (bis 2004) (1)
- Medizinische Klinik und Poliklinik I (1)
- Universitätsbibliothek (1)
Der vorliegende Bericht präsentiert die Ergebnisse der zweijährigen Evaluation des Mannheimer Unterstützungssystems Schule (MAUS) in den Jahren 2008 bis 2010. Der Bericht basiert auf Informationen, die durch qualitative Interviews mit Schulleitungen und Lehrkräften sowie durch standardisierte Befragungen von Schülern, Eltern und Förderlehrern gewonnen wurden. Der Bericht berücksichtigt sowohl kontextuelle Aspekte des Programms, als auch Eingangsvoraussetzungen, Umsetzungsprozesse und Ergebnisse. Der Bericht gliedert sich entsprechend dieser vier Aspekte der Evaluation und gibt erfahrungsbezogene Empfehlungen für die weitere Umsetzung. Empfehlungen für die pädagogische Praxis schließen den Bericht ab.
Intuitive Benutzung wird in dieser Arbeit definiert als das Ausmaß, mit dem ein Produkt mental effizient und effektiv genutzt wird, was mit einem starken metakognitiven Gefühl von Flüssigkeit einhergeht. Aktuelle Methoden verfügen nicht über eine ausreichend hohe zeitliche Anwendungseffizienz, um im Industrieprojekt 3D-GUIde effektiv zur Evaluation von Interaktionspatterns für 3D-Creation-Oriented-User-Interfaces (3D-CUIs) eingesetzt werden zu können. Diese Interaktionspatterns beschreiben strukturiert, wie 3D-CUIs als User Interfaces zur Erstellung von dreidimensionalen Inhalten gestaltet werden müssen, um intuitive Benutzung zu unterstützen. In dieser Arbeit werden daher zwei neue Evaluationsmethoden vorgeschlagen: 1) IntuiBeat-F als formative Evaluationsmethode und 2) IntuiBeat-S als summative Evaluationsmethode. Basierend auf Default-Interventionist-Theorien und bestehenden Definitionen intuitiver Benutzung werden die mentale Beanspruchung als zentrales objektives, das metakognitive Gefühl von Flüssigkeit als zentrales subjektives und die Effektivität als zentrales pragmatisches mit intuitiver Benutzung assoziiertes Merkmal identifiziert. Die Evaluation intuitiver Benutzung mithilfe von IntuiBeat-F und IntuiBeat-S ist vielversprechend, da es sich bei beiden Methoden um Inhibition basierende Rhythmuszweitaufgaben handelt und diese somit mentale Beanspruchung objektiv erfassen können. Das Potential beider Methoden wird im Hinblick auf vorherige Forschungsarbeiten zur zeitlich effizienten Evaluation von 3D-CUIs aus der Mensch-Computer-Interaktion und der Psychologie diskutiert. Aus dieser Diskussion werden empirische Forschungsfragen abgeleitet. Die erste Forschungsfrage untersucht die wissenschaftliche Güte von IntuiBeat-S. Im ersten, zweiten und dritten Experiment werden Paare von 3D-CUIs miteinander summativ verglichen (d.h. weniger vs. stärker intuitiv benutzbare User Interfaces). Dabei wird die wissenschaftliche Güte von IntuiBeat-S hinsichtlich der Hauptgütekriterien Objektivität, Reliabilität und Validität beurteilt. Die Ergebnisse zeigen, dass IntuiBeat-S eine hohe wissenschaftliche Güte bei der summativen Evaluation besitzt. Zudem macht es bei der Anwendung von IntuiBeat-S keinen Unterschied, ob der Rhythmus über die Ferse oder den Fußballen eingeben wird, und ob als Stichproben Studierende mit höherer oder geringerer Vorerfahrung bezüglich der Nutzung von 3D-CUIs verwendet werden. Die zweite Forschungsfrage untersucht die wissenschaftliche Güte von IntuiBeat-F. Im vierten, fünften, sechsten und siebten Experiment werden 3D-CUIs einzeln formativ evaluiert (d.h. entweder ein weniger oder stärker intuitiv benutzbares User Interface). Dabei wird die wissenschaftliche Güte von IntuiBeat-F hinsichtlich der Hauptgütekriterien Gründlichkeit, Gültigkeit und Zuverlässigkeit beurteilt. Die Ergebnisse zeigen, dass IntuiBeat-F eine hohe wissenschaftliche Güte bei der formativen Evaluation besitzt. Diese liegt bei strikter Anwendung der Methode (d.h. Berücksichtigung ausschließlich mit der Methode entdeckter Nutzungsprobleme) zwar höher, ist aber bei wenig strikter Anwendung der Methode (d.h. Berücksichtigung auch unabhängig von der Methode entdeckter Nutzungsprobleme) noch ausreichend hoch. Jedoch konnte erst die Entwicklung und Einführung einer zusätzlichen Analysesoftware im Zuge des sechsten und siebten Experiments die wissenschaftliche Güte von IntuiBeat-F hinsichtlich aller drei Hauptgütekriterien demonstrieren, da ohne deren Unterstützung IntuiBeat-F vom Evaluator nicht ausreichend gründlich angewendet wird. Die dritte Forschungsfrage untersucht, wie hoch die zeitliche Anwendungseffizienz beider Methoden als wichtiger Aspekt praktischer Güte im Vergleich zu bereits vorhandenen Evaluationsmethoden für intuitive Benutzung ist. Bezüglich der summativen Evaluation wird im zweiten Experiment eine höhere zeitliche Anwendungseffizienz von IntuiBeat-S im Vergleich zum aktuellen summativen Benchmark, der CHAI-Methode, sowohl bei der Evaluation von weniger als auch bei der von stärker intuitiv benutzbaren 3D-CUIs demonstriert. Auch bezüglich der formativen Evaluation konnten die Ergebnisse der letzten vier Experimente zeigen, dass die zeitliche Anwendungseffizienz von IntuiBeat-F im Vergleich zum aktuellen formativen Benchmark, dem Nutzertest mit retrospektivem Think-Aloud- Protokoll, sowohl bei der Evaluation von weniger als auch stärker intuitiv benutzbaren 3D-CUIs höher liegt. Dieser Unterschied bleibt bestehend, egal ob eine zusätzliche Analysesoftware vom Evaluator verwendet wird oder nicht. Als Ergebnis aller Experimente lässt sich feststellen, dass die wissenschaftliche Güte und die zeitliche Anwendungseffizienz beider Methoden zur Evaluation intuitiver Benutzung von 3D-CUIs mehr als zufriedenstellend beurteilt werden kann. Die Arbeit wird mit einer Diskussion des geleisteten Forschungsbeitrags geschlossen. Dabei werden Anregungen für künftige Forschung aus theoretischer (z.B. Berücksichtigung des Gefühls von Flüssigkeit bei der Evaluation), praktischer (z.B. Untersuchung der Anwendbarkeit beider Methoden in anderen Domänen) und methodischer (z.B. Beurteilung der praktischen Güte beider Methoden anhand anderer Kriterien) Perspektive gegeben.
Der Kurs "Präsentationstechniken" soll ausländischen Studierenden einen Rahmen bieten, sich mit dem Thema Referat an deutschen Hochschulen vertraut zu machen, sich auszuprobieren und durch Übung zu verbessern. Ein Schwerpunkt liegt hierbei auf der Eigen- und Fremdeinschätzung der Studierenden. Nachdem gemeinsam Aspekte erarbeitet worden sind, worauf bei einer Präsentation zu achten ist, wird den Studierenden Gelegenheit gegeben, diese Aspekte bei sich selbst sowie bei den Kommilitonen zu überprüfen. Spontanvorträge sowie ein längerer, ausgearbeiteter Vortrag dienen als Übung, um Selbst- und Fremdevaluation zu praktizieren. Feedbackregeln helfen, die Rückmeldungen konstruktiv zu gestalten. Zur Selbsteinschätzung dienen Videoaufnahmen, Fremdeinschätzung bietet neben dem direkten, mündlichen Feedback auch schriftliche Rückmeldung auf anonymisierten Karten. Die Einschätzung durch die Lehrkraft wird durch einen Bewertungsbogen, der unterschiedliche Aspekte der Präsentation bewertet, durchsichtig gemacht. Eine Evaluation des gesamten Kurses durch die Teilnehmer schließt den Artikel ab. Zur Verdeutlichung dienen zwei im Kurs (WS 09/10) gehaltene Referate mit anschließender Beurteilung.
Untersuchungsgegenstand der vorliegenden Arbeit ist die Evaluationspraxis, welche als Bindeglied zwischen pädagogischer Theorie und Praxis verstanden wird. Es wird eine theoretische Betrachtung eines umfangreichen Evaluationsprojekts vorgenommen. Hierfür wird zunächst eine Sekundäranalyse bestehender empirischer Daten einer sechsjährigen Evaluation durchgeführt und anschließend die Evaluationspraxis aus einer Metaperspektive kritisch betrachtet.
Ausgehend von der Theorie sozialer Systeme nach Luhmann (1984) werden drei Fragestellungen fokussiert, welche sich auf den Transfer und die Implementation von Evaluationsbefunden beziehen. Zunächst wird geprüft, ob sich die systemtheoretische Differenzierung von kognitiver und normativer Modalisierung von Erwartungen datengestützt nachweisen lässt. Daraufhin werden Veränderungen der Erwartungsstile über die Zeit betrachtet. Abschließend werden systemspezifische Logiken und deren Einfluss auf den Evaluationsprozess einerseits und die Nutzung von Evaluationsbefunden andererseits fokussiert.
Zur Untersuchung der Forschungsfragen wird das empirische Material der sechsjährigen Evaluation des kommunalen Förderprogramms „Mannheimer Unterstützungssystem Schule“ herangezogen. Die qualitativen Daten der wissenschaftlichen Begleitung werden anhand der qualitativen Inhaltsanalyse nach Mayring (2015) ausgewertet, bestehende quantitative Ergebnisse werden ergänzend einbezogen.
Die zentralen Befunde der Arbeit zeigen, dass über die Zusammenführung der Theorie sozialer Systeme nach Luhmann (1984) und empirischem Datenmaterial wesentliche Prozesse und Strukturen der Evaluationspraxis in gewissem Maß systematisch entflochten werden können. Als zwei entscheidende Faktoren gelingender Evaluation stellen sich dabei zum einen der Erwartungsstil der Systeme und zum anderen die strukturelle Kopplung zwischen evaluierendem und evaluiertem System heraus.
Der vorliegende Bericht dokumentiert die Evaluationsergebnisse der zweiten Programmphase des Mannheimer Unterstützungssystems Schule von 2010 bis 2012 (MAUS II). Die Ergebnisse der wissenschaftlichen Begleitung lassen sich mit der Schlagzeile "Konsolidierung einer kommunalen Maßnahme" zutreffend charakterisieren. Diese Maßnahme einer verbesserten Bildungschance vor allem für bildungsferne Schüler ist als Leitidee in MAUS II fortgeführt worden und verfestigt sich in verschiedenen Bereichen.
Mit diesem Abschlussbericht liegen die Ergebnisse der Begleitevaluation zur dritten Programmphase des „Mannheimer Unterstützungssystems Schule“ vor. Bei dieser Evaluation wird der Schwerpunkt auf ausgewählte MAUS-Schulen gelegt, die über ein spezifisches Profil in der Umsetzung des Konzepts verfügen. Dieses Profil wurde aus umfangreichen qualitativen Interviews der zweiten Programmphase von MAUS gewonnen.
Der Fokus auf ausgewählte Schulen erlaubt einen vertiefenden Blick in Gelingensbedingungen und Herausforderungen bei der Durchführung eines solchen Förderangebots. Befragt wurden ausgewählte Lehrkräfte, FörderlehrerInnen, Eltern und SchülerInnen mittels qualitativer Interviews. Zusätzlich wurde eine Stichprobe der Förderlehrkräfte anhand eines standardisierten Online-Fragebogens befragt.
Insgesamt ist festzuhalten, dass sich spezifische Gelingensbedingungen und Ansatzpunkte für eine Optimierung und Transferierbarkeit des Unterstützungssystems herauskristallisieren.