Refine
Has Fulltext
- yes (14)
Is part of the Bibliography
- yes (14)
Year of publication
Document Type
- Doctoral Thesis (7)
- Report (4)
- Journal article (3)
Language
- German (14) (remove)
Keywords
- Evaluation (14) (remove)
Der vorliegende Bericht dokumentiert die Evaluationsergebnisse der zweiten Programmphase des Mannheimer Unterstützungssystems Schule von 2010 bis 2012 (MAUS II). Die Ergebnisse der wissenschaftlichen Begleitung lassen sich mit der Schlagzeile "Konsolidierung einer kommunalen Maßnahme" zutreffend charakterisieren. Diese Maßnahme einer verbesserten Bildungschance vor allem für bildungsferne Schüler ist als Leitidee in MAUS II fortgeführt worden und verfestigt sich in verschiedenen Bereichen.
Mit diesem Abschlussbericht liegen die Ergebnisse der Begleitevaluation zur dritten Programmphase des „Mannheimer Unterstützungssystems Schule“ vor. Bei dieser Evaluation wird der Schwerpunkt auf ausgewählte MAUS-Schulen gelegt, die über ein spezifisches Profil in der Umsetzung des Konzepts verfügen. Dieses Profil wurde aus umfangreichen qualitativen Interviews der zweiten Programmphase von MAUS gewonnen.
Der Fokus auf ausgewählte Schulen erlaubt einen vertiefenden Blick in Gelingensbedingungen und Herausforderungen bei der Durchführung eines solchen Förderangebots. Befragt wurden ausgewählte Lehrkräfte, FörderlehrerInnen, Eltern und SchülerInnen mittels qualitativer Interviews. Zusätzlich wurde eine Stichprobe der Förderlehrkräfte anhand eines standardisierten Online-Fragebogens befragt.
Insgesamt ist festzuhalten, dass sich spezifische Gelingensbedingungen und Ansatzpunkte für eine Optimierung und Transferierbarkeit des Unterstützungssystems herauskristallisieren.
Untersuchungsgegenstand der vorliegenden Arbeit ist die Evaluationspraxis, welche als Bindeglied zwischen pädagogischer Theorie und Praxis verstanden wird. Es wird eine theoretische Betrachtung eines umfangreichen Evaluationsprojekts vorgenommen. Hierfür wird zunächst eine Sekundäranalyse bestehender empirischer Daten einer sechsjährigen Evaluation durchgeführt und anschließend die Evaluationspraxis aus einer Metaperspektive kritisch betrachtet.
Ausgehend von der Theorie sozialer Systeme nach Luhmann (1984) werden drei Fragestellungen fokussiert, welche sich auf den Transfer und die Implementation von Evaluationsbefunden beziehen. Zunächst wird geprüft, ob sich die systemtheoretische Differenzierung von kognitiver und normativer Modalisierung von Erwartungen datengestützt nachweisen lässt. Daraufhin werden Veränderungen der Erwartungsstile über die Zeit betrachtet. Abschließend werden systemspezifische Logiken und deren Einfluss auf den Evaluationsprozess einerseits und die Nutzung von Evaluationsbefunden andererseits fokussiert.
Zur Untersuchung der Forschungsfragen wird das empirische Material der sechsjährigen Evaluation des kommunalen Förderprogramms „Mannheimer Unterstützungssystem Schule“ herangezogen. Die qualitativen Daten der wissenschaftlichen Begleitung werden anhand der qualitativen Inhaltsanalyse nach Mayring (2015) ausgewertet, bestehende quantitative Ergebnisse werden ergänzend einbezogen.
Die zentralen Befunde der Arbeit zeigen, dass über die Zusammenführung der Theorie sozialer Systeme nach Luhmann (1984) und empirischem Datenmaterial wesentliche Prozesse und Strukturen der Evaluationspraxis in gewissem Maß systematisch entflochten werden können. Als zwei entscheidende Faktoren gelingender Evaluation stellen sich dabei zum einen der Erwartungsstil der Systeme und zum anderen die strukturelle Kopplung zwischen evaluierendem und evaluiertem System heraus.
Der Kurs "Präsentationstechniken" soll ausländischen Studierenden einen Rahmen bieten, sich mit dem Thema Referat an deutschen Hochschulen vertraut zu machen, sich auszuprobieren und durch Übung zu verbessern. Ein Schwerpunkt liegt hierbei auf der Eigen- und Fremdeinschätzung der Studierenden. Nachdem gemeinsam Aspekte erarbeitet worden sind, worauf bei einer Präsentation zu achten ist, wird den Studierenden Gelegenheit gegeben, diese Aspekte bei sich selbst sowie bei den Kommilitonen zu überprüfen. Spontanvorträge sowie ein längerer, ausgearbeiteter Vortrag dienen als Übung, um Selbst- und Fremdevaluation zu praktizieren. Feedbackregeln helfen, die Rückmeldungen konstruktiv zu gestalten. Zur Selbsteinschätzung dienen Videoaufnahmen, Fremdeinschätzung bietet neben dem direkten, mündlichen Feedback auch schriftliche Rückmeldung auf anonymisierten Karten. Die Einschätzung durch die Lehrkraft wird durch einen Bewertungsbogen, der unterschiedliche Aspekte der Präsentation bewertet, durchsichtig gemacht. Eine Evaluation des gesamten Kurses durch die Teilnehmer schließt den Artikel ab. Zur Verdeutlichung dienen zwei im Kurs (WS 09/10) gehaltene Referate mit anschließender Beurteilung.
Intuitive Benutzung wird in dieser Arbeit definiert als das Ausmaß, mit dem ein Produkt mental effizient und effektiv genutzt wird, was mit einem starken metakognitiven Gefühl von Flüssigkeit einhergeht. Aktuelle Methoden verfügen nicht über eine ausreichend hohe zeitliche Anwendungseffizienz, um im Industrieprojekt 3D-GUIde effektiv zur Evaluation von Interaktionspatterns für 3D-Creation-Oriented-User-Interfaces (3D-CUIs) eingesetzt werden zu können. Diese Interaktionspatterns beschreiben strukturiert, wie 3D-CUIs als User Interfaces zur Erstellung von dreidimensionalen Inhalten gestaltet werden müssen, um intuitive Benutzung zu unterstützen. In dieser Arbeit werden daher zwei neue Evaluationsmethoden vorgeschlagen: 1) IntuiBeat-F als formative Evaluationsmethode und 2) IntuiBeat-S als summative Evaluationsmethode. Basierend auf Default-Interventionist-Theorien und bestehenden Definitionen intuitiver Benutzung werden die mentale Beanspruchung als zentrales objektives, das metakognitive Gefühl von Flüssigkeit als zentrales subjektives und die Effektivität als zentrales pragmatisches mit intuitiver Benutzung assoziiertes Merkmal identifiziert. Die Evaluation intuitiver Benutzung mithilfe von IntuiBeat-F und IntuiBeat-S ist vielversprechend, da es sich bei beiden Methoden um Inhibition basierende Rhythmuszweitaufgaben handelt und diese somit mentale Beanspruchung objektiv erfassen können. Das Potential beider Methoden wird im Hinblick auf vorherige Forschungsarbeiten zur zeitlich effizienten Evaluation von 3D-CUIs aus der Mensch-Computer-Interaktion und der Psychologie diskutiert. Aus dieser Diskussion werden empirische Forschungsfragen abgeleitet. Die erste Forschungsfrage untersucht die wissenschaftliche Güte von IntuiBeat-S. Im ersten, zweiten und dritten Experiment werden Paare von 3D-CUIs miteinander summativ verglichen (d.h. weniger vs. stärker intuitiv benutzbare User Interfaces). Dabei wird die wissenschaftliche Güte von IntuiBeat-S hinsichtlich der Hauptgütekriterien Objektivität, Reliabilität und Validität beurteilt. Die Ergebnisse zeigen, dass IntuiBeat-S eine hohe wissenschaftliche Güte bei der summativen Evaluation besitzt. Zudem macht es bei der Anwendung von IntuiBeat-S keinen Unterschied, ob der Rhythmus über die Ferse oder den Fußballen eingeben wird, und ob als Stichproben Studierende mit höherer oder geringerer Vorerfahrung bezüglich der Nutzung von 3D-CUIs verwendet werden. Die zweite Forschungsfrage untersucht die wissenschaftliche Güte von IntuiBeat-F. Im vierten, fünften, sechsten und siebten Experiment werden 3D-CUIs einzeln formativ evaluiert (d.h. entweder ein weniger oder stärker intuitiv benutzbares User Interface). Dabei wird die wissenschaftliche Güte von IntuiBeat-F hinsichtlich der Hauptgütekriterien Gründlichkeit, Gültigkeit und Zuverlässigkeit beurteilt. Die Ergebnisse zeigen, dass IntuiBeat-F eine hohe wissenschaftliche Güte bei der formativen Evaluation besitzt. Diese liegt bei strikter Anwendung der Methode (d.h. Berücksichtigung ausschließlich mit der Methode entdeckter Nutzungsprobleme) zwar höher, ist aber bei wenig strikter Anwendung der Methode (d.h. Berücksichtigung auch unabhängig von der Methode entdeckter Nutzungsprobleme) noch ausreichend hoch. Jedoch konnte erst die Entwicklung und Einführung einer zusätzlichen Analysesoftware im Zuge des sechsten und siebten Experiments die wissenschaftliche Güte von IntuiBeat-F hinsichtlich aller drei Hauptgütekriterien demonstrieren, da ohne deren Unterstützung IntuiBeat-F vom Evaluator nicht ausreichend gründlich angewendet wird. Die dritte Forschungsfrage untersucht, wie hoch die zeitliche Anwendungseffizienz beider Methoden als wichtiger Aspekt praktischer Güte im Vergleich zu bereits vorhandenen Evaluationsmethoden für intuitive Benutzung ist. Bezüglich der summativen Evaluation wird im zweiten Experiment eine höhere zeitliche Anwendungseffizienz von IntuiBeat-S im Vergleich zum aktuellen summativen Benchmark, der CHAI-Methode, sowohl bei der Evaluation von weniger als auch bei der von stärker intuitiv benutzbaren 3D-CUIs demonstriert. Auch bezüglich der formativen Evaluation konnten die Ergebnisse der letzten vier Experimente zeigen, dass die zeitliche Anwendungseffizienz von IntuiBeat-F im Vergleich zum aktuellen formativen Benchmark, dem Nutzertest mit retrospektivem Think-Aloud- Protokoll, sowohl bei der Evaluation von weniger als auch stärker intuitiv benutzbaren 3D-CUIs höher liegt. Dieser Unterschied bleibt bestehend, egal ob eine zusätzliche Analysesoftware vom Evaluator verwendet wird oder nicht. Als Ergebnis aller Experimente lässt sich feststellen, dass die wissenschaftliche Güte und die zeitliche Anwendungseffizienz beider Methoden zur Evaluation intuitiver Benutzung von 3D-CUIs mehr als zufriedenstellend beurteilt werden kann. Die Arbeit wird mit einer Diskussion des geleisteten Forschungsbeitrags geschlossen. Dabei werden Anregungen für künftige Forschung aus theoretischer (z.B. Berücksichtigung des Gefühls von Flüssigkeit bei der Evaluation), praktischer (z.B. Untersuchung der Anwendbarkeit beider Methoden in anderen Domänen) und methodischer (z.B. Beurteilung der praktischen Güte beider Methoden anhand anderer Kriterien) Perspektive gegeben.
Der vorliegende Bericht präsentiert die Ergebnisse der zweijährigen Evaluation des Mannheimer Unterstützungssystems Schule (MAUS) in den Jahren 2008 bis 2010. Der Bericht basiert auf Informationen, die durch qualitative Interviews mit Schulleitungen und Lehrkräften sowie durch standardisierte Befragungen von Schülern, Eltern und Förderlehrern gewonnen wurden. Der Bericht berücksichtigt sowohl kontextuelle Aspekte des Programms, als auch Eingangsvoraussetzungen, Umsetzungsprozesse und Ergebnisse. Der Bericht gliedert sich entsprechend dieser vier Aspekte der Evaluation und gibt erfahrungsbezogene Empfehlungen für die weitere Umsetzung. Empfehlungen für die pädagogische Praxis schließen den Bericht ab.
"Autonomes Lernen ist das Übernehmen von Verantwortung für das eigene Lernen." (Rieder, o. J.) Bedeutend für den Lernprozess ist weiterhin die Fähigkeit, diesen selbst zu organisieren. Damit Eigenverantwortung und Selbstorganisation gelingen können, müssen Lernende ihren Lernprozess regelmäßig reflektieren sowie Ergebnisse selbstständig evaluieren und bewerten. (vgl. Wolff, 1997:3) Von Zeit zu Zeit sollte die gesamte Lerngruppe am Reflexions- und Evaluationsprozess beteiligt werden. Im vorliegenden Beitrag werden Methoden vorgestellt, mit denen teils in Einzelarbeit, teils in der Gruppe schnelle Zwischenevaluationen oder kontinuierlich begleitende Reflexionen realisiert werden können.
Programmansätze und deren Einsatz in vorschulisch, schulisch und außerschulisch bildenden Kontexten erfreuen sich der zunehmenden Beliebtheit. Ein breites und nicht nachlassendes Interesse in Forschung und Praxis kommt insbesondere vorschulischen Trainingskonzepten zuteil, denen das Potenzial zugesprochen wird, später auftretenden Schwierigkeiten beim Erwerb der Schriftsprache wirksam vorzubeugen.
Das Würzburger Trainingsprogramm »Hören, lauschen, lernen« stellt einen konzeptionell auf schriftspracherwerbstheoretischen Annahmen fundierten und mit mehreren evaluierenden Studien erprobten Trainingsansatz dar. Dieser bezweckt, Kindern den Erwerb des Lesens und Schreibens zu erleichtern. Dem Anspruch, späteren Lese-Rechtschreibschwierigkeiten effektiv vorzubeugen, unterliegt die vorschulische Förderung bereichsspezifischer Kompetenzen des Schriftspracherwerbs, insbesondere der Kompetenz phonologische Bewusstheit. Die Förderung wird optimal ausgeschöpft, sofern Empfehlungen einer qualitativen Implementierung umgesetzt werden, die als Manualtreue, Durchführungsintensität, Programmdifferenzierung, Programmkomplexität, Implementierungsstrategien, Vermittlungsqualität und Teilnehmerreaktion spezifiziert sind.
Zunehmend diskutiert sind in der Trainingsforschung, neben der theoretischen Fundierung und dem zu erbringenden Nachweis an empirischer Evidenz von Programmansätzen, Kriterien der Praxistauglichkeit. Daher befasst sich die vorliegende Arbeit mit der Frage der Programmrobustheit gegenüber Trainereffekten. Es nahmen 300 Kinder an dem Würzburger Trainingsprogramm teil und wurden 64 Kindern gegenübergestellt, die dem regulären Kindergartenprogramm folgten. Angeleitet durch das erzieherische Personal fand das 5-monatig andauernde Training innerhalb des Vorschuljahres statt. Die kindliche Entwicklung in den bereichsspezifischen Kompetenzen der phonologischen Bewusstheit und der Graphem-Phonem-Korrespondenz wurde vor und nach der Trainingsmaßnahme sowie zum Schulübertritt und in den Kompetenzen des Rechtschreibens und Lesens zum Ende des ersten Schuljahres untersucht. Es ließen sich unmittelbar und langfristig Trainingseffekte des eingesetzten Programmes nachweisen; indessen blieb ein Transfererfolg aus.
Der Exploration von Trainereffekten unterlag eine Eruierung der Praxistauglichkeit des Trainingsprogrammes anhand der erfolgten Implementierung durch das anleitende erzieherische Personal. Aus der ursprünglich mit 300 Kindern aus 44 involvierten Kindergärten bestehenden Datenbasis wurden drei Subgruppen mit insgesamt 174 Kindern aus 17 Kindergärten identifiziert, bei denen deutliche Diskrepanzen zu unmittelbaren, langfristigen und transferierenden Effekten des Trainingsprogrammes auftraten. Exploriert wurden Unterschiede in der Durchführung, um Rückschlüsse auf qualitative Aspekte der Programmimplementierung zu ziehen. Die Befunde des Extremgruppenvergleichs deuteten an, dass weniger Aspekte der Manualtreue und Durchführungsintensität ausschlaggebend für die Programmwirksamkeit waren; vielmehr schien für die Wirksamkeit des Trainingsprogrammes die Implementierung in der Art und Weise, wie die Trainingsinhalte den Kindern durch das erzieherische Personal vermittelt waren, entscheidend zu sein. Befunde zur eruierten Teilnehmerreaktion, die auf differenzielle Fördereffekte verweisen, stellten die Trainingswirksamkeit insbesondere für Kinder heraus, bei denen prognostisch ein Risiko unterstellt war, später auftretende Schwierigkeiten mit der Schriftsprache zu entwickeln. Ferner zeichnete sich ab, dass neben der Qualität der Programmimplementierung scheinbar auch Unterschiede in der schulischen Instruktionsmethode des Lesens und Schreibens einen nivellierenden Einfluss auf den Transfererfolg des Programmes ausübten. Theoretische und praktische Implikationen für den Einsatz des Trainingsprogrammes wurden diskutiert.
Kurse zur Vermittlung von Informationskompetenz sind seit geraumer Zeit aus dem Serviceangebot wissenschaftlicher Bibliotheken nicht mehr wegzudenken. Folglich stellt sich die Frage nach der Qualität bibliothekarischer Lehrveranstaltungen. Der Artikel gibt einen Überblick über Prinzipien und Methoden der Evaluation von Lehrveranstaltungen. Ausführlich wird dabei auf die Evaluation mittels Fragebogen eingegangen.
Da bei Patienten mit Nebenniereninsuffizienz (NNI) trotz etablierter Substitutionstherapie eine erhöhte Mortalität nachgewiesen wurde, kommt der Prävention von Nebennierenkisen (NNK) eine starke Bedeutung zu. Mithilfe des in der vorliegenden Arbeit evaluierten Schulungsprogrammes konnte die Grundlage für eine künftig optimierte Krisenpräventionsarbeit für Patienten mit NNI in Deutschland geschaffen werden. Kern der Studie war eine standardisierte 90-120-minütige Gruppenschulung, die in acht Zentren durchgeführt wurde. Mittels Fragebogenerhebung zu drei verschiedenen Zeitpunkten (vorher, direkt nachher, 6-9 Monate nachher) wurde der Wissenstand sowie subjektive Einschätzungen der Patienten zum Umgang mit ihrer Erkrankung evaluiert. Die Patienten schnitten nach Teilnahme an einer standardisierten Schulungsveranstaltung im Wissenstest deutlich besser ab und schätzten den eigenen Informationsstatus sowie das subjektive Sicherheitsgefühl als höher ein. Außerdem stieg die Anzahl der Personen, die sich in einer Notfallsituation die Eigeninjektion von Hydrocortison zutrauen würden, signifikant. Damit zeigt das hier vorgestellte interaktive Training einen eindrucksvollen, positiven Effekt auf den Alltag von NNI-Patienten, die dieses zu jedem untersuchten Zeitpunkt in jeweils > 90 % der Fälle als Lebensqualität-verbessernd einstuften. Obwohl sich die Gesamtpunktzahlen im Wissenstest zwischen dem Zeitpunkt direkt nach einer Schulung und nach 6-9 Monaten nicht signifikant unterschieden, war zumindest in den subjektiven Einschätzungsfragen (beispielsweise bzgl. des Informationsstatus, des Sicherheitsgefühls und des Eigeninjektions-Zutrauens) ein statistisch bedeutsamer Rückgang zu verzeichnen. Dies sollte, auch in Zusammenschau mit der Literatur, als Hinweis dafür aufgefasst werden, dass eine einzelne Schulung pro Patient nicht ausreichend ist. Die zumindest jährliche Wiederholung der geschulten Inhalte wäre deshalb zu empfehlen.