Dr. Marcus Schnöbel hat in seinem Artikel die gängigsten Evaluationsstrategien kritisch analysiert. Er ist daraufhin zur Entwicklung einer neuen Evaluationsstrategie gekommen, die versucht, die Stärken der anderen Strategien zu übernehmen und ihre Schwächen weitestgehend zu minimieren.

Die Reihenfolge der vorgestellten Strategien ist auch die Reihenfolge der Entwicklung. So wurde aufgrund der erkannten Schwächen der Rezensionen die Kriterienkataloge entwickelt und aus denen die Experimentellen Studien usw. An deren Ende, quasi als jüngste Entwicklungsprodukt dieser Kette, steht dann Schnöbels Entwurf. Im Folgenden werden die Strategien entsprechend einer Zusammenfassung stichpunktartig charakterisiert und am Ende das „neue Modell“ vorgestellt.

Rezensionen

• leicht herzustellen
• lösen sich von der Unterrichtspraxis
• unvollständig und unsystematisch
• lediglich erster theorieloser Eindruck
• höchst subjektiv

Kriterienkataloge

• trotz unzähliger Kriterien keine 100%ige Vollständigkeit möglich
• Kriterienfragen können in den seltensten Fällen mit Ja oder Nein beantwortet werden; Beantwortung in eigenen Worten und mit eigenem Vokabular → nicht wertneutral
• Fehlen pädagogischer Wichtung der Kriterien → technologische Zentrierung

Experimentelle Studien

• Verstehen und Behalten von Informationen wird gleichgesetzt
• Bei der Evaluation werden unzählige Einzelvariablen gemessen, zu viele um signifikante Ergebnisse zu liefern
• die wenigen signifikanten widersprechen sich teilweise gegenseitig
• genaue Kontrolle der Versuchsbedingungen → fehlender schulpraktischer Bezug

Offene Verfahren

• flexible Einordnung durch Variablenmatrix
• Reduzierung und Abgrenzung der eigentlich verflochtenen Dimensionen: Lernziele, Lerninhalte und Lehrstrategien
• diese Reduzierung sei zu „weit getrieben worden“ und wird der Komplexität der zu messenden Dimensionen nicht gerecht

Als Konsequenz:

Das „neue Modell“

Dies ist ein Konstrukt, das sich in drei Dimensionen, sogenannte Gefüge, untergliedert. Das erste Gefüge ist das „Bedingungsgefüge“ und ist dazu da, um den sozio-kulturellen, institutionellen und technisch-administrativen Kontext des Lernens zu erfassen und in der Bewertung einer Lernsoftware einfließen zu lassen. Das zweite ist das „Informationsgefüge“, es ist im Rahmen von Software die gesamte Benutzerschnittstelle. Jedoch wird diese Benutzerschnittstelle erst zum Informationsgefüge, wenn an ihr Interaktionen mit handelnden Lernenden vollzogen werden, sonst wäre sie nichts weiter als eine „theoretische Größe“. Das letzte und wichtigste Gefüge ist das „Handlungsgefüge“, das „Licht auf den Prozess“ wirft, „der die Lernmaterialien im Darstellungsraum semantisch füllt und dadurch den Bedeutungsraum errichtet.“ Dieses Gefüge erlaubt einen Einblick in die Interaktionen des Lernenden mit der Lernsoftware und dem Lerngegenstand. Alle drei sind zwar scheinbar voneinander abgegrenzt, über das Bedingungsgefüge sind sie aber miteinander verbunden, da es sowohl das Informations- als auch das Handlungsgefüge durchdringt.

Im nächsten Schritt beginnt Schnöbel die „Binnenstruktur“ des neuen Modells genauer vorzustellen. Dabei leitet er 12 Aspekte aus der pädagogischen Theorie her und ordnet sie auf jeweils 12 Deskriptionsleisten in seinem Modell. Dies sieht wie folgt aus:

Als letzter Schritt steht nach der Bildung des neuen Modells noch die Erklärung des Umgang damit an:

Die Deskriptionsleisten sind wie in der Abbildung mit Punkten versehen, die eine Einordnung mittels Positiv-Negativ-Bewertung erlauben. Der erste bzw. innerste Punkte steht dabei für äußerst negativ und der letzte bzw. äußerste Punkt für äußerst positiv. Alle Punkte dazwischen erlauben eine Relation der Extreme. Zur Erhebung der Bewertung werden folgende Fragen bereitgestellt:

Informationsgefüge

• Wie ist die didaktische Qualität der Produktmerkmale einzuschätzen?
• Es ist daher zu fragen, inwieweit ein Design verwirklicht wird, das sich an den Bedürfnissen des Benutzers orientiert.

Handlungsgefüge

• Wie ist die didaktische Qualität derSchülerhandlungen einzuschätzen?
• Es ist daherzu fragen, inwieweit ein Unterricht unter den Prämissen des Befähigungsparadigmas

Bedingungsgefüge

• Wie groß sind die Anforderungen, um eine entsprechende Unterrichtseinheit zu verwirklichen?
• Es ist daher zu fragen, inwieweit die bestehenden Strukturen berücksichtigt werden.

Jedoch ist im Text nicht gesagt, wie man zu dieser genauen Erhebung kommen soll. Genaue Aussagen darüber bleiben also reine Spekulation. Schnöbel geht am Ende seiner Ausführungen explizit darauf ein, dass es sich bei diesem Verfahren um kein rein deskriptives sondern interpretatives Verfahren handelt.

Quelle: http://download.bildung.hessen.de/medien/service_medien/kompass/Methoden/Grundsatzliches_zur_Evaluation_von_Bildungssoftware.pdf

Als Kommentar zu meiner ersten Folge, wie jeder ein CMS lokal auf seinem PC installieren kann, formulierte Frau Moeller zwei Fragen, auf die ich in dieser Folge eingehen will.

FRAGE 1: Wie passe ich WordPress an meine individuellen Bedürfnisse an, wie weit lässt sich das Ganze wirklich einfach und nach meinen Bedürfnissen ändern? Wenn ich WordPress nutzen möchte, kann ich mir doch einfach meinen eigenen Blog an der Universität Halle oder direkt bei WordPress einrichten und bräuchte mir nicht unbedingt einen eigenen Server suchen.

ANTWORT: [Update] Video hier verfügbar [Update] Zur ersten Teilfrage werde ich wieder einen Screencast erstellen, der hoffentlich einen kleinen Einblick in die Entwicklung mit WordPress bietet. Die Schritte zur Individualisierung eines CMS sind dabei bei den meisten anderen Vertretern ähnlich. Generell stellt sich beim Verwenden mehrerer CMS eher ein Lernerfolg ein, wenn ich schon ein System kenne und mein Wissen dann nur noch auf die spezifischen Eigenheiten eines anderen CMS übertragen muss. Will ich den Grad der Individualisierung bis in alle Einzelheiten ausreizen, kommt man nicht um Kenntnisse in HTML, CSS, PHP und optional noch Javascript herum. Es reichen zunächst auch rudimentäre Kenntnisse. Bei den Sprachen handelt es sich eher um simple Vertreter, bei denen der Code ohnehin grundsätzlich menschenlesbar bleibt. Wer sich dafür interessiert, dem kann ich nur empfehlen, ein bisschen zu experimentieren. Meister sind bekanntlich noch keine vom Himmel gefallen.

KLEINES BEISPIEL: WordPress nutzt zur Anzeige der verschiedenen Posts den sogenannten Loop. Diese Schleife geht solange die Datenbank durch wie Einträge vorhanden sind. Im Ergebnis entsteht dann solch eine Auflistung an Artikeln, chronologisch sortiert, wie sie uns auch angezeigt wird, wenn wir den Porta Nova-Blog aufrufen:

<?php if (have_posts()) : while (have_posts()) : the_post(); ?>
// The Stuff... Custom HTML and PHP Code
<?php endwhile; else: ?>
<?php _e('Sorry, no posts matched your criteria.'); ?>
<?php endif; ?>

Wenn man mal diverse Sonderzeichen, Klammern und andere erstmal nebensächliche Wörter überliest bewirkt der Loop folgendes: Wenn (if…) Posts vorhanden sind dann ermittle diese solange (while…) bis keine mehr da sind. Wenn gar keine Posts da sind, dann schreibe „Sorry, no posts matched your criteria.“ auf den Bildschirm. Innerhalb der while-Schleife erfolgt dann die Ausgabe der einzelnen Artikel. Hier könnte man jetzt mit the_title(); den Titel des Artikels und mit the_content(); den eigentlichen Inhalt ausgeben.

Die Antwort auf die zweite Teilfrage ergibt sich ein wenig aus der ersten. Wenn ich mir einen Blog beim URZ, bei WordPress oder bei Google etc. erstelle, habe ich in der Regel nicht die Berechtigung, am eigentlichen Code rumzufummeln. Ich kann meist noch zwischen einigen Themes wählen und hier und da ein paar Farben ändern. Der Fokus liegt bei diesen Angeboten aber auf der reinen Publikation.

FRAGE 2: Ist ein Blog für uns das geeignete Format? Wir wollen ja letztlich erst einmal ein abgeschlossenen Projekt mit einer Webpräsentation erstellen.

ANTWORT: Ein Blog kann, muss aber nicht das geeignete Format für ein Rezensionsjournal sein. Blog meint ja in gewisser Weise nur eine von vielen möglichen Präsentationsweisen von Daten. Die sind bei einem Blog naturgemäß chronologisch, wobei der zeitlich jüngste Beitrag am Anfang steht. Blogs werden dann meist regelmäßig gelesen, sobald halt ein neuer Artikel erscheint. Mit zunehmender Zahl an Rezensionen kann die Übersicht natürlich leiden bzw. die Art und Weise, wie man eine bestimmte Rezension sucht und findet. Zumindest der chronologische Aspekt lässt sich bei Angeboten wie sehepunkte oder h-soz-u-kult auch finden. Eine wichtige Lektion des WWW der letzten Jahre lehrt, das es wichtig ist, das die Leute beim Scannen der Seite eine Idee davon bekommen, was sie erwarten können und wie sie an die Information kommen. Das ist zumindest bei sehepunkte schlechter gelöst als noch bei h-soz-u-kult wie mir scheint. Aber da hat vermutlich auch jeder ein paar andere Strategien und Vorstellungen. Die gilt es zusammen zu tragen. Ich hatte ja schon in einem Kommentar erwähnt, das ich den Rezensionsteil bei h-soz-u-kult eigentlich ganz effizient fand. Das hieße dann, eine tabellarische Liste der Rezensionen, die nach bestimmten Kriterien gefiltert werden kann. Wie man das dann optisch präsentiert ist mal noch eine andere Frage. Auf jedem Fall liegt man mit einem Blog nicht ganz daneben. Wer will kann sich mal auf folgenden Seiten umschauen: UX Design Patterns, Screen Patterns.

Peter Baumgartner

Didaktische Anforderungen an (multimediale) Lernsoftware

Baumgartner, P. (2002). Didaktische Anforderungen an (multimediale) Lernsoftware. In: Information und Lernen mit Multimedia. L.J. Issing und P. Klimsa. Weinheim, Psychologie-Verl.-Union: 427-442.

Aufgrund der Tatsache, dass in zunehmendem Maße der Computer für Lehr- und Lernzwecke eingesetzt wird, stellt sich die Frage nach einer pädagogischen Evaluierung einer solchen Bildungssoftware. Peter Baumgartner fokussiert in seinem Artikel die didaktische Komponente einer solchen Evaluierung.                                                                                           In seinem Beitrag diskutiert  der Autor zunächst herkömmliche Bewertungsverfahren, um im zweiten Teil selbst ein operatives Vorgehensmodell zur Auswahl bzw. Bewertung von Lernsoftware vorzustellen.

1. 1. Herkömmliche Bewertungsverfahren

1.1 Kriterienkataloge

Kriterienkataloge liegen oftmals in Form von Prüf- oder Checklisten vor und erfreuen sich deshalb großer Beliebtheit.

• Vorteile:  kostengünstig, einfache Organisation (durch die Trennung der Lernsoftware von ihrem realen Einsatzgebiet), objektiv und methodisch sauber
• Nachteile: zumeist unvollständig, fehlende oder strittige Bewertungs- und Gewichtungsverfahren (der einzelnen Faktoren), theoretische Orientierungslosigkeit (Frage nach der zugrundeliegenden Lerntheorie)

1.2 Rezensionen

Hierbei bezieht sich der Autor auf kleinere Artikel in Fachzeitschriften. Es wird weder eine vollständige Inhaltsangabe noch ein objektives Urteil erwartet. Vielmehr besteht der Sinn von Software-Rezensionen im Verarbeiten von subjektiven Erfahrungen und Einschätzungen. Dies ist zugleich auch ein Nachteil, da somit subjektiv Prioritäten gesetzt werden und zudem bieten solche Rezensionen eine geringe Vergleichbarkeit aufgrund der uneinheitlichen Vorgehensweise der jeweiligen Autoren.

1.3 Vergleichsgruppen

In solchen Versuchen eignen sich zwei ähnliche Schülergruppen denselben Lehrstoff mittels unterschiedlicher Verfahren (Buch vs. Software) an. Ein für beide Gruppen gleicher Test soll dann Unterschiede im Lernerfolg offenlegen. Nachteile bei einem solchen Verfahren bestehen wegen des hohen Erhebungs- und Auswertungsaufwands.

Im zweiten Teil des Artikels stellt Peter Baumgartner ein dreidimensionales heuristisches Modell vor. Zunächst beschreibt er drei Kriterien für Bewertungsverfahren:

1)      Die pädagogisch-didaktische Bewertung darf sich nicht bloß auf die Software selbst beziehen, sondern muss die soziale Situation ihrer Verwendung einbeziehen.

2)      Die Evaluierung darf nicht das einzelne Individuum isolieren, sondern muss die Bewältigung sozialer Situationen als Grundlage haben.

3)      Die Bewertung darf den individuellen Lernprozess nicht generalisieren betrachten, sondern muss die Eigenheiten der verschiedenen hierarchisch gegliederten, jedoch iterativ durchlaufenden Lernstufen berücksichtigen.

Im weiteren Verlauf des Beitrags beschreibt Peter Baumgartner nun, wie anhand dieses „Raumkontinuum“ vorgegangen werden kann, um Kriterien für die Bewertung von Bildungssoftware zu gewichten.

Weitere Arbeitsschritte:

1)      Rahmenbedingungen festlegen (vorhandenes Budget, zu verwendendes Betriebssystem, Eingangsvoraussetzungen der Lernenden,…)

2)      Festlegung von Lernziel, Lernstufe und Lehrstrategie (Festlegung der gewünschten Lern- bzw. Entwicklungsstufe mit der gewünschten Interaktionsform und dem sozialen Setting/der didaktischen Situation)

3)      Software-Recherche (Informationsquellen nutzen um geeignete Software zu finden, z.B.: Software-Kataloge durchsehen, Rezensionen lesen, Hersteller und/oder Vertreiber kontaktieren,..)

4)      Generierende Fragen an die Software stellen („generierend“: Problemfeld öffnen, auf Problematik aufmerksam werden, mit anderen Problemlösungen vergleiche > 5 grundsätzliche Typen von Fragestellungen: Fragen zum Übergang von einer Komplexitätsstufe zur anderen, Fragen zur selben Komplexitätsstufe, Fragen zu (impliziten) Metastrategien, Fragen zur Lehrstrategie, Fragen zur Verknüpfung aller drei Dimensionen (soziale Situation))

5)      Analyse von Vergleichsgruppen (summative Evaluierung durch eine vergleichende Gruppenanalyse)