Zur Zeit wird die Meta-Mata-Analyse von John Hattie eifrig diskutiert, beginnend mit der schlagwortartigen Verdichtung der ZEIT:
Kleine Klassen bringen nichts, offener Unterricht auch nicht. Entscheidend ist: Der Lehrer, die Lehrerin. Das sagt John Hattie. Noch nie von ihm gehört? Das wird sich ändern.
Auf diese Euphorie folgte einige Skepsis angesichts der provokanten Aussagen von Hattie, die ja auch für die Bildungspolitik von Bedeutung sein sollen. Der Konstanzer Psychologie Professor Georg Lind meldete sich daraufhin zu Wort und veröffentlichte eine lesenswerte Replik auf den Hattie-Hype. Er entlarvt die Strategie von Hattie als puren Selbstzweck:
Hattie fasst in seiner “Synthese” die statistischen Befunde von über 800 so genannten Meta-Analysen zusammen, die ihrerseits wiederum die Befunde von Einzelstudien enthalten, die zusammen genommen auf Testdaten von einigen Millionen Schülern und Schülerinnen beruhen. Das wirkt ungemein beeindruckend, und soll es wohl auch.Kleine Klassen bringen nichts, offener Unterricht auch nicht. Entscheidend ist: Der Lehrer, die Lehrerin. Das sagt John Hattie. Noch nie von ihm gehört? Das wird sich ändern.
Problematisch ist weiterhin eine selektive Auswahl von Befunden, die eine vorgefertigte Annahme von Hattie stützen und damit in krassem Widerspruch zur guten wissenschaftlichen Praxis stehen. Wenn dann auf dieser Grundlage Empfehlungen für die Bildungspolitik abgeleitet werden sollen, wäre es an der Zeit, sich genauer über das Zustandekommen Gedanken zu machen als vorschnell nach Reformen zu schreien.
Wie der Philosoph und Physiker Marco Wehr im Philosophischen Radio auf WDR 5 erläutert, kommt es innerhalb der Kette „Beobachtung von menschlichem Verhalten – Messen dieses Verhalten – statistische Berechnungen – Modellierung und Verallgemeinerung – Rückführung auf die Realitat“ häufig zu systematischen Fehlern. Zum Beispiel dann, wenn das Zustandekommen eines Befunds nicht länger kontrolliert, d.h. wiederholt wird, sondern stattdessen stillschweigend hingenommen wird, dass das so sei, um sich dann gleich auf den nächsten Effekt zu stürzen. Unser heutiges System des „publish or perish“ tut sein übriges daran.
Bereits vor knapp 40 Jahren prägte der US-amerikanische Physiker Richard Feynman dafür den Ausdruck „cargo cult“ und meinte damit:
In the South Seas there is a cargo cult of people. During the war they saw airplanes land with lots of good materials, and they want the same thing to happen now. So they’ve arranged to imitate things like runways, to put fires along the sides of the runways, to make a wooden hut for a man to sit in, with two wooden pieces on his head like headphones and bars of bamboo sticking out like antennas–he’s the controller–and they wait for the airplanes to land. They’re doing everything right. The form is perfect. It looks exactly the way it looked before. But it doesn’t work. No airplanes land. So I call these things cargo cult science, because they follow all the apparent precepts and forms of scientific investigation, but they’re missing something essential, because the planes don’t land.
Der durch Hattie wieder aufgelebte Diskurs zum Sinn und Zweck der empirischen Bildungsforschung enthält einiges aus diesem Cargo Cult, wie z.B. die fehlende Bereitschaft, Befunde zu replizieren. Dass es sich dabei um Bildung, d.h. ein schwer zu messendes und zu prognostizierendes Konstrukt handelt, wird auch gerne übersehen und stattdessen ein „Messbarkeitsideal“ propagiert. Bildung ist aber, wie Friedrich Copei formulierte, ein „fruchtbarer Moment“, in dem uns ein Licht aufgeht und wir blitzartig eine neue Erkenntnis haben. Wie das mit standardisierten Tests gemessen werden soll, die dann wiederum in Meta-Analysen verdichtet sind, ist schwer vorstellbar.