Heim

PISA-Studien

Die PISA-Studien der OECD sind internationale Schulleistungsuntersuchungen, die seit dem Jahr 2000 in dreijährigem Turnus in den meisten Mitgliedsstaaten der OECD und einer zunehmenden Anzahl von Partnerstaaten durchgeführt werden und die zum Ziel haben, alltags- und berufsrelevante Kenntnisse und Fähigkeiten 15-jähriger Schüler zu messen. Das Akronym PISA wird in den beiden Amtssprachen der OECD unterschiedlich aufgelöst: englisch als Programme for International Student Assessment (Programm zur internationalen Schülerbewertung) und französisch als Programme international pour le suivi des acquis des élèves.[1]

Dieser Artikel behandelt die internationale Studie der OECD. Das Konzept der OECD sieht ausdrücklich die Möglichkeit vor, dass Teilnehmerstaaten den internationalen Test um nationale Komponenten erweitern. Diese Möglichkeit wurde in Deutschland 2000 bis 2006 extensiv genutzt:[2]

Außerdem bietet die OECD Erweiterungsmodule an, die nur von einem Teil der Staaten genutzt werden, z. B.

Inhaltsverzeichnis

Konzept

Die folgenden Merkmale unterscheiden PISA zum Teil deutlich von früheren Schulleistungsuntersuchungen:

Vertragsmäßige Aufgabe der OECD ist Politikberatung. PISA soll nicht nur eine Beschreibung des Ist-Zustands liefern, sondern Verbesserungen auslösen. Insoweit PISA ein eigenes Bildungskonzept zugrundeliegt, wird zumindest implizit der Anspruch erhoben, auf die nationalen Lehrpläne zurückzuwirken.

Jede PISA-Studie umfasst die drei Bereiche Lesekompetenz, Mathematik und Naturwissenschaften. Bei jedem Durchgang wird ein Bereich vertieft untersucht: 2000 die Lesekompetenz, 2003 Mathematik, 2006 Naturwissenschaften. Dieser Zyklus soll alle neun Jahre wiederholt werden.

Zusätzlich wird in jeder Studie ein Querschnittsthema untersucht: 2000 Lernstrategien und Selbstreguliertes Lernen, 2003 Problemlösung, 2006 Informationstechnische Grundbildung. Diese Zusatzuntersuchung wird nicht in allen Staaten durchgeführt.

Testaufgaben

Nach jeder Testrunde wird ein Teil der Testaufgaben "freigegeben" und veröffentlicht. Sämtliche freigegebenen Aufgaben finden sich auch online auf den Webseiten der OECD und der nationalen Projektleitungen.

Die Testhefte umfassen typischerweise ungefähr zwanzig Aufgabeneinheiten. Jede Aufgabeneinheit besteht aus Einleitungsmaterial und ein bis sieben daran anschließenden Aufgaben.

Die Aufgabeneinheit "Tschadsee" aus dem Lesetest von PISA 2000 (in der englischen Fassung auch zur Reproduktion freigegeben) zeigt beispielhaft, wie weit das literacy-Konzept von PISA gefasst ist. Die Einleitung dieser Aufgabe enthält keinen Lesetext im herkömmlichen Sinn, sondern besteht aus überwiegend "nicht-textuellem" Lesematerial:


Daran schließen sich fünf Aufgaben an. Beispielhaft:

Frage 1: Wie tief ist der Tschadsee heute (Multiple-Choice, fünf Antwortalternativen);

Frage 2: In welchem Jahr ungefähr startet der Graph in Abbildung A (freier Text);

Frage 3: Warum hat der Autor dieses Jahr als Anfang des Graphen gewählt (freier Text);

Fragen 4 und 5 sind dann wieder im Multiple-Choice-Format.

Durchführung und Auswertung

Ausführliche Darstellung im Artikel Methodik der PISA-Studien

PISA wird im Auftrag der OECD und unter Mitwirkung verschiedener Beratergremien von einem Unternehmenskonsortium der Testindustrie durchgeführt. In den Teilnehmerstaaten sind nationale Projektzentren beteiligt. In jedem Staat werden etwa 5.000 Schüler getestet.

Der Test umfasst eine zweistündige „kognitive“ Testsitzung, gefolgt von einer knapp einstündigen Fragebogensitzung. Im kognitiven Test bearbeiten nicht alle Schüler dieselben Aufgaben; 2003 wurden dreizehn verschiedene Testhefte (sowie in manchen Ländern in Sonderschulen ein Kurzheft) eingesetzt; von insgesamt 165 verschiedenen Aufgaben hatte jeder einzelne Schüler nur etwa 50 zu bearbeiten.

Die Schülerlösungen werden von angelernten Hilfskräften kodiert, digital erfasst und ans internationale Projektzentrum nach Australien zur weiteren Auswertung übermittelt. Die meisten Aufgaben werden letztlich nur als entweder „falsch“ oder „richtig“ bewertet. Je nachdem, wieviele Schüler eine Aufgabe richtig gelöst haben, wird der Aufgabe ein bestimmter „Schwierigkeitswert“ zugeordnet. Je nachdem, wieviele Aufgaben ein Schüler gelöst hat, wird dem Schüler eine bestimmte Spanne „plausibler“ „Kompetenzwerte“ zugeordnet. Schwierigkeits- und Kompetenzwerteskala werden nachträglich so skaliert, dass die Kompetenzwerte im OECD-Staatenmittel den Mittelwert 500 und die Standardabweichung 100 haben. Um auszugleichen, dass die Testhefte unterschiedlich schwierig waren, und dass einzelne Aufgaben in einzelnen Staaten, zum Beispiel wegen Druckfehlern, nicht gewertet werden konnten, wird die gesamte „Skalierung“ der Schwierigkeits- und Kompetenzwerte unter Zuhilfenahme eines komplexen mathematischen Modells des Schülerantwortverhaltens, der sogenannten Item-Response-Theorie berechnet.

Die Aufgabenschwierigkeitswerte erlauben ansatzweise eine didaktische Interpretation der Testergebnisse: wenn ein Schüler beispielsweise 530 Kompetenzpunkte erzielt hat, dann kann er mit 62-prozentiger Wahrscheinlichkeit (die Zahl 62 Prozent ist willkürlich festgelegt worden) eine Aufgabe der Schwierigkeit 530 lösen. Wenn man sich nun veröffentlichte Aufgabenbeispiele anschaut, deren Schwierigkeitswert in der Nähe von 530 liegt, dann bekommt man einen Eindruck, was ein Kompetenzwert von 530 bedeutet. Allerdings muss man dabei mitdenken, dass der Test unter erheblichem Zeitdruck stattfindet (knapp über zwei Minuten pro Aufgabe).

Fast alle weiterführenden Auswertungen beruhen darauf, dass die statistische Verteilung der Schülerkompetenzwerte in den Teilnehmerstaaten oder feiner aufgeschlüsselten Populationen untersucht wird.

Quantitative Ergebnisse

PISA misst Schülerleistung in Punkten auf einer willkürlichen Skala. Interpretierbar werden die Punktwerte erst, wenn sie in einen Kontext gesetzt werden. Das geschieht regelmäßig durch den Vergleich zwischen verschiedenen Ländern. Die Berichte der OECD und ihrer Projektpartner bestehen dementsprechend zu einem erheblichen Teil aus Länder-Ranglisten.

Kompetenzmittelwerte

Die elementarste und meistbeachtete Statistik fasst die Schülerleistungen zu Mittelwerten zusammen. In der folgenden Tabelle sind die bisherigen Ergebnisse der mehrheitlich deutschsprachigen Staaten, einiger weiterer OECD-Staaten sowie einiger Nicht-OECD-Staaten (kursiv) zusammengefasst; in Klammern der OECD-Rangplatz.

Mathematik Lesefähigkeit Naturwissenschaften
2000 2003 2006 2000 2003 2006 2000 2003 2006
Deutschland 490±3 (20) 503±3 (16) 504±4 (14) 484±3 (21) 491±3 (18) 495±4 (14) 487±2 (20) 502±4 (15) 516±4 (8)
Liechtenstein 514±7 536±4 ± 483±4 525±4 ± 476±7 525±4 ±
Luxemburg 446±2 (26) 493±1 (20) 490±1 (22) 441±2 (26) 479±2 (23) 479±1 (22) 443±2 (26) 483±1 (24) 486±1 (25)
Österreich 515±3 (11) 506±3 (15) 505±4 (13) 507±2 (10) 491±4 (19) 490±4 (14) 519±3 (8) 491±3 (20) 511±4 (12)
Schweiz 529±4 (7) 527±3 (7) 530±3 (4) 494±4 (17) 499±3 (11) 499±3 (11) 496±4 (18) 513±4 (9) 512±3 (11)
Belgien 520±4 (9) 529±2 (6) 520±3 (8) 507±4 (11) 507±3 (9) 501±3 (10) 496±4 (17) 509±3 (11) 510±3 (13)
Finnland 536±2 (4) 544±2 (1) 548±2 (1) 546±3 (1) 543±2 (1) 547±2 (2) 538±3 (3) 548±2 (1) 563±2 (1)
Frankreich 517±3 (10) 511±3 (13) 496±3 (17) 505±3 (14) 496±3 (14) 488±4 (17) 500±3 (12) 511±3 (10) 495±3 (19)
Italien 457±3 (24) 466±3 (26) 462±2 (27) 487±3 (20) 476±3 (25) 469±2 (24) 478±3 (23) 483±3 (24) 475±2 (26)
Japan 557±6 (1) 534±4 (4) 523±3 (6) 522±5 (8) 498±4 (12) 498±4 (12) 550±6 (2) 548±4 (2) 531±3 (3)
Kanada 533±1 (6) 532±2 (5) 527±2 (5) 534±2 (2) 528±2 (3) 527±2 (3) 529±2 (5) 519±2 (8) 534±2 (2)
Mexiko 387±3 (27) 385±4 (29) 406±3 (30) 422±3 (27) 400±4 (29) 410±3 (29) 422±3 (27) 405±3 (29) 410±3 (30)
Niederlande disq. 538±3 (3) 531±3 (3) disq. 513±3 (8) 507±3 (9) disq. 524±3 (5) 525±3 (6)
Türkei 523±5 423±7 (28) 424±5 (29) 550±6 441±6 (28) 447±4 (28) 519±9 434±6 (28) 424±4 (29)
USA 493±8 (19) 483±3 (24) 474±4 (25) 504±7 (15) 495±3 (15) ± () 499±7 (14) ± () 489±4 (21)

[Quellen: OECD-Berichte „First Results“ 2001, 2004 (für PISA 2000 bzw. 2003); für die Ergebnisse von PISA 2006: "PISA 2006. Science Competencies for Tomorrow's World.". Abkürzungen: „k. T.“ = keine Teilnahme; „disq.“ = disqualifiziert wegen zu geringer Teilnahmequote. Dies sind die ursprünglich veröffentlichten Daten; die 2006 für die österreichischen Ergebnisse aus 2000 veröffentlichte Korrektur ist nicht berücksichtigt. Die Zahl hinter dem „±“-Zeichen ist der offizielle Standardfehler, der die stochastische Unsicherheit der Stichprobenziehung sowie der Item-Response-Modellierung angibt; in den Originalberichten ist auch die erste Nachkommastelle angegeben.]

Neben Finnland, Japan und Kanada befinden sich auch Südkorea, Neuseeland, Australien und das Nicht-OECD-Territorium Hongkong regelmäßig in der Spitzengruppe. Vor der Türkei und Mexiko befinden sich am Tabellenende neben Italien regelmäßig Portugal und Griechenland.

Bei einer Aufschlüsselung nach Sprachgruppen fällt auf:

Die Ergebnisse aus Liechtenstein stehen unter dem Vorbehalt, dass dort kaum mehr als 300 Fünfzehnjährige wohnen, von denen überdies viele im Verlauf des 16. Lebensjahrs von der Schule abgehen, während in anderen Ländern mehrere Tausend Schüler getestet werden.

Zu den starken Unterschieden zwischen den deutschen Bundesländern → PISA-E.

Die Korrelation mit den TIMSS-Studien, die in einigen Staaten parallel zu PISA fortgeführt werden, ist mäßig, was offiziell mit unterschiedlichen Inhalten und mit Normierungseffekten aufgrund unterschiedlicher Teilnehmerschaft erklärt wird.

Kompetenzstufen und Risikogruppen

Um den zahlenmäßigen Ergebnissen eine anschauliche Bedeutung zu geben, teilt das Konsortium die Punkteskala willkürlich in sechs »Kompetenzstufen« und eine darunter liegende Stufe absoluter Inkompetenz. Anhand der Aufgaben, die auf einer Stufe zu lösen sind, wird dann eine verbale Beschreibung dessen, was Schüler auf einer bestimmten Stufe typischerweise können, erarbeitet. Zu beachten ist dabei, dass der Anteil der Schüler auf einer bestimmten Stufe im OECD-Mittel konstant, weil durch die Konstruktion der Schwierigkeits- und Leistungsskalen festgelegt ist. Interpretierbar sind lediglich die zumeist geringen Unterschiede zwischen Staaten.

Schüler unterhalb der Stufe 1 werden international als „at risk“ bezeichnet. Die deutsche Projektleitung hat den Begriff „Risikogruppe“ jedoch ausgedehnt und die Stufe 1 darin einbezogen. Das wurde in Teilen der Öffentlichkeit verkürzt und im Gegensatz zu Aussagen der internationalen Berichte so rezipiert, als sei ein knappes Viertel aller Fünfzehnjährigen nicht in der Lage, zu rechnen und sinnerfassend zu lesen.

Einfluss des sozialen Hintergrunds

Ausführliche Darstellung im Artikel: Auswertung der PISA-Studien: Einfluss des sozialen Hintergrunds

Im Anschluss an die zweistündige „kognitive“ Testsitzung bearbeiten die Schüler ein »Questionnaire« mit Fragen zum familiären Hintergrund, zum schulischen Umfeld, zu Lerngewohnheiten und zu anderem mehr. In den offiziellen Ergebnisberichten und in zahlreichen Sekundärstudien wird dargestellt, wie sich diese Kontextvariablen auf die kognitive Testleistung auswirken.

In PISA 2000 wurde festgestellt, dass der Zusammenhang zwischen Testergebnis und elterlichem Beruf in Deutschland so stark ist wie nirgendwo sonst. In den Folgerunden wurde dieses Ergebnis jedoch nicht reproduziert; der stärkste Zusammenhang wurde 2003 in Ungarn, 2006 in der Tschechischen Republik gefunden. Die deutschen Kennwerte (Quantildifferenzen, Gradienten und Korrelationskoeffizienten der Testleistung als Funktion einer Berufsklassifikation oder eines sozial-ökonomisch-kulturellen Indexes) lagen überwiegend im oberen Teil eines breiten Mittelfeldes; die Abweichungen vom OECD-Durchschnitt waren teilweise statistisch insignifikant.

Diesen Auswertungen liegen unterschiedliche Sozialindizes zugrunde, die zum Teil nur den Beruf der Eltern, zum Teil auch deren Bildungsabschlüsse und die Ausstattung des Haushalts mit kulturellen Besitztümern berücksichtigen. Zwischen dem deutschen Konsortium und der internationalen Projektleitung besteht Dissens über die sachgerechte Quantifizierung von sozialem Hintergrund; im deutschen Bericht zu PISA 2006 wird durchgehend ein anderer Index verwendet als im internationalen Bericht.

In Deutschland besonders auffällig ist das besonders schwache Abschneiden von im Land geborenen Kindern zugewanderter Eltern (Mathematikleistung 2003: 432 Punkte, gegenüber 454 für Einwanderer der ersten Generation und 525 für Schüler ohne Migrationshintergrund; OECD-weite Vergleichszahlen 483, 475, 523). Weitere Aufschlüsselung zeigt, dass insbesondere die schwachen Leistungen türkischer Jugendlicher ein quantitativ bedeutsames Problem darstellen (Mathematikleistung 2003: zweite Generation 411, erste Generation 382).

Allerdings ist, laut einiger Autoren, wie anfangs angenommen wurde, diese Punktediskrepanz nicht auf die mathematischen Leistungen der teilnehmenden Probanden zurückzuführen, sondern auf die migrationsbedingten und altersbedingten Sprachbarriere der Probanden. So scheiterte die korrekte Bewältigung der Aufgaben signifikant häufig an der Eindeutigkeit und Nachvollziehbarkeit der gestellten Fragen, nicht aber am mathematisch abstrakten Gehalt der Aufgaben. In diesem Zusammenhang wurde der Vorbehalt geäußert, dass man nicht mit Sicherheit sagen könne, ob die Ergebnisse aus der mathematische Teilprüfung statistisch überhaupt verwertbar sei. Dafür wäre die Trennung zwischen mathematischen Prüfungsaufgaben und den Leseaufgaben zu unscharf. Die mathematischen Aufgaben wären im vorliegenden Fall mehr Aufgaben gewesen, die die Lesefähigkeit prüften, nicht aber das von jeglichen Sprachbarrieren unabhängige abstrakt – mathematische Denkvermögen der Probanden.

Das deutsche PISA-Konsortium schließt sich dieser Meinung jedoch nicht an. Es wurde überprüft, ob Schüler mit Migrationshintergrund weniger sprachlastige Aufgaben besser lösten. Das war nicht der Fall. Stattdessen deutet sich das Gegenteil an, Schüler mit Migrationshintergrund schneiden bei sprachlastigen Aufgaben etwas besser ab als bei relativ sprachfreien. Die Gründe dafür sind ungeklärt. Es wird deutlich, dass die niedrige mittlere Kompetenz der Schülerinnen und Schüler mit Migrationshintergrund nicht durch schlechtere Ergebnisse in sprachabhängigen Teilkompetenzen bedingt ist [Ramm et al. 2004: Ramm et al.: Soziokulturelle Herkunft: Migration. In: PISA 2003: Der Bildungsstand der Jugendlichen in Deutschland – Ergebnisse des zweiten internationalen Vergleichs. Münster: Waxmann. ISBN 3-8309-1455-5. S. 269/270].

Geschlechtsspezifische Leistungsdivergenzen

Auffällig ist der erhebliche Leistungsvorsprung der Mädchen im Lesen (2003(?) OECD-weit 34 Punkte, in Deutschland 42). Geringer ist der Vorsprung der Jungen in Mathematik (OECD 11, Deutschland 9).

In den Naturwissenschaften wurde kein statistisch beachtlicher Geschlechterunterschied gefunden, was an der Mischung von Aufgaben aus verschiedensten Gebieten liegt. Nationale, lehrplannähere Tests bestätigen sehr wohl die konsistente Alltagsbeobachtung, dass im Mittel Jungen in Physik, Mädchen in Biologie mehr leisten (Wuttke 2007).

Rezeption

PISA 2000, PISA 2003 und PISA 2006 haben in einigen Teilnehmerstaaten ein heftiges Medienecho ausgelöst; in Deutschland ist das Wort „PISA“ zum Inbegriff aller Probleme des Bildungswesens geworden.

In Deutschland

Deutschland hatte in den 1970er und 1980er Jahren an keinen internationalen Schulvergleichen teilgenommen. Der Richtungswechsel begann mit der Teilnahme an der Mathematikstudie TIMSS 1995. Die mittelmäßigen Ergebnisse wurden von Bildungspolitikern und Fachlehrern ausgiebig diskutiert, drangen aber nur kurz an die breite Öffentlichkeit.

Die Veröffentlichung der ersten PISA-Ergebnisse Ende 2001 wurde durch Vorabberichte mehrere Wochen lang vorbereitet und erzielte ein so überwältigendes Medien-Echo, dass bald von einem PISA-Schock gesprochen wurde, was an den Sputnikschock und die Debatte der 1960er Jahre um die von Georg Picht beschworene „Bildungskatastrophe“ erinnerte.

Wenige Tage vor der Veröffentlichung von PISA 2006 (Teilergebnisse waren auch diesmal an die Presse durchgesickert) eskalierte der Konflikt zwischen der OECD und der deutschen Projektgruppe. Andreas Schleicher bezog sich auf den OECD-Bericht, nach dem in keinem der vier Bereiche Naturwissenschaft, Mathematik, Leseleistung und Koppelung der Ergebnisse mit sozialer Herkunft Verbesserungen erreicht wurden, die über den statistischen Fehlerbereich hinausgingen. Die naturwissenschaftliche Aufgabenstellung sei im Wesentlichen neu konzipiert, in den wenigen Testaufgaben, die sowohl 2003 als auch 2006 verwendet wurden, seien die Leistungen unverändert. Umweltthemen hätten Deutschland 2006 begünstigt. Der deutsche Projektleiter Manfred Prenzel behauptete demgegenüber, die Ergebnisse seien sehr wohl zu vergleichen. Diese unterschiedlichen Einschätzungen stehen auch in den offiziellen Berichten.[4]

CDU-Kultusminister, insbesondere die hessische Ministerin Karin Wolff, nahmen das zum Anlass, Schleichers Entlassung zu fordern. Akut warf man ihm vor, mit der Kommentierung einer Vorveröffentlichung eine selbstgesetze Sperrfrist verletzt zu haben. Fundamentaler sind zwei Vorwürfe:

Die OECD wies diese Vorwürfe zurück. Die Interpretation entspräche den Ergebnissen der Studie. Eine Vergleichbarkeit über die Jahre sei sehr wohl gegeben, allerdings nicht in den jeweils neu getesteten Einzelbereichen. Es sei so geplant gewesen, dass aufbauend alle drei Jahre ein neuer Bereich getestet würde. Nach der Leseleistung 2000 waren dies 2003 die mathematischen und 2006 erst die naturwissenschaflichen Kenntnisse.

Einige CDU-Kultusminister überlegten laut, aus der PISA-Studie auszusteigen. Als Alternativen wurden der Bildungsmonitor der wirtschaftsnahen Initiative Neue Soziale Marktwirtschaft oder das Institut zur Qualitätsentwicklung im Bildungswesen genannt. Gleichzeitig drohte die OECD dem deutschen Projektleiter damit, dem ländervergleichenden PISA-E-Test das Label "PISA" zu entziehen, wenn er die Daten nach seiner eigenen Methode skaliere, da dies dann nichts mehr mit PISA zu tun habe.

Der Pisa-Konflikt reiht sich ein in einer Auseinandersetzung zwischen konservativen Bildungspolitikern in Deutschland und internationalen Organisationen, die seit einem Jahr für Pressewirbel sorgt. Streitpunkt war jedesmal das dreigliedrige Schulsystem und die Frage, ob dieses Migrantenkinder und Kinder aus unteren Schichten benachteilige. Im Dezember 2006 wurde ein entsprechendes Papier der EU-Kommission zurückgewiesen und im Frühjahr 2007 wurde der UN-Beobachter für das Menschenrecht auf Bildung, Vernor Munoz, für seinen kritischen Bericht scharf angegriffen. Bereits im Sommer 2007 wurde die internationale jährlich erscheinende OECD-Studie Bildung auf einen Blick von konservativen Lehrerverbänden als "ideologisch" bezeichnet.

In Österreich

In Österreich trat der PISA-Schock verspätet ein: Nachdem man sich 2000 noch daran delektiert hatte, deutlich besser als Deutschland abgeschnitten zu haben, wurde das Ergebnis aus 2003 als ein „Absturz“ wahrgenommen. Daraufhin veranlasste Bildungsministerin Elisabeth Gehrer eine Überprüfung durch die Statistiker Erich Neuwirth, Ivo Ponocny und Wilfried Grossmann, die in ihrem Untersuchungsbericht (2006) zahlreiche Ungereimtheiten bei der Stichprobenziehung und Datenauswertung zutage förderten; insbesondere war 2000 die Stichprobe in den Berufsschulen nicht korrekt gezogen worden. In einem Vorwort zu dem Bericht spielt Andreas Schleicher vom Koordinationsbüro die Korrekturen herunter und behauptet, die OECD hätte bislang darauf hingewiesen, dass eine Interpretation der österreichischen Ergebnisse nur "eingeschränkt zulässig" gewesen sei. Nach weiterer Verzögerung hat die OECD Anfang 2007 nahezu unbeachtet die Ergebnisse von Neuwirth et al. in den internationalen Datensatz übernommen und damit die österreichischen Ergebnisse aus 2000 offiziell nach unten korrigiert. Diesen korrigierten Daten zufolge hat es einen Absturz nie gegeben; 2000 und 2003 lagen die österreichischen Schülerleistungen gleichermaßen im Mittelfeld; es gab keine statistisch signifikanten Veränderungen.

Ähnlich wie in Deutschland sind soziale Unterschiede auffällig. Die Regierungsparteien (ÖVP und FPÖ) verwiesen bevorzugt auf schlechte Deutschkenntnisse von Ausländerkindern. Damalige Ministerin Gehrer konstatierte weiterhin ein Fehlverhalten von Eltern, die sich zu wenig um ihre Kinder kümmern würden. Die Opposition (SPÖ und Grüne) äußerte den Vorschlag, statt des stark diversifizierten Schulensystems eine Gesamtschule einzuführen. Diese Idee ist stark beeinflusst vom finnischen Vorbild. Im dortigen Schulsystem gibt es zwar extreme Leistungsunterschiede innerhalb, aber kaum zwischen den Schulen. In Österreich jedoch war das Gegenteil zu spüren.

Das Modell Finnland

In der öffentlichen Rezeption in Deutschland und Österreich wurde Finnland allgemein als „Testsieger“ angesehen. Zahlreiche Erklärungen für das exzellente Abschneiden Finnlands wurden vorgeschlagen (siehe auch: Bildungssystem Finnland):

Die Begeisterung für Finnland rief auch kritische Stimmen auf den Plan, die darauf hinwiesen, dass Alkoholismus unter finnischen Schülern weitverbreitet und die Selbstmordrate alarmierend hoch sei.

Aus statistischer Sicht relativiert sich das gute Abschneiden Finnlands, sobald man demographische, insbesondere soziale, Hintergrundvariablen kontrolliert. Finnland ist weniger "großstadtgeprägt" als die meisten einwohnerstärkeren Staaten und hat nahezu keine Einwandererkinder. Außerdem ist Finnland in weiten Landesteilen sehr dünn bevölkert, so dass schon dadurch die durchschnittliche Klassenstärke sinkt und die notwendigen Schüler für ein mehrgliedriges Schulsystem gar nicht zur Verfügung stehen.

Die Schulstrukturdebatte

Befürworter der Gesamtschule nutzten die PISA-Ergebnisse für eine Neuauflage der deutschen und österreichischen Schulstrukturdebatte. Sie verwiesen insbesondere auf:

Gegner wenden ein, dass die PISA-Ergebnisse keineswegs eindeutig sind:

Politische Reaktionen

Als unmittelbare Reaktion auf den PISA-Schock beschlossen die deutschen Kultusminister die Entwicklung bundesweiter „Bildungsstandards“ und die Gründung des Instituts zur Qualitätsentwicklung im Bildungswesen, das diese Standards in Form von Testaufgaben operationalisieren soll.

Rückwirkung auf die Schulen

Es war politisch von Anfang an beabsichtigt, dass PISA auf die Schulwirklichkeit zurückwirken solle. Beteiligte Mathematikdidaktiker hofften beispielsweise, ihre Vorstellung von sinnvollem Unterricht durchzusetzen (Meyerhöfer in Jahnke/Meyerhöfer 2007).

Konkret spürbar ist der Einfluss der PISA-Beispielaufgaben zum Beispiel, wenn in neuen Mathematiklehrplänen verstärktes Gewicht auf das Arbeiten mit Graphiken und Tabellen gelegt wird.

Kritik

Hauptartikel: Kritik an den PISA-Studien

Die PISA-Studien haben nicht nur ein außergewöhnliches Medienecho, sondern auch heftige wissenschaftliche Debatten ausgelöst. Aufgrund der Komplexität des Gegenstands ist die Kritik ein interdisziplinäres Unterfangen, an dem sich sowohl Pädagogen als auch Psychologen und andere Wissenschaftler mit statistischer Fachkunde (Mathematiker, Physiker, Ökonomen) beteiligen. Je nach Provenienz haben sie ihre Anmerkungen an weit gestreuten, zum Teil entlegenen Stellen veröffentlicht. Erst mit einiger Verzögerung erscheinen erste Sammelbände, die die bisher verstreute Kritik bündeln (Jahnke/Meyerhöfer 2006, erweitert 2007; Hopmann/Brinek/Retzl 2007).

Zielsetzung von PISA

Das utilitaristische Bildungsziel von PISA wird insbesondere von frankophonen Autoren kritisiert: es bewirke zunächst einmal eine Verzerrung der Testergebnisse zugunsten angelsächsischer Staaten und sodann einen Druck, Lehrpläne in Richtung auf unmittelbar alltagsrelevante Fertigkeiten anzupassen. Das bedrohe zum Beispiel die Spezifizität des französischen Mathematikunterrichts, der großen Wert auf strenge Beweise legt. In diesem Zusammenhang wird auf die ökonomische Zielsetzung der OECD und auf die Intransparenz und mangelnde demokratische Legitimität der Entscheidungsprozesse in PISA hingewiesen. Ein ähnlicher Einwand lautet, dass PISA mit seinen Schwerpunkten Mathematik, Muttersprache, Naturwissenschaften die Marginalisierung gesellschaftswissenschaftlicher und musischer Fächer forciert. Jahnke kritisiert den Grundgedanken, Bildung „standardisieren“ zu wollen (vgl. Bildungsstandards) und deutet PISA auch als Markterschließung der Testindustrie.

Methodik: Validität der Instrumente

Im Anschluss an die Testungen 2000 und 2003 wurde jeweils nur ein kleiner Teil der eingesetzten Aufgaben (der „Instrumente“ in der Sprache der Psychologie) veröffentlicht. Eine Vielzahl von Autoren hat diese Aufgabenbeispiele kritisiert, besonders gründlich der Mathematikdidaktiker Meyerhöfer. In einer didaktischen Analyse mit Methoden der objektiven Hermeneutik zeigt er, dass PISA dem Anspruch, eine spezielle „Mathematische Literalität“ zu testen, nicht gerecht wird.

Das seit den allerersten vergleichenden Schulstudien ungelöste Übersetzungsproblem bewirkt auf verschiedenen Wegen eine Verzerrung der internationalen Vergleiche:

Ein weiteres Problem ist die unterschiedliche Vertrautheit mit dem Aufgabenformat. Meyerhöfer spricht hier von „Testfähigkeit“; in den USA wird schon lange über die Bedeutung von „testwiseness“ diskutiert. Wuttke (2007) hat entdeckt, dass bis zu 10 Prozent der deutschsprachigen Schüler das Multiple Choice-Format nicht verstehen und mehr als eine Antwortalternative ankreuzen.

Methodik: Validität der Statistik

Bei der Auswertung von PISA und ähnlichen Studien stellt sich das Grundproblem, dass Leistungsunterschiede innerhalb eines jeden Staats wesentlich größer sind als typische Unterschiede zwischen Staaten. Es ist deshalb eine Messgenauigkeit im unteren Prozentbereich erforderlich, um statistisch signifikante Aussagen über solche Unterschiede treffen zu können. In PISA wird das formal durch die Verwendung sehr großer Stichproben (etwa 5.000 Schüler/Staat) erreicht. Die offiziellen Standardfehler berücksichtigen jedoch nicht mögliche systematische Verzerrungen (Wuttke 2007). Solche Verzerrungen werden unter anderem bewirkt durch:

Interpretation der Ergebnisse

Dieser Artikel oder Abschnitt ist nicht hinreichend mit Belegen (Literatur, Webseiten oder Einzelnachweisen) ausgestattet. Die fraglichen Angaben werden daher möglicherweise demnächst gelöscht. Hilf Wikipedia, indem du die Angaben recherchierst und gute Belege einfügst. Bitte entferne zuletzt diese Warnmarkierung.

Aus systemanalytischer Sicht wird kritisiert, dass das offiziell deklarierte erkenntnisorientierte Ziel, durch zyklische Wiederholung die „leistungsmäßigen Ergebnisse von Schulsystemen“ mitzuverfolgen, von vorneherein illusorisch sei: die Testergebnisse hängen von einer Vielzahl verschiedenster Einflüsse ab, so dass ein Rückschluss auf die eine Eingangsgröße „Schulsystem“ in der Regel ein ökologischer Trugschluss ist. Beispielsweise schmilzt der Vorsprung Finnlands dahin, wenn man nur die eine zusätzliche Eingangsgröße „Migrantenanteil“ herausrechnet.

Das von PISA postulierte Bildungsziel »literacy« führt zu einer Verwischung der Grenze zwischen den einzelnen Testgebieten. Die Ergebnisse sind hochkorreliert. Deshalb argumentiert Heiner Rindermann (2006; mit Verweis auf ähnliche Ergebnisse von Siegfried Lehrl und Volkmar Weiss), dass man PISA in guter Näherung als einen Intelligenztest deuten kann.

Weitere Analysen

Das kriminologische Forschungsinstitut Niedersachsen e. V. stellte fest, dass jene Gruppen bei PISA am schlechtesten abschnitten, die sich durch den höchsten Medienkonsum auszeichnen[7]. Siehe dazu auch: Kindheit_und_Jugend_in_Deutschland#Medienkonsum

Quellenangaben

  1. Organisation for Economic Co-operation and Development
  2. [1] Pisa – Ipn]
  3. [2] Internationale Grundkonzeption laut deutschem Projektpartner
  4. [3] PISA 2006: Naturwissenschaftliche Kompetenzen für die Welt von Morgen. OECD Briefing Note für Deutschland; [http://pisa.ipn.uni-kiel.de/zusammenfassung_PISA2006.pdf Zusammenfassung der deutschen Ergebnisse durch das Kieler IPN
  5. [4] McKinsey-Studie zu Pisa September 2007 (englisch)
  6. [5] „Dachboden“ statt „Boden des Dachgeschosses“ für „attic floor“, „Hemisphäre“ statt „Erdhälfte“ für „hemisphere“, „Forschung“ für „scientific experiments“ – vgl. Wuttke (2007) und in der Berliner Zeitung ("Pisa – ein teurer Zufallsgenerator")
  7. [6] Christian Pfeiffer et al.: Die PISA-Verlierer – Opfer des Medienkonsums KFN Hannover

Siehe auch

Weiterführende Artikel
andere Schulstudien

Literatur

Zusammenfassungen, Rezensionen, Kritiken


International
Deutschland (siehe auch: PISA-E und PISA-International-Plus)
Schweiz
Südtirol
andere Teilnehmerstaaten
Bibliografien