Weiterbildung & Lehrgang
Fernstudium, Fernlehrgang, Sprachkurs - Wir haben die richtige Schulung!

Die Auswertung der PISA-Studie beruht auf mathematischen Modellen, die es erlauben, Aufgabenschwierigkeiten und Schülerkompetenzen auf ein und derselben Leistungsskala zu beschreiben (Rasch-Modell; siehe auch Rost, J. (2004). Testtheorie. Bern: Huber.). Diese Skala wurde willkürlich so gewählt, dass die Schülerkompetenzen der gesamten OECD-Stichprobe (ohne Partnerländer) den Mittelwert 500 und die Standardabweichung 100 haben. Das heißt: Schüler mit der Leistungsfähigkeit 400, 500, 600 sind leistungsfähiger als 15,9 %, 50 % oder 84,1 % aller OECD-Schüler. Durch die erstmalige Einbeziehung der Türkei mit ihren niedrigen Werten in die Berechnung des OECD-Mittelwertes im Jahre 2003 hat sich der Wert aller anderen Länder gegenüber 2000 um 3 Punkte verbessert, ohne dass in diesen Ländern irgendetwas Inhaltliches zu dieser Verbesserung beigetragen worden ist. Würde man die Länder entsprechend ihren Schülerzahlen im getesteten Jahrgang bei der Mittelwertsbildung gewichten, ließen sich weitere derartige "Verbesserungen" erreichen.

Eine ähnliche Skalenkonstruktion ist von IQ-Tests bekannt, deren Mittelwert 100 und deren Standardabweichung zumeist 15 ist, der Umrechnungsfaktor demnach 100 zu 15 = 6,67 für die Abweichungen vom PISA-Mittelwert 500. Nach Meinung der Bildungsforscher haben die Aufgaben aus den PISA-Tests allerdings nichts mit IQ-Tests zu tun, und sie sträuben sich deshalb gegen eine Umrechnung in IQ-Werte (Kritik).

Die Leistungsskala der PISA-Studien ist so konstruiert, dass die Schülerfähigkeiten normalverteilt sind mit Mittelwert 500 und Standardabweichung 100. Eine solche Normierung (mit Mittelwert 100 und Standardabweichung von zumeist 15) ist seit langem in IQ-Tests üblich.

Tatsächlich verwendet PISA nicht eine sondern drei Leistungsskalen, für die drei Kompetenzfelder Lesen, Mathematik, Naturwissenschaften. Für dasjenige Kompetenzfeld, das in einem Durchgang vertieft untersucht wird, werden überdies Subskalen gebildet. In PISA 2000 wurde die Lesekompetenz aufgegliedert in "Informationen ermitteln", "textbezogen Interpretieren" und "Reflektieren und Bewerten"; in PISA 2003 gibt es für den Schwerpunkt Mathematik vier Subskalen: "Raum und Form", "Veränderung und Beziehung", "Quantität" und "Unsicherheit".

Alle Kompetenzen und Subkompetenzen sind jedoch hoch miteinander korreliert, und es lässt sich aus ihnen leicht ein Mittelwert bilden. Eine zusammenfassende Bewertung auf einer Skala findet sich zwar in keiner der offiziellen Publikationen; sie wurde jedoch von einigen Presseorganen hergestellt, um PISA noch plakativer als einen quasi olympischen Ländervergleich darstellen zu können.

Es wird postuliert, dass Aufgabenschwierigkeit und Schülerkompetenz die Lösungswahrscheinlichkeit festlegen. Eine Aufgabe i hat zum Beispiel die Schwierigkeit ξ_i=550, wenn ein Schüler ν mit der Leistungsfähigkeit σ_ν=550 diese Aufgabe mit "hinreichender Sicherheit" lösen kann. In willkürlicher Weise wird definiert, dass "hinreichende Sicherheit" eine Lösungswahrscheinlichkeit von 62% bedeutet.

Im Rahmen der Auswertung müssen aus den Schülerdatensätzen sowohl die Aufgabenschwierigkeiten als auch die Schülerkompetenzen ermittelt werden. Diese Auswertung ist von Modellannahmen (Item Response Theory) abhängig, überaus kompliziert und schlecht dokumentiert. Die offizielle Beschreibung im technischen Bericht (S. 99ff.) ist sehr allgemein gehalten. Es werden keine konkreten Zahlenwerte für die Modellparameter angegeben; es nicht einmal möglich, die Dimension wichtiger Vektoren zu erschließen. Folgendes lässt sich einigermaßen zuverlässig herauslesen:

Es werden je 500 Schüler aus 27 OECD-Ländern ausgelost. Es wird angenommen, dass die latenten Fähigkeit (für PISA 2000 also die Leistungsmaße für Mathematik, Naturwissenschaft und dreimal Lesen) unter den 13.500 Schülern der Stichprobe multivariat normalverteilt sind. Unter dieser Annahme kann man die Koeffizienten eines Item Response Modells berechnen, das beschreibt, wie schwer einem Probanden mit bestimmtem Fähigkeitsprofil eine bestimmte Teilaufgabe fällt.

Das Fähigkeitsprofil des Schülers ν ist ein Vektor σ_ν, dessen fünf Komponenten gerade die Teilkompetenzen in Mathematik, Naturwissenschaft und dreimal Lesen sind. Die Aufgabenschwierigkeit ξ_i wird in diesem Teil des technischen Berichts als ein Vektor (mit unbekannter Dimension p), überall sonst aber als ein Skalar beschrieben.

Man weiß nun, mit welcher Wahrscheinlichkeit ein bestimmter Fähigkeitsvektor ein bestimmtes Antwortverhalten zur Folge hat. Die Aufgabe lautet aber umgekehrt, aus dem tatsächlichen Antwortmuster auf die Fähigkeiten zurückschließen. Das geht nicht in eindeutiger Weise. In den skalierten Schülerdatensätzen werden zwei Wege beschritten, um in approximativer Weise Schülerfähigkeiten mitzuteilen: (1) Es werden die wahrscheinlichsten Fähigkeitswerte (Maximum Likelihood Estimates) angegeben. Diese Werte sind jedoch nicht geeignet, um größere Populationen zu charakterisieren. (2) Es werden sogenannte plausible values angegeben: für jeden der 180.000 Probanden werden mit Hilfe von Zufallszahlen fünf beispielhafte Fähigkeitsvektoren ausgelost, wobei die Auslosung so gesteuert wird, dass bei Mittelung über eine hinreichend große Population die gemessenen Antwortmuster reproduziert werden. Alle weiterführenden Analysen, die auf diesem Datensatz aufbauen, zieht man sinnvollerweise fünfmal mit je einer Instanz des Fähigkeitsvektors pro Schüler durch; durch Vergleich der fünf numerischen Endergebnisse kann man am Ende beurteilen, welche Unsicherheit durch die Verwendung von Zufallszahlen verursacht wird.

Zur Charakterisierung bestimmter Teilpopulationen, zum Beispiel nach Land, nach Geschlecht oder nach sozioökonomischen Kriterien, bildet man einfach Mittelwerte über die "plausible value"-Fähigkeitswerte der einzelnen Schüler.