Weiterbildung & Lehrgang
Fernstudium, Fernlehrgang, Sprachkurs - Wir haben die richtige Schulung!

Vorbereitung, Durchführung und Auswertung von PISA 2000 sind in einem über 300-seitigen technischen Bericht beschrieben.

Projektleitung

PISA beruht auf internationaler Zusammenarbeit. Die PISA-Studie wird im Auftrag der OECD durchgeführt. Sie wird koordiniert von einem Internationalen Konsortium unter Leitung des Australian Council for Educational Research (ACER). Auf Seiten der OECD leitet Andreas Schleicher das Projekt. Jeder Teilnehmerstaat wird durch eine nationale Projektleitung vertreten.

• In Deutschland wurde PISA 2000 vom Max-Planck-Institut für Bildungsforschung in Berlin koordiniert; für PISA 2003 und 2006 ist die Projektleitung an das IPN in Kiel übergegangen.
• In der Schweiz wird PISA vom Eidgenössischen Statistikamt in Neuenburg koordiniert. Dort kann man auch nachlesen, dass die nationale Durchführung einer Dreijahresstudie 3 Mio. SFr Projektkosten verursacht (Personalkosten, Honorare, Reisekosten, Beiträge zur internationalen Koordination – nicht eingerechnet aber die Gehaltsanteile der Festangestellten, die einen Teil ihrer Arbeitszeit auf PISA verwenden).
• In Österreich wird PISA vom Projektzentrum für Vergleichende Bildungsforschung (ZVB) in Salzburg unter Leitung von DDr. Günter Haider koordiniert.

Vorbereitung

Der Prozess der Evaluation der Testaufgaben wurde von jedem teilnehmenden Land begleitet und beeinflusst und reichte von der Entwicklung durch das internationale PISA Entwicklungsteam, Übersetzung in die Sprachen der Teilnehmerländer, über die Bewertung jedes Einzelitems durch Lehrplanexperten und Vortestungen in jedem Teilnehmerstaat bis hin zur Rasch-Skalierung. Der komplette Prozess der Evaluation ist im technischen Bericht nachzulesen. Die Schul- und Schülerstichproben wurden so gewählt, dass sie nach heutigem Forschungsstand bestmöglich repräsentativ für die jeweilige Landesbevölkerung stehen.

Testdurchführung

An PISA 2000 nahmen 43 Staaten teil; in den offiziellen Veröffentlichungen werden jedoch nur Daten für 32 Staaten berichtet. In diesen Staaten wurden rund 180.000 Schüler getestet: zwischen 4.500 und 10.000 pro Staat. In Liechtenstein, Luxemburg und Island umfasste die Stichprobe die gesamte fünfzehnjährige Bevölkerung.

Die Schüler bearbeiten nicht alle die gleichen Aufgaben. Zur Verbesserung der Datenqualität (und um den Preis einer zusätzlichen Skalierung) umfasst eine Studie neun Aufgabenhefte (test booklets), von denen jeder Schüler nur vier bearbeitet (rotated test design). Im Anschluss an die vier dreißigminütigen Aufgabenbearbeitungen füllt jeder Schüler einen umfangreichen Fragebogen (questionnaire) vor allem zu seinem sozioökonomischen Hintergrund aus. Die Zusatzuntersuchung zum selbstregulierten Lernen erfolgte 2000 über Fragebögen [?]; die Untersuchung zur Problemlösung bezog 2003 auch Testaufgaben ein (die Aufgaben aus den drei Kompetenzbereichen oder spezielle Aufgaben ??].

Datenerfassung und -aufbereitung [Bearbeiten]

Sämtliche Antworten eines Schülers werden von speziell geschulten Kräften in Codebuchstaben oder -ziffern übersetzt und in einen Computer eingegeben. Sämtliche Datensätze werden einem Subkontraktor (dem australischen Statistik-Institut ACER) zur Skalierung übergeben. Aus den Schülerantworten (und zwar nur denen aus den OECD-Mitgliedsstaaten) wird zunächst der Schwierigkeitsgrad der einzelnen Teilaufgaben ("Items") bestimmt. Anschließend werden die skalierten Daten an die nationalen Projektgruppen zurückgegeben, die die Daten ausführlich auswerten. OECD und nationale Projektgruppen publizieren erste Ergebnisse jeweils im Folgejahr der Testdurchführung.

Nach Veröffentlichung der ersten Ergebnisse werden die Datensätze (mit Ausnahme einiger Schlüssel, in Deutschland zum Beispiel Bundesland und Schulform) auch externen Forschern zugänglich gemacht: originale Schülerantworten und skalierte Schülerdaten können bei ACER heruntergeladen werden, sind aber, wie aus dem zugehörigen Handbuch ersichtlich, nur für Spezialisten nutzbar. Eine unabhängige didaktische Interpretation ist nicht möglich, da die Schülerantworten im veröffentlichten Datensatz nur als <richtig | falsch | nicht bearbeitet> codiert und die Aufgaben nicht erhältlich sind.

Die veröffentlichten Aufgabenlösungen suggerieren, dass bei der Erfassung von Schülerantworten auf Multiple Choice-Frage (im Gegensatz zu Aufgaben mit anderem Antwortformat) zwischen "falsch" und "nicht bearbeitet" nicht unterschieden wird. Das Codierungshandbuch deutet jedoch darauf hin, dass diese Information falsch ist und im internationalen Rohdatensatz sehr wohl codiert ist, ob eine Antwort gegeben wurde und wenn ja, welche. Mangels klarer Aussagen muss man jedoch vermuten, dass in der offiziellen Datenaufbereitung (siehe nächsten Abschnitt) zwischen falschen (also möglicherweise geratenen) und nicht gegebenen Antworten nicht unterschieden wurde - im Gegensatz zu anderen standardisierten Tests (z. B. SAT), wo falsche MC-Antworten mit Punktabzug sanktioniert werden.