Zur Durchführung der PISA-Studie

Für viele waren die Ergebnisse Südtirols in der Pisa-Studie überraschend. Da nicht alle wissen, wie eine solche internationale Untersuchung abläuft, sollen im Folgenden einige Informationen zum Aufbau und zur Durchführung dieser weltweiten Leistungserhebung gegeben werden.

Für PISA 2003 haben verschiedene Staaten – unter anderem auch Italien – einzelnen Ländern, Regionen und Provinzen die Möglichkeit eingeräumt, sich mit eigenen vollwertigen Stichproben zu beteiligen. In diesem Sinne ist PISA auch in Südtirol durchgeführt worden. Südtirol konnte sich im gleichen Umfang wie ein selbstständiger Staat an PISA beteiligen, das heißt, die Stichprobe wurde so ausgewählt, dass sie für das Land repräsentativ ist. Damit sind die Ergebnisse Südtirols durchaus vergleichbar mit jenen anderer Länder, sodass sie von der OECD im Anhang B2 des internationalen Handbuchs veröffentlicht wurden.

Die Aussagen, die Ergebnisse Südtirols seien nur als Teilergebnisse von Italien zu verstehen und seien also Spitzenwerte und nicht Durchschnittswerte, entbehren jeder Grundlage. Die in Südtirol erzielten Ergebnisse sind die Durchschnittswerte für alle an der Untersuchung beteiligten Schüler und Schülerinnen.

Das bedeutet, dass es selbstverständlich auch in Südtirol Schulen, Täler oder Bezirke gibt, die Ergebnisse über dem Südtiroler Durchschnitt erzielen.

Ein Vergleich der Daten aus Südtirol mit jenen aus Finnland, Österreich oder Italien ist also nicht nur möglich, sondern entspricht ganz der Zielsetzung der PISA-Studie.

Die Verantwortung für die gesamte Durchführung der PISA-Studie in Südtirol lag beim nationalen PISA-Zentrum in Frascati, welches jeden Schritt mit dem internationalen Konsortium abgestimmt hat.

Die Population

Wie in allen an der PISA-Studie beteiligten Staaten und Länder umfasste die Zielpopulation Schülerinnen und Schüler, deren Alter zum Zeitpunkt der Erhebung zwischen 15 Jahren und 3 Monaten bis 16 Jahren und 2 Monaten lag. In Südtirol waren dies, wie in vielen Ländern, die im Jahre 1987 geborenen Jugendlichen.
Diese Altersgruppe ist in den meisten OECD-Ländern am Ende ihrer Pflichtschulzeit. In Südtirol haben die Jugendlichen in diesem Alter die Pflichtschule aber bereits abgeschlossen, was für die Erhebung einige Probleme bereitete.

In die Zielpopulation fallen – laut Definition des internationalen Konsortiums – alle Jugendlichen, die im genannten Alter noch eine Schule besuchen. Ausgeklammert sind deshalb die 15-Jährigen, die nicht mehr zur Schule gehen.

In Italien sind nur die staatlichen und die staatlich anerkannten Schulen berücksichtigt worden, sodass alle Schüler und Schülerinnen, die die Schulpflicht erfüllt haben, nicht mehr zur Schule gehen oder als Lehrlinge arbeiten und Kurse im Rahmen der regionalen Berufsausbildung besuchen, nicht zur Zielpopulation „Schüler und Schülerinnen“ gezählt wurden.

Für die deutsche Schule in Südtirol kam dies nicht in Frage und die Ergebnisse wären verfälscht worden, da es in Südtirol ein ausgebautes Netz von Berufschulen gibt, die Vollzeitkurse anbieten und in jedem Falle als „Schulen“ zu betrachten sind.

Deshalb wurde Wert darauf gelegt, dass sich auch die deutsche und ladinische Berufsbildung mit den Vollzeitkursen an der PISA-Studie beteiligt.

Trotz der Beteiligung der deutschen und ladinischen Berufsbildung an der PISA-Studie ist der Anteil der Jugendlichen, die nicht als „Schüler“ definiert wurden, relativ hoch, vor allem im Vergleich zu den Ländern, in denen die Jugendlichen dieser Altersstufe noch die Pflichtschule besuchen.

Es bleibt aber festzuhalten, dass Südtirol alle Erfordernisse der OECD erfüllt hat und dass die deutsche Schule in Südtirol auf Spitzenpositionen innerhalb der beteiligten Staaten und Länder bleibt, auch wenn berücksichtigt wird, dass die Lehrlinge in die Untersuchung nicht miteinbezogen waren.

Ausschlüsse von Schulen, Schülern und Schülerinnen

Um die Vergleichbarkeit hoch zu halten, wurden strenge Kriterien angewandt, die den Ausschluss von Schulen und von Schülerinnen und Schülern regeln. Gleichzeitig wurde eine Mindest-Rücklaufquote festgelegt. In Südtirol sind die Kriterien ohne Probleme eingehalten worden.

Die Ziehung der Stichprobe

Die Stichprobenziehung für Südtirol erfolgte nach dem Konzept der zweistufigen geschichteten Stichprobe. Sie erfolgte durch das Westat in Houston (USA). In einem ersten Schritt wurden dem Westat über das INValSI alle deutschen und italienischen Schulen sowie jene der deutschen und ladinischen Berufsbildung gemeldet, die von 15- bis 16-Jährigen besucht werden.

Die Auslosung der Schulen erfolgte aufgrund von Schichten, so dass gewährleistet wurde, dass

in einem ihrem Verhältnis entsprechenden Anteil in der Stichprobe vertreten waren. Ebenso musste gewährleistet werden, dass anteilsmäßig kleine, mittlere und große Schulen sowie staatliche und staatlich anerkannte Schulen vertreten waren.

In Übereinstimmung mit der Vorgangsweise in Italien wurden in Südtirol jene Schulen, die in einer Direktion unterschiedliche Oberschultypen (zum Beispiel Realgymnasium und Handelsoberschule) umfassten, als getrennte Schulen betrachtet.

In einem zweiten Schritt erstellen die ausgelosten Schulen im Dezember 2002 eine Liste aller Schülerinnen und Schüler, die im Jahr 1987 geboren sind und schickten diese an das nationale PISA-Zentrum am INVaLSI, welches die Listen an das Westat weiterleitete. Dort wurden die Schülerinnen und Schüler ausgelost.

In Schulen mit mehr als 35 Schülerinnen und Schülern des Jahrgangs 1987 wurden 35 Jugendliche ausgelost, in Schulen mit weniger als 35 Schülerinnen und Schülern wurden alle Jugendlichen in die Stichprobe einbezogen.

Die Durchführung der Tests

An der deutschen Schule wurden die Tests zwischen dem 2. und 15. April 2003 durchgeführt. 1.318 Schülerinnen und Schüler wurden für den Test ausgelost. 1.264 Schüler und Schülerinnen haben am Test teilgenommen. Mit 96,13% ist die Quote der effektiven Beteiligung sehr hoch und liegt weit über dem internationalen Durchschnitt und über jenem, den die OECD als Mindestteilnahme gefordert hat.

Quailty-Monitoring

Die Tests sind überall reibungslos verlaufen. An 10% der beteiligten Schulen fand ein Quality-Monitoring statt. Im Auftrag der OECD hat eine Person die Durchführung der Tests an einigen, zufällig ausgewählten Schulen während des gesamten Verlaufs (Vorbereitung der Tests, Durchführung, Abschluss und Verpacken der Testhefte) überprüft.

Die Eingabe und Auswertung der Daten

Die Daten der Testhefte und der Fragebögen für die Schülerinnen und Schüler sowie der Fragebögen für die Direktoren und Direktorinnen sind am PISA-Zentrum in Salzburg erfasst worden. Von dort wurden sie ins italienische PISA-Zentrum nach Frascati weitergeleitet, wo sie überprüft wurden. Die Daten wurden dann an das ACER (Australian Council for Educational Research) in Australien weiter geleitet, wo die PISA-Daten aller Länder gesammelt und bearbeitet wurden.

Rudolf Meraner