Welche methodischen Herausforderungen stellen sich bei der Auswertung von Schulleistungsdaten?
Große Schulleistungsstudien (wie z. B. PISA) weisen einige Besonderheiten auf, die bei der Auswertung berücksichtigt werden sollten.
Besonderheiten der Stichprobe: Datensätze aus Large-Scale Assessments stellen keine einfachen Zufallsstichproben) aus der Population dar. Stattdessen erfolgte die Ziehung in verschiedenen Schichten. Dies hat zur Folge, dass die Verteilung der Schüler:innen auf die verschiedenen Bundesländer, Schularten usw. nicht den entsprechenden Anteilen in der Population entsprechen. Die Ziehungseinheiten bei der Stichprobenziehung sind Schulen sowie innerhalb der gezogenen Schulen in der Regel vollständige Klassen. Da sich Schüler:innen innerhalb einer Schule bzw. Klasse ähnlicher sind als Schüler:innen verschiedener Schulen bzw. Klassen, ist die Stichprobe homogener, als es eine einfache Zufallsstichprobe gleicher Größe wäre.
Besonderheiten der Variablen: Fehlende Angaben werden in der Regel in einem komplexen Verfahren multipel imputiert (Hintergrundmodell). Bei der Messung von Kompetenzen kommt meist die Plausible Values-Technik zum Einsatz.
Das R-Paket eatRep (Weirich et al., 2023) ermöglicht die Bestimmung von Mittelwerten, Häufigkeitsverteilungen, Perzentilen und Regressionen unter Berücksichtigung der geschachtelten und imputierten Stichprobe. Auch Trendanalysen können gerechnet werden.