Hallo,
wir planen eine Analyse mit den BT-Daten für die Lesekompetenz in der Primarstufe von 2011, 2016 und 2021 (letztere sobald verfügbar). Es geht dabei um die Frage, wie sich Veränderungen in den Stundentafeln der Länder auf die Kompetenzen auswirken. Schüler:innen mit sonderpädagogischem Förderbedarf schließen wir aus unserer Stichprobe aus, sodass deren Oversampling keine Rolle spielt. Generell scheint ihr die Verwendung der Gewichte zu empfehlen, um repräsentative Ergebnisse zu erhalten. Gleichzeitig kann Gewichtung auch zu Verzerrungen führen, wenn man nur ein Teilsample verwendet, sodass z.B. das NEPS-Team in vielen Fällen von der Gewichtung abrät und dann empfiehlt, die Strata-Variablen stattdessen in das Analysemodell einzubeziehen („modellbasierter Ansatz“).
Ist die Gewichtung der BT-Daten sinnvoll/notwendig, wenn Schüler:innen mit SFP ausgeschlossen und Daten aus mehreren Jahren verwendet werden?
Viele Grüße und besten Dank!
1 „Gefällt mir“
Hallo und vielen Dank für die spannende Frage!
Bei der Verwendung vs. Nichtanwendung von Gewichten/Sampling Weights müssen sie abwägen, welcher Bias bzw. welche Verzerrung stärker ins Gewicht fällt. Ich würde dafür argumentieren, die Analysen immer unter Berücksichtigung der Sampling Weigts durchzuführen, um Aussagen auf Populationsebene treffen zu können und auch, um die unterschiedlichen Ziehungswahrscheinlichkeiten in die Stichprobe sowie das Stichprobendesign adäquat berücksichtigen zu können. Darüber hinaus sollten auch Replikationsverfahren zur Schätzung der Standardfehler eingesetzt werden (in den IQB-Bildungstrends werden dazu Jackknife-Verfahren genutzt).
Auch im IQB-Bildungstrend 2021 wurden Trendanalysen unter Verwendung der Sampling Weights durchgeführt, für manche Analysen (z. B. Kapitel 3 im Ergebnisbericht) wurden hier auch Schülerinnengruppen ausgeschlossen (das betrifft zieldifferent unterrichtete Schülerinnen). Für weiterführende Analysen empfehle ich den Ergebnisbericht zum IQB-Bildungstrend 2021 (insbesondere Kapitel 10), der unter folgendem Link frei verfügbar ist: https://www.iqb.hu-berlin.de/bt/BT2021/Bericht/
Falls sie ihre Analysen in R durchführen wollen, lassen sich Trendanalysen unter Verwendung der Sampling Weights sehr gut mit dem Paket „eatRep“ bewerkstelligen. Hier finden sie nähere Informationen dazu: https://cran.r-project.org/web/packages/eatRep/index.html
Und hier ein sehr instruktives Tutorial zu dem Paket: https://www.iqb.hu-berlin.de/fdz/faq/eatRepTutorial.pdf
Viel Erfolg bei ihren Analysen!
1 „Gefällt mir“