Hallo zusammen,
derzeit schreibe ich ein Buchkapitel zur Entwicklung von Kompetenzunterschieden zwischen sozioökonomischem Status, Geschlecht und Migrationshintergrund (SC2 und SC3) von der Grundschule bis zur Sekundarstufe.
Um die Kompetenzunterschiede relativ darzustellen, habe ich die Kompetenzwerte (WLE-Scores) für jede Welle mit Kompetenztestung z-standardisiert. Hierbei habe ich keine Gewichtung verwendet. Danach habe ich die Daten imputiert (MICE) und für die Regression Längsschnittgewichte verwendet, um die Panel-Attrition über die Wellen hinweg zu berücksichtigen.
Durch die Verwendung der Gewichte und der multiplen Imputation hat sich der Mittelwert der z-Standardisierung jedoch verschoben, sodass er nicht mehr bei 0 liegt. Um das zu lösen, habe ich zunächst überlegt, die Kompetenzwerte mittels Gewichten zu standardisieren. Da ich aber pro Welle standardisiere, würde ich dafür Querschnittsgewichte verwenden, wodurch sich das Problem durch die unterschiedliche Anwendung von Gewichten (Querschnitt bei der Standardisierung, Längsschnitt in der Regression) nicht lösen ließe. Dasselbe Längsschnittgewicht auch für die wellenspezifische Standardisierung zu verwenden, würde ich methodisch nicht als sauber erachten, da dieses Gewicht ja eigentlich die Attrition über den gesamten Beobachtungszeitraum abbildet, nicht die Querschnittsrepräsentativität einer einzelnen Welle.
Deshalb wollte ich mich erkundigen: Gibt es bei NEPS eine Empfehlung oder Konvention, an der man sich in einem solchen Fall orientieren kann?
Vielen Dank und viele Grüße
Johanna
Hallo Johanna,
Vielen Dank für das Interesse an den Kompetenzmessungen und Gewichtung. Eine explizite NEPS-Konvention für diese Kombination aus Gewichtung, Imputation und Standardisierung gibt es nicht.
Generell würden wir empfehlen, erst die Imputation durchzuführen und anschließend innerhalb jedes imputierten Datensatzes zu standardisieren, da Mittelwert und Standardabweichung von den fehlenden Werten abhängen.
Um die Auswirkungen von Standardisierung und Gewichtung besser abschätzen zu können, müssten wir noch wissen, wie das Analysemodell und die Zielfragestellung genau aussieht.
Beste Grüße
Anne Konrad und Timo Gnambs
Hallo Anne und Timo,
vielen Dank für die schnelle Rückmeldung und den Hinweis zur Reihenfolge. Ich werde das entsprechend anpassen.
Zur weiteren Einordnung:
Meine Forschungsfrage lautet wie folgt: Wie entwickeln sich Leistungsunterschiede in den Kompetenzen (Lesen, Mathematik und digitalen Kompetenzen) von der Grundschule bis zur Sekundarstufe, differenziert nach Geschlecht, SES und Migrationshintergrund?
Das Analysemodell ist eine gewichtete OLS-Regression je Kompetenzdomäne mit einer Interaktion zwischen Welle und der jeweiligen Gruppierungsvariable (Geschlecht, SES oder Migrationshintergrund). Die Regression erfolgt nach der multiplen Imputation (MICE, m=100). Die Analysen werden in Stata unter RemoteNEPS durchgeführt. Für das Geschlecht und die Mathematikkompetenz sieht das Modell beispielsweise wie folgt aus:
mi estimate: reg c.zmat i.wave##i.sex [pw=w_t1to9]
mimrgns sex, over(wave)
Viele Grüße
Johanna
Hallo Johanna, Vielen Dank für die Erläuterung des Analysemodells.
Für die von Ihnen geplante Analyse ist es nicht erforderlich, dass der Mittelwert der standardisierten Kompetenzwerte nach Anwendung der Längsschnittgewichte weiterhin exakt bei 0 liegt. Wenn die Kompetenzwerte nach der multiplen Imputation innerhalb jeder Welle z-standardisiert werden, beträgt ihr ungewichteter Mittelwert in jedem imputierten Datensatz zunächst 0. Durch die anschließende Verwendung der Längsschnittgewichte erhalten die einzelnen Personen jedoch ein unterschiedliches Gewicht in der Analyse. Der gewichtete Mittelwert bezieht sich damit auf eine andere, durch die Gewichte definierte Verteilung und muss deshalb nicht mehr 0 betragen. Dies stellt keinen Fehler der Standardisierung dar, sondern ist eine erwartbare Folge der Gewichtung.
Eine erneute oder gewichtete Standardisierung allein mit dem Ziel, den Mittelwert wieder auf 0 zu setzen, ist daher nicht notwendig. Für die geschätzten Unterschiede zwischen den Gruppen und deren Veränderung über die Wellen ist eine solche Verschiebung des Gesamtmittelwerts grundsätzlich unerheblich. Sie verändert vor allem den Interzept beziehungsweise das Niveau der vorhergesagten Mittelwerte, nicht aber die Differenzen zwischen den Gruppen. Die wellenspezifische Standardisierung ist vielmehr eine inhaltliche Entscheidung.
Unabhängig von der Standardisierung sehe ich allerdings ein Problem bei der Verwendung einer gewöhnlichen OLS-Regression. Da dieselben Personen in mehreren Wellen beobachtet werden, sind die Beobachtungen innerhalb einer Person nicht unabhängig. Eine OLS-Regression ohne Berücksichtigung dieser Abhängigkeit kann insbesondere zu unzutreffenden Standardfehlern und damit zu problematischen Konfidenzintervallen und Signifikanztests führen. Es sollten auf Personenebene geclusterte Standardfehler verwendet werden z.B. durch vce(cluster ID).
Viele Grüße
Anne
Hallo Anne,
vielen Dank für die hilfreiche Erklärung.
Dementsprechend werde ich keine erneute Standardisierung mit dem Ziel, den Mittelwert auf 0 zu bringen, durchführen.
Vielen Dank für den Hinweis auf die geclusterten Standardfehler. Die OLS-Regression ohne den geclusterten Standardfehler war eine projektspezifische Vorgabe. Ich werde den Hinweis an unseren Projektpartner weiterleiten, damit wir dies in die OLS-Regression einbauen.
Viele Grüße
Johanna