Missings bei Berufsaspirationen in PISA

Liebe Kolleginnen und Kollegen,

Wir arbeiten derzeit mit Daten der Deutschen PISA-Ergänzungsstudie zu Berufsaspirationen von Schüler*innen und haben dabei methodische Fragen, bei der mir die Dokumentation bislang keine eindeutige Antwort liefert.

In den PISA-Schülerfragebögen wird die berufliche Erwartung mit einer offenen Frage erfasst. Die offenen Antworten werden anschließend in ISCO-Codes überführt. In meiner Auswertung zeigt sich jedoch über die Erhebungswellen hinweg ein steigender Anteil fehlender Werte bei den Berufsaspirationen, insbesondere 2022. Dieser Anstieg scheint vor allem auf zunehmend viele leere Felder zurückzuführen zu sein; wenn nur die nicht-leeren Antworten betrachtet werden, bleibt der Anteil fehlender Berufsaspirationen über die Wellen hinweg vergleichsweise stabil.

Ich würde Sie daher gerne um eine methodische Einordnung bitten:

  1. Fragebogenreihenfolge / Itemplatzierung:
    Wie war die Platzierung der Frage zu den Berufsaspirationen in den deutschen PISA-Befragungen über die einzelnen Wellen hinweg? Ist es denkbar, dass Reihenfolgeeffekte durch Ergänzung von Items vor der Abfrage von Berufsaspirationen im Zeitverlauf zu mehr leeren Antworten beigetragen hat, einfach weil die Schüler*innen nicht mehr zur Frage nach den Berufsaspirationen kommen? (Wir kennen das aus dem NEPS-Kontext sehr gut: es gibt zunehmend mehr interessante Items die erhoben werden sollen, aber die Schulstunde wird über die Jahre nicht länger und die Fragen am Ende des Fragebogens werden von vielen (insbesondere Kompetenzschwachen SuS) gar nicht erreicht.)
    In den verfügbaren Dokumentationen ist die Reihenfolge für mich nicht eindeutig nachvollziehbar: das Codebook für Deutschland weicht von den internationalen Fragebögen ab und enthält ergänzte Fragen. Teilweise sind die Items, die im Internationalen Fragebogen enthalten sind im deutschen Codebook in anderer Reihenfolge gelistet. Und für PISA 2022 betrachtet: ausgehend von beiden Dokumenten lässt sich keine Reihenfolge erschließen, die einen erwartbaren steigenden Anteil missing values im Fragebogenverlauf aufzeigt.
  2. Computerbasierte Durchführung ab 2015:
    Seit 2015 wird PISA computerbasiert durchgeführt. Gab es für die offene Frage zu den Berufsaspirationen einen harten oder weichen Antwortzwang?
  3. Codierung leerer oder unklarer Eingaben:
    Wurden Eingaben wie „–“, „…“ oder ähnliche Platzhalter als 9999 codiert, oder werden in den Daten nur vollständig leere Felder als fehlend behandelt?

Ich füge Ihnen zur besseren Einordnung eine Tabelle mit den Fallzahlen sowie eine Grafik mit der detaillierten Aufschlüsselung der Missing Values nach Kategorien (empty field, don’t know, vague answer, out of labor force) bei.

Über eine kurze Rückmeldung oder einen Hinweis auf die zuständige Dokumentation würde ich mich sehr freuen.

Vielen Dank im Voraus für Ihre Unterstützung und freundliche Grüße

Hans Gerhardt

Description of sample sizes

female male
Year gross sample non-miss. aspirations (%) gross sample non-miss. aspirations (%)
2000 17,349 12,492 72.0 17,304 12,225 70.6
2003 12,669 8,045 63.5 12,755 8,139 63.8
2006 19,112 12,795 66.9 20,104 11,816 58.8
2009 4,702 3,062 65.1 4,758 2,828 59.4
2012 - - - - - -
2015 1,957 1,372 70.1 2,027 1,340 66.1
2018 1,654 1,065 64.4 1,797 1,114 62.0
2022 3,178 1,741 54.8 3,220 1,703 52.9

Note: Gross sample refers to the sample after excluding vocational and special needs schools. Non-missing aspirations refers to respondents with valid information on occupational aspirations.

Detaillierte Aufschlüsselung missing codes:

Lieber Herr Gerhardt,

vielen Dank für Ihre ausführliche Darstellung. Der von Ihnen beobachtete Anstieg fehlender Werte bei den Berufsaspirationen ist interessant und Ihre Erklärungsansätze erscheinen plausibel.

Leider liegen uns am FDZ keine weiterführenden Informationen zur konkreten Erhebungsdurchführung und Kodierung vor, die über die von Ihnen bereits konsultierten Dokumente hinausgehen.

Hinsichtlich der Itemreihenfolge ist zu berücksichtigen, dass Deutschland den internationalen Schülerfragebogen um nationale Fragen ergänzt hat. Im nationalen Berichtsband zu PISA 2022 wird darauf hingewiesen, dass diese zusätzlichen Merkmale an „Itemnummern über 800“ erkennbar sind und ihre genaue Aufschlüsselung dem nationalen Skalenhandbuch entnommen werden kann (S. 347). Ob die Reihenfolge der Items im Skalenhandbuch allerdings tatsächlich der Abfolge im administrierten Fragebogen entspricht, können wir nicht zuverlässig beurteilen. Daher lässt sich auf dieser Grundlage auch nicht sicher einschätzen, ob Positionseffekte beziehungsweise ein vorzeitiger Abbruch der Bearbeitung zu dem höheren Anteil fehlender Werte beigetragen haben könnten.

Auch zu einem möglichen harten oder weichen Antwortzwang bei der computerbasierten Erhebung sowie zur konkreten Codierung von Platzhaltereingaben wie „–“ oder „…“ liegen uns keine gesicherten Informationen vor.

Für eine belastbare methodische Einordnung würde ich daher vorschlagen, dass ich die ZIB-Kolleg*innen kontaktiere, da ihnen die genauen Informationen zur Itemreihenfolge, zur technischen Umsetzung der Frage und zu den Kodierungsregeln vorliegen müssten.

Mit freundlichen Grüßen
Janine Buchholz
(FDZ am IQB)

Liebe Janine Buchholz,

vielen dank für die ausführliche Antwort. Gerne kann ich auch selbst die Kolleg:innen am ZIB kontaktieren. Ich wäre sehr dankbar für einen Hinweis, wer da möglicherweise die beste Ansprechpartner:in wäre.

Herzliche Grüße
Hans Gerhardt