Ich arbeite mit Umfragedaten und habe den Eindruck, dass es in meinen Daten gewisse Antwortverzerrungen gibt. Zum Beispiel scheinen manche Befragte immer wieder dieselbe Antwortkategorie über mehrere Items zu wählen, und bei einigen Items mache ich mir außerdem Sorgen über soziale Erwünschtheit. Ich kann das Problem in den Daten identifizieren, bin mir aber unsicher, wie ich danach weiter vorgehen soll. Wie geht ihr in der Praxis damit um?
Generell würde ich das nicht als Grund sehen, Befragte automatisch auszuschließen. Wenn ich zum Beispiel Straightlining (Befragte wählen dieselbe Antwortkategorie über mehrere Items) in meinen Daten erkenne, würde ich zunächst prüfen, ob die Antworten tatsächlich ein Datenqualitätsproblem darstellen oder nur auf den ersten Blick auffällig wirken. Dazu würde ich diese Antwortmuster zusammen mit weiteren Indikatoren wie etwa Antwortzeiten oder ähnlichen Qualitätssignalen betrachten, bevor ich einschätze, wie schwerwiegend das Problem wirklich ist.
In der Praxis würde ich solche Fälle zunächst markieren und dann Sensitivitätsanalysen mit und ohne diese markierten Fälle durchführen, um zu prüfen, ob sich die inhaltlichen Ergebnisse in relevanter Weise verändern. So lässt sich besser beurteilen, ob das Problem die inhaltlichen Schlussfolgerungen tatsächlich beeinflusst, anstatt vorschnell anzunehmen, dass ungewöhnliche Muster automatisch unbrauchbare Daten bedeuten.
Bei sozial erwünschtem Antworten wäre ich noch vorsichtiger. Das ist ein deutlich komplexeres Problem als etwa Straightlining, weil Befragte sozial erwünschte Antworten geben können, obwohl sie ansonsten aufmerksam und konsistent antworten. In vielen Fällen geht es deshalb weniger um „schlechte Fälle“ als um eine Einschränkung der Messung selbst. Wenn die Studie keine gezielte Möglichkeit bietet, soziale Erwünschtheit zu erfassen oder zu modellieren, würde ich das in der Regel transparent als Limitation berichten und diskutieren, wie sich das auf die Interpretation der Ergebnisse auswirken könnte.
Insgesamt wäre mein Vorgehen also: nicht standardmäßig ausschließen, nach zusätzlicher Evidenz für tatsächlich geringe Antwortqualität suchen und mithilfe von Sensitivitätsanalysen prüfen, ob die Schlussfolgerungen wirklich von diesen markierten Fällen abhängen.