Studierfähigkeitstests für das Masterstudium

ZeHf – Zeitschrift für empirische Hochschulforschung 1-2021: Test- und notenbasierte Erfolgsprognose im wirtschaftswissenschaftlichen Masterstudium: Befunde aus dem Nationalen Bildungspanel

Test- und notenbasierte Erfolgsprognose im wirtschaftswissenschaftlichen Masterstudium: Befunde aus dem Nationalen Bildungspanel

Johannes Schult

ZeHf – Zeitschrift für empirische Hochschulforschung, Heft 2-2020, S. 130-143

 

Zusammenfassung: Fachspezifische Studierfähigkeitstests haben sich auch im deutschsprachigen Raum als valide Prädiktoren des Bachelorstudienerfolgs und somit als hilfreiche standardisierte Auswahlinstrumente erwiesen. Anhand der Daten des Nationalen Bildungspanels (NEPS) wurde untersucht, ob sich ein vergleichbares Muster auch für das konsekutive Masterstudium zeigt. Die Analysestichprobe umfasste 118 Studierende der Wirtschaftswissenschaften, die zum Ende ihres Bachelorstudiums einen fachspezifischen Kompetenztest bearbeiteten und ein Masterstudium aufnahmen. Der Test zeigte eine niedrige Validität (r = –.23) bezüglich der Masternoten. Es zeigte sich dabei keine inkrementelle Validität über die Bachelornote hinaus. Bei gleichem Testscore waren Frauen im Schnitt um 0.17 Notenpunkte besser als Männer. Die Ergebnisse sprechen gegen den Einsatz des wissenslastigen Fähigkeitstests zur Studierendenauswahl im Master. Gelingensfaktoren für eine erfolgreiche Studierendenauswahl werden im Kontext von Prädiktorenkombinationen diskutiert.

Schlüsselwörter: Studierfähigkeitstest, Validität, Wirtschaftswissenschaften, Studienerfolg, Geschlecht, differenzielle Prognose

 

Test-based and grade-based prediction of success in Economics Masters: Findings from the National Educational Panel Study

Abstract: Subject-specific competence tests have been proven to be valid predictors of academic success in Bachelor studies; such tests are therefore useful standardized tools in student selection procedures. Using data from the National Educational Panel Study (NEPS), we investigated whether the pattern is similar for academic success in subsequent Master studies. The analysis sample consisted of 118 economics students who took a subject-specific competence test at the end of their Bachelor degree and began a subsequent Master. The test showed a weak validity (r = –.23) regarding the Master grade point average (GPA). It had no incremental validity over the Bachelor GPA. Given equal test scores, women outperformed men by 0.17 grade points on average. The results suggest that the knowledge-based test is not suited for Master student selection. Success factors for student selection procedures are discussed in the context of combining multiple predictors.

Keywords: admission test, validity, economics, academic performance, sex, differential prediction

 

1 Einleitung

Die Vergabe von Studienplätzen bewegt sich im Spannungsfeld zwischen Bestenauslese und Chancenfairness. Zulassungsverfahren betreffen auch Masterstudiengänge. Denn weder in der Konzeption noch in der Praxis gibt es so viele Masterstudienplätze, wie es (interessierte) Bachelorabsolventinnen und -absolventen gibt (Kultusministerkonferenz, 2011). Die Instrumente, die für die Studierendenauswahl eingesetzt werden, sollen dabei in erster Linie prognostisch valide sein, also den zukünftigen Studienerfolg möglichst gut vorhersagen. Aber auch Kriterien wie die Kosten und die Logistik des Auswahlprozesses und die Anfälligkeit für Verfälschungen müssen berücksichtigt werden. Während die Vorhersage des Studienerfolgs im Bachelor bereits vielfach untersucht wurde (vgl. Schult, Hofmann & Stegt, 2019), gibt es zur prognostischen Validität von Auswahlkriterien für das konsekutive Masterstudium kaum Forschungsbefunde aus dem deutschen Hochschulbetrieb. Entsprechend finden sich für das Masterstudium auch keine gesicherten Befunde zu Gruppenunterschieden bei der Leistungsprognose, die sich auf Personenmerkmale wie beispielsweise das Geschlecht beziehen. In der vorliegenden Studie wird deshalb die prognostische Validität eines wirtschaftswissenschaftlichen Kompetenztests hinsichtlich des Studienerfolgs im Masterstudium untersucht. Im Fokus stehen dabei die operative Validität1 der Testleistung, die inkrementelle Validität des Tests über bisherige Noten hinaus sowie die geschlechtsspezifische differenzielle Prognose.

1.1 Studienerfolgsprognose

Die prognostische Validität eines Auswahlinstruments gibt an, wie gut es den späteren Studienerfolg vorhersagen kann. Der Studienerfolg umfasst viele, häufig miteinander verbundene Aspekte. Dazu gehören ein erfolgreicher Abschluss, subjektive Studienzufriedenheit, berufliche Chancen und damit verbunden auch möglichst gute Noten (Stemler, 2012). Studiennoten haben eine besondere Bedeutung in der Validitätsforschung, da sie mit den anderen genannten Erfolgsindikatoren positiv zusammenhängen und bereits während des laufenden Studiums vergeben werden und entsprechend erfasst werden können (Hell, Trapmann & Schuler, 2008; Strahan & Credé, 2015). Zudem fließen im Masterstudium die Noten ab dem ersten Semester in den Abschluss ein. Dadurch ergibt sich ein unmittelbarer Indikator des Lernfortschritts und Wissenserwerbs im Studium. Bachelorabschlussnoten werden häufig als (zentrales) Auswahlkriterium für zulassungsbeschränkte Studiengänge herangezogen. Noten, die von verschiedenen Institutionen vergeben wurden, sind allerdings nur bedingt vergleichbar.2 Die Notenvergabepraxis wie auch die abgeprüften Inhalte variieren von Hochschule zu Hochschule (Gaens, 2018). Es gibt auch Benotungsunterschiede zwischen Universitäten und Fachhochschulen (Weimar, Schauberger, Borowski & Prinz, 2017). Da etwa 40% der Studierenden für das Masterstudium die Hochschule wechseln (Bericht der Bundesregierung, 2015), ist die notenbasierte Masterstudienplatzvergabe entsprechend problematisch. Aus konzeptueller Sicht sind Noten zudem eine Bewertung erbrachter Bildungsleistungen und keine Abschätzung des erwarteten zukünftigen Studiums- und Berufserfolgs (Schuler & Schult, 2018). Diese Problematik tritt im Zuge der Bologna-Reform deutlich zutage. Als standardisiertes Auswahlinstrument, dessen Ergebnisse ein hohes Maß an Vergleichbarkeit bieten, werden an manchen Hochschulen deshalb fachspezifische Studierfähigkeitstests eingesetzt. Im Jahr 2005 wurden in Deutschland bei 3,3% der zulassungsbeschränkten Studiengänge fachspezifische Studierfähigkeitstests zur Auswahl eingesetzt (überwiegend in Kombination mit anderen Auswahlkriterien wie Abiturnoten oder Auswahlgesprächen). Dabei waren in allen 19 betrachteten wirtschaftswissenschaftlichen Studiengängen allgemeine oder fachspezifische Tests Bestandteil der Auswahlverfahren (Heine, Briedis, Didi, Haase & Trost, 2006). Aufgrund der Bologna-Reform haben Fähigkeitstests seither weiter an Bedeutung gewonnen (Kouwenaar, 2015).

Studierfähigkeitstests zielen „auf die Operationalisierung der für ein erfolgreiches Studium wesentlichen kognitiven Fähigkeiten“ ab (Hell, Trapmann & Schuler, 2007, S. 252). Während manche Tests vor allem fachbezogenes schlussfolgerndes Denken erfassen, gibt es auch Verfahren, die studienrelevantes Vorwissen abfragen.3 Studierfähigkeitstests kommen insbesondere in stark nachgefragten Fächern wie Medizin (Schwibbe et al., 2018), Psychologie (Janke & Dickhäuser, 2018) und Wirtschaftswissenschaften (Weimar et al., 2017) zum Einsatz. Da üblicherweise weniger Masterplätze als Bachelorplätze vorhanden sind, verschärft sich die Selektionsproblematik bei der Masterzulassung. Das Verhältnis der Bewerbungen zu vorhandenen Plätzen variiert zwischen Studienfächern, Hochschulen und Jahrgängen. Für die Hochschulen kommt es bei der Studierendenauswahl sowohl darauf an, die Zahl der später im Studium erfolgreichen Personen zu maximieren, als auch die Zahl der später im Studium nicht erfolgreichen Personen zu minimieren. Eine Übersicht über die Kosten-Nutzen-Abwägung bei der Auswahlquote (Bewerbungen pro Studienplatz) einerseits und bei der Erfolgserwartung bei einer zufälligen Auswahl (Basiserfolgsrate ohne spezifische Zulassungskriterien) andererseits findet sich bei Hell et al. (2008). Eine zentrale Größe bei den Abwägungen ist dabei die prognostische Validität im Sinne der Korrelation von Auswahlkriterium und Studienerfolg. Zumindest bei hochselektiven Studiengängen gilt: Ein Auswahlverfahren ist umso hilfreicher, desto höher seine Validität ist.

1.2 Empirische Befunde zur Vorhersagekraft von Bachelornoten und Testleistungen

Zur prognostischen Validität von Bachelorabschlussnoten gibt es im deutschsprachigen Raum erstaunlich wenige empirische Untersuchungen. Bei Berner Psychologie-Studierenden korrelierten die Bachelor- und die Masterabschlussnoten hoch mit r = .58 (n = 256; Troche, Mosimann & Rammsayer, 2014); bei Züricher Informatik-Studierenden betrug die Korrelation sogar r = .65 (n = 181; Zimmermann, Brodersen, Heinimann & Buhmann, 2015). In beiden Studien gab es keine Zulassungsbeschränkungen für das Masterstudium.

Obwohl in den deutschen Hochschulverwaltungen eigentlich eine Fülle von Registerdaten zur Bestimmung der Notenvalidität existiert, fehlen in Studien zur Mastererfolgsprognose die Bachelornoten als Prädiktoren (z.B. Madani, Melzer & Müller, 2013). Eine US-amerikanische Meta-Analyse schätzt die operative Validität4 von Bachelornoten deutlich niedriger auf ρ = .35 (k = 28, n = 5,609; Kuncel, Credé & Thomas, 2007). Für n = 77 Studierende der Wirtschaftswissenschaften an einer niederländischen Universität betrug die Korrelation ebenfalls „nur“ r = .30 (Schwager, Hülsheger, Bridgeman & Lang, 2015).

Einen Überblick über die prognostische Validität von fachspezifischen Studierfähigkeitstests im deutschsprachigen Raum bieten zwei Metaanalysen, die für wirtschaftswissenschaftliche Studiengänge Validitäten von ρ = .33 (k = 7, n = 441; Hell et al., 2007) und für neuere Studien ab 2005 ρ = .38 (k = 10, n = 2,678; Schult et al., 2019) fanden. Für die Erfolgsprognose im Masterstudium zeigen sich in internationalen Studien etwas höhere Werte (Kuncel & Hezlett, 2007), z.B. für den Graduate Management Admission Test (GMAT) ρ = .47 (k = 29, n = 5,201; Kuncel et al., 2007). Im deutschsprachigen Raum findet sich bislang nur eine Studie für den Masterbereich (Stegt & Bergholz, 2018), obgleich im Rahmen der Bologna- Reform viele Hochschulen Studierfähigkeitstests zur Masterstudierendenauswahl einsetzen (vgl. Borowski, Schauberger & Weimar 2018). Im Rahmen des Masterzulassungsverfahrens bearbeiteten n = 841 Studierende der Betriebs- und Volkswirtschaftslehre (aus zwei verschiedenen Universitäten) den fachspezifischen Studierfähigkeitstest TM-WISO (Test für Masterstudiengänge in Wirtschafts- und Sozialwissenschaften)5. Die Korrelation zwischen Testleistung und Masterabschlussnote betrug r = –.37 (Stegt & Bergholz, 2018).6 In der vorliegenden Studie wird nun untersucht, ob sich diese Befunde auf einen anderen wirtschaftswissenschaftlichen Fähigkeitstest und Studierende von mehreren verschiedenen Hochschulen übertragen lassen. Angesichts der oben diskutierten Notenproblematik (vgl. Gaens, 2018) und der bereits gängigen Auswahlpraxis scheint es zudem angezeigt, die inkrementelle Validität der Testleistung über die Bachelorabschlussnote hinaus zu betrachten.

1.3 Testfairness bei der Vorhersage des Studienerfolgs

Ein wichtiger Aspekt der Testfairness im Auswahlkontext ist die unverzerrte Erfolgsvorhersage (d.h. die Abwesenheit einer differenziellen Prognose; vgl. AERA, APA & NCME, 2014). Eine Vorhersage wird dann als fair angesehen, wenn für verschiedene Personengruppen dasselbe (lineare Regressions-)Modell für die Prognose verwendet werden kann. Eine Verzerrung liegt hingegen dann vor, wenn Personen aus verschiedenen Gruppen bei gleicher Testleistung unterschiedlich gut im Studium abschneiden (vgl. Fischer, Schult & Hell, 2013). Im Fokus stehen häufig Geschlechtsunterschiede, da im Sinne der Bildungsgerechtigkeit kein Geschlecht beim Hochschulzugang sowie bei der Beurteilung der Studienleistung benachteiligt werden soll. Denn bereits im Studium können Unterschiede auftreten, die sich im Berufsleben weiterentwickeln, so dass Frauen für die gleiche Arbeit oft weniger Lohn erhalten als Männer (Anger & Schmidt, 2010; Schult, 2012). Für den Studienfeldbezogenen Beratungstest (SFBT) Wirtschaftswissenschaften wurde bei der Vorhersage der Noten im Bachelor-Studium nach einem Jahr die Leistung der Frauen unterschätzt, konkret erhielten Frauen im Studium durchschnittlich 0.12 Notenpunkte mehr als Männer mit der gleichen Testleistung (n = 356; Fischer, Schult & Hell, 2015). Die metaanalytischen Befunde zum US-amerikanischen GRE (Graduate Record Examination) zeigen hingegen keine differenzielle Prognose: Bei gleicher GRE-Leistung schneiden Frauen im Studium lediglich um durchschnittlich 0.03 Standardabweichungen besser ab (k = 13, n = 2,589, p = .96; Fischer et al., 2013). Inwiefern sich im deutschsprachigen Raum Geschlechtsunterschiede bei der Vorhersage des Masterstudienerfolgs durch Testleistungen zeigen, ist bislang unklar und gehört ebenfalls zu den Forschungsfragen, die nachfolgend anhand des Nationalen Bildungspanels (NEPS) untersucht werden.

1.4 Fragestellungen

Forschungsfrage 1 lautet: Wie valide ist der fachspezifische Kompetenztest bezüglich der Noten im Masterstudium? Forschungsfrage 2 behandelt die inkrementelle Validität des Testverfahrens über die Bachelorabschlussnote hinaus. Außerdem wird die geschlechtsspezifische Fairness der Vorhersage exploriert (Forschungsfrage 3).

1 Die operative Validität ist der für selektionsbedingte Variabilitätseinschränkungen und Kriteriumsunreliabilität korrigierte Validitätskoeffizient.
2 In diesem Sinne entschied das Bundesverfassungsgericht (BVG), dass die Hochschulen Studienplätze „nicht allein und auch nicht ganz überwiegend nach dem Kriterium der Abiturnoten“ vergeben dürfen (Bundesverfassungsgericht, 2017, Abs. 209).
3 Es gibt weitere valide nichtkognitive Prädiktoren (z.B. Gewissenhaftigkeit; vgl. Schuler & Schult, 2018). Auswahlverfahren – und entsprechend auch der vorliegende Beitrag – nutzen aber überwiegend kognitive Prädiktoren, weil deren Messung weniger anfällig gegenüber bewussten Verfälschungen ist.
4 Die operative Validität (korrigiert für selektionsbedingte Variabilitätseinschränkungen und Kriteriumsunreliabilität) wird nachfolgend stets mit ρ bezeichnet zur klaren Abgrenzung vom unkorrigierten Korrelationskoeffizient r.
5 Der Test bestand aus den Teilen „Planen in Studium und Beruf“, „Texte analysieren“, „Wirtschaftliche Zusammenhänge formalisieren“ und „Wirtschaftsgrafiken interpretieren“ mit jeweils 18 gewerteten Multiple-Choice-Aufgaben. Die Testungen hatten eine Bearbeitungszeit von 3:50 Stunden und fanden computerbasiert unter Aufsicht statt. Die Gesamtreliabilität betrug r = .87 (Stegt & Bergholz, 2018).
6 Das negative Vorzeichen des Validitätskoeffizienten ergibt sich daraus, dass die Notenskala in Deutschland so gepolt ist, dass niedrige Zahlen gute Leistungen und hohe Zahlen schlechte Leistungen angeben.

* * *

ZeHf – Zeitschrift für empirische Hochschulforschung 2-2020: Test- und notenbasierte Erfolgsprognose im wirtschaftswissenschaftlichen Masterstudium: Befunde aus dem Nationalen BildungspanelSie möchten gerne weiterlesen? Dieser Beitrag ist in dem Heft 2-2020 der ZeHf – Zeitschrift für empirische Hochschulforschung erschienen.

© pixabay 2021, Foto: StockSnap