Keuzegids Masters 2016: Berekeningswijze en normen

Voor de ranglijsten van deze Keuzegids zijn originele gegevens omgerekend naar een 7-puntsschaal, die loopt van (- – -) via o tot (+++). De uiterste klassen worden slechts in enkele gevallen benut. Meestal is er dus sprake van een 5-puntsschaal. Per type gegevens lichten wij hier de berekeningswijze en de gehanteerde normen toe:

1.  Berekening en klassengrenzen studentenoordelen masters

De studentenoordelen zijn gebaseerd op resultaten van de Nationale Studentenenquête 2013 t/m 2015. Het betreft eigen selecties en bewerkingen van deze oordelen, afkomstig uit het “landelijk benchmarkbestand” van de NSE. De oordelen zijn niet 1-op-1 af te leiden uit publicaties zoals die op de website Studiekeuze123.

Wij geven hier de essentie van onze bewerkingen en normen weer, als verantwoording voor een breed publiek. Voor instellingen die interesse hebben in gedetailleerde rapportage over sterke en zwakke punten van opleidingen (inclusief meerjarige trend) bestaat de mogelijkheid om speciale benchmarkrapporten te bestellen bij het Centrum Hoger Onderwijs Informatie.

Onze bewerking van de masteroordelen omvat de volgende stappen:

1.   Selectie van 35 representatieve vragen, met optimale aansluiting op vragen uit het verleden

2.   Opschonen van het bestand (alleen studenten die minstens 31 van deze vragen beantwoordden)

3.   Berekening van gemiddelde vraagscores per opleiding, voor de overgebleven respondenten

4.   Landelijke gemiddeldes van alle wo-masters en hbo-masters per vraag – met populatieweging

5.   Schrappen of bundelen van oordelen met te kleine steekproef of te grote onbetrouwbaarheid

6.   Ordening in 7 thema’s + berekening van themascores per opleiding/groep opleidingen

7.   Bepaling klassengrenzen per hoofdthema, voor +/- scores in de Keuzegids

8.   Toepassing klassenindeling

9.   Controle kansverdeling en eventuele bijstelling normen (zie 7)

10.  Publicatie van tabellen met  +/- scores.

In stap 2 en 6 zijn wij strenger dan de officiële rapportages over de Nationale Studenten Enquête. Dit betekent dat op de websites van Studiekeuze123 en NSE Online soms opleidingen een oordeel krijgen op een volgens ons te smalle statistische basis.

In stap 1 en 6 proberen wij uit een veelheid aan enquêtevragen de essentie over onderwijskwaliteit te destilleren – en wel zodanig, dat dit ook aansluit op kwaliteitsthema’s uit het verleden.

Bovendien vermijden we met stap 2, 3 en 6 dat de beoordeling van opleidingen wordt vertekend door verschillen in wel/niet beantwoorde vragen (anders kan een opleiding ervan profiteren als een ‘lastige’ vraag enkele malen niet beantwoord is)

Hierna focussen wij op de thema-indeling en de klassengrenzen. Allereerst de selectie en thema-indeling van enquêtevragen:

 

 

De scores per thema zijn gebaseerd op het gemiddelde van de onderliggende vraagscores. Elk thema telt even zwaar mee in de beoordeling. Samen bepalen de zeven thema’s voor 70% de totaalscore van een opleiding. De overige 30% wordt bepaald door het expertoordeel uit de accreditatiebesluiten. Zie paragraaf 3.

Voor het hbo gold een iets andere vragenselectie en thema-indeling:

Alle studentenoordelen per master worden steeds vergeleken met het landelijke gemiddelde. Voor universitaire masters is dat het gemiddelde van alle oordelen over wo-masters. In het hbo is dat het gemiddelde van alle oordelen over hbo-masters. Hier geven wij de gemiddelde scores en standaarddeviaties (van opleidingsscores!) per hoofdthema.

 

 

Deze gemiddeldes vormen de basis voor de beoordeling in de Keuzegids; in de gids worden de verschillen echter uitvergroot. Elke kwaliteitsklasse is 1 standaarddeviatie breed. De klassengrenzen voor het bepalen van de scores in de Keuzegids masters zien er dan als volgt uit:

 

 

Voor alle hoofdthema’s geldt een vergelijkbare kansverdeling van de verschillende scores. Gerekend in aantallen studenten is deze kansverdeling symmetrisch, maar als we naar opleidingen kijken is hij scheef. Dat komt doordat kleinere opleidingen vaker bovengemiddelde scores behalen.

3.  Scores expertoordelen

De ‘expertoordelen’ in de Keuzegids Masters bevatten de directe weergave van scores uit accreditatiebesluiten van de NVAO, die weer gebaseerd zijn op visitatierapporten per opleiding.

Vanaf dit jaar is er sprake van DRIE themascores. Dit zijn de drie thema-oordelen uit de nieuwe NVAO-besluiten, bij een “beperkte opleidingstoets”. Alleen het totaaloordeel van de NVAO wordt niet apart weergegeven. Bij oudere NVAO-besluiten worden de drie meest vergelijkbare facetoordelen weergegeven. In onderstaand schema geven we aan welke thema’s het betreft.

Deze onderwerpen worden in de NVAO-besluiten beoordeeld met ‘onvoldoende’, ‘voldoende’, ‘goed’ of ‘excellent’. Deze scores coderen wij als 2 (-), 3 (o), 4 (+) en 5 (++).  De betreffende scores worden één op één gepresenteerd en meegeteld in het totaaloordeel over de opleiding.

4.  Berekening totaalscore per opleiding

De totaalscore van elke opleiding wordt berekend op grond van de scores op de tien deelonderwerpen. Daarbij telt elk onderwerp even zwaar mee. Dit is de formule:

Totaalscore = Gemiddelde (deelscores) x 20

Het resultaat is een cijfer op een schaal van 0 tot 100. De gemiddelde opleiding scoort ongeveer 60 punten.

5. Gewogen scores per instelling

Voorin deze Keuzegids staan ook ranglijsten met totaalscores voor complete instellingen. Maar hoe kan je instellingen met een heel verschillend studie-aanbod op een eerlijke manier met elkaar vergelijken? Dat wordt gedaan met een speciale berekening:

stap 1: vergelijking met verwante opleidingen

We kijken eerst van elke opleiding of die hoger of lager scoort dan het gewogen* gemiddelde van zijn eigen groep verwante studies. Dat levert een verschilscore op.

stap 2: elke opleiding weegt zo zwaar als hij groot is

We berekenen een gewogen* instellingsgemiddelde

(*weegfactor is het studentenaantal van de opleiding)

Instellingsscore = Som (verschilscore x weegfactor) voor alle opleidingen.

Voorbeeld: een universiteit heeft drie opleidingen:

– De master geneeskunde scoort 66 punt, 4 punten onder het Geneeskunde-gemiddelde. Er zijn 1000  studenten.

– De master communicatie scoort 68 punt, 6 punten boven het gemiddelde. Er zijn 500 studenten.

– De master psychologie scoort 64 punten, is +4. Deze opleiding telt 2000 studenten.

De berekening gaat nu als volgt:

– Genees:   – 4 x 1000 =   – 4000 punt

– Commun: + 6 x  500 =   + 3000 punt

– Psychol:   + 4 x 2000 =  + 8000 punt

Totaal: 7000 punten / 3500* = + 2 punten

*) 3500 = de optelsom van de studentenpopulaties.

Dit getal wordt opgeteld bij een neutrale totaalscore van 60 punten. De totaalscore van de instelling voor de ranking is dan 60 + 2 = 62 punten.