Methodiek Keuzegids Masters 2019

Voor de ranglijsten van deze Keuzegids zijn originele gegevens omgerekend naar een 6-puntschaal, die loopt van (- – -) via o tot (++). Deze worden gelezen als scores van 0 t/m 5. De uiterste klasse (- – -) wordt slechts in enkele gevallen benut. Per type gegevens lichten wij hier de berekeningswijze en de gehanteerde normen toe.

Berekening en klassengrenzen studentenoordelen

De studentenoordelen zijn gebaseerd op resultaten van de Nationale Studenten Enquête (NSE) 2016 t/m 2018. Het betreft eigen selecties en bewerkingen van deze oordelen, afkomstig uit het “landelijk benchmarkbestand” van de NSE. Daarom zijn de oordelen niet per definitie hetzelfde zoals bij andere publicaties van de NSE (bijvoorbeeld zoals op de website Studiekeuze123).

Wij geven hier de essentie van onze bewerkingen en normen weer. Voor instellingen die interesse hebben in gedetailleerde rapportage over sterke en zwakke punten van opleidingen (inclusief meerjarige trend) bestaat de mogelijkheid om speciale benchmarkrapporten te bestellen bij het Centrum Hoger Onderwijs Informatie.

Onze bewerking van de masteroordelen omvat de volgende stappen:

  1. Selectie van 39 representatieve vragen, met optimale aansluiting op vragen uit het verleden,
  2. Berekening van gemiddelde vraagscores per opleiding,
  3. Landelijke gemiddeldes van alle wo-masters en hbo-masters per vraag – met populatieweging. Elke opleiding telt net zo zwaar als hij groot is,
  4. Schrappen of bundelen van oordelen met te kleine steekproef (n < 10) of te grote onbetrouwbaarheid (betrouwbaarheidsmarge van maximaal 0,30),
  5. Ordening in 8 thema’s + berekening van themascores per opleiding/groep opleidingen,
  6. Bepaling klassengrenzen per hoofdthema, voor +/- scores in de Keuzegids. Inclusief controle van de kansverdeling,
  7. Publicatie van tabellen met  +/- scores.

Omdat we zo betrouwbaar mogelijk willen zijn, hanteren wij andere normen in stap 4 dan de officiële rapportages over de Nationale Studenten Enquête. Dit kan inhouden dat een opleiding bij ons geen oordeel krijgt op basis van de door ons gehanteerde normen, maar deze wel een oordeel heeft op de website Studiekeuze123.

In stap 1 en 5 proberen wij uit een veelheid aan enquêtevragen de essentie over onderwijskwaliteit te destilleren – en wel zodanig, dat dit ook aansluit op kwaliteitsthema’s uit het verleden.

Hierna focussen wij op de thema-indeling en de klassengrenzen. Allereerst de selectie en thema-indeling van enquêtevragen:

Studentenoordelen Keuzegids Masters 2019: de thema-indeling

Hoofdthema Vraagnummer Korte formulering Weging
1. PROGRAMMA: 10% Inh-1 Niveau van de stof 0,02
Inh-4 Onderwijs stimulerend 0,02
Inh-6 Samenhang programma 0,02
Inh-7 Gehanteerde werkvormen 0,02
Uitd_01 Uitgedaagd het beste uit jezelf te halen 0,02
2. TOETSING: 10% Toe-1 Duidelijke criteria 0,025
Toe-2 Aansluiting op de stof 0,025
Toe-4 Toetsing kennis/inzicht 0,025
Toe-5 Toetsing vaardigheden 0,025
3. DOCENTEN: 10% Doc-1 Docenten deskundig 0,025
Doc-2 Didactische kwaliteit docenten 0,025
Doc-5 Begeleiding door docenten 0,025
Doc-6 Feedback van docenten 0,025
4. WETSCH. VORMING: 10% Wetv-2 Kritisch beoordelen van publicaties 0,025
(HBO: “onderzoek”) Wetv-4 Schrijven van wetenschappelijke artikelen 0,025
Wetv-5 Methoden en technieken v. onderzoek. 0,025
Wetv-7 Zelf onderzoek doen * 0,025
5. PRAKTIJKGERICHTHEID: 10% AlV-1 Kritische houding gestimuleerd 0,0125
(= alg. vaardigh + voorb. Beroep) AlV-3 Probleemoplossend vermogen 0,0125
AlV-4 Onderbouwen conclusies 0,0125
AlV-7 Argumenteren ** 0,0125
VbB-1 Opdoen van beroepsvaardigheden 0,017
VbB-2 Praktijkgerichtheid 0,017
VbB-3 Contact beroepspraktijk 0,017
6. STUDEERBAARHEID: 10% Slast-1 Spreiding studielast over ’t jaar 0,017
Slast-2 Haalbaarheid deadlines 0,017
Slast-4 Mogelijkh. onvertraagd studeren 0,017
Roost-3 Studierooster studeerbaar? 0,017
Info-2 Informatie studievoortgang 0,017
Info-5 Tijdige uitslagen toetsen 0,017
7. BEGELEIDING: 10% Sbe-4 Beschikbaarh. studiebegeleiding 0,025
Sbe-5 Kwaliteit studiebegeleiding 0,025
Doc-3 Bereikbaarheid docenten 0,025
Doc-4 Docenten betrokken bij stud 0,025
8. FACILITEITEN: 10% Sfa-1 Kwal. onderwijsruimten 0,02
Sfa-3 Werkplekken zelfstudie 0,02
Sfa-5 Bibliotheek 0,02
Sfa-6 ICT-faciliteiten 0,02
Sfa-7 Digitale leeromgeving 0,02
*) bij hbo-masters vervangen door Wetv-1: “analytisch denken”
**) bij hbo-masters vervangen door AlV-6: “samenwerken”

De scores per thema zijn gebaseerd op het gemiddelde van de onderliggende vraagscores. Elk thema telt even zwaar mee in de beoordeling. Samen bepalen de acht thema’s voor 80% de totaalscore van een opleiding. De overige 20% wordt bepaald door het expertoordeel uit de accreditatiebesluiten. Zie ook de berekening voor de totaalscore verderop deze pagina.

Normen studentenoordelen Keuzegids Masters 2019

Alle studentenoordelen per master worden steeds vergeleken met het landelijke gemiddelde. Voor universitaire masters is dat het gemiddelde van alle oordelen over wo-masters. In het hbo is dat het gemiddelde van alle oordelen over hbo-masters. Hier geven wij de gemiddelde scores en standaarddeviaties (van opleidingsscores) per hoofdthema.

Wo-masters Hbo-masters
THEMA Gemidd (‘x’) Stdev (d) Gemidd (‘x’) Stdev (d)
PROGRAMMA 3,86 0,28 3,85 0,3
TOETSING 3,77 0,27 3,66 0,32
DOCENTEN 3,92 0,27 3,89 0,32
WET.VORMING/ ONDERZOEK 3,90 0,35 3,76 0,29
PRAKTIJKGERICHTHEID 3,64 0,32 3,83 0,27
STUDEERBAARHEID 3,65 0,28 3,57 0,3
BEGELEIDING 3,84 0,29 3,86 0,31
FACILITEITEN 3,63 0,32 3,65 0,34

Deze gemiddeldes vormen de basis voor de beoordeling in de Keuzegids; in de gids worden de verschillen zichtbaar gemaakt. Elke kwaliteitsklasse is 1 standaarddeviatie breed. De klassengrenzen voor het bepalen van de scores in de Keuzegids masters zien er dan als volgt uit:

Voorbeeld klassengrenzen: thema ‘PROGRAMMA’ (WO-masters)
Score 0 1 2 3 4 5
Gebruikt symbool – – – – – o + ++
Waarden onder 3,181 3,181 tot 3,453 3,453 tot 3,725 3,725 tot 3,997 3,997 tot 4,268 vanaf 4,268
Algemene formules klassengrenzen
Formule ondergrens nvt X – 2,5d X – 1,5d X – 0,5d X + 0,5d X + 1,5d
Formule bovengrens X- 2,5d X – 1,5d X – 0,5d X + 0,5d X + 1,5d nvt

Voor alle hoofdthema’s geldt een vergelijkbare kansverdeling van de verschillende scores. Gerekend in aantallen studenten is deze kansverdeling symmetrisch, maar als we naar opleidingen kijken is hij scheef. Dat komt doordat kleinere opleidingen vaker bovengemiddelde scores behalen.
Bij meerjarige bundeling bij opleidingen met (te) kleine studentenaantallen berekenen wij waar mogelijk een gemiddeld oordeel over twee of drie enquêtejaren. Deze oordelen worden aan dezelfde normen onderworpen als die van louter 2018.

Scores expertoordelen

De ‘expertoordelen’ in de Keuzegids Masters bevatten de directe weergave van scores uit accreditatiebesluiten van de NVAO, die weer gebaseerd zijn op visitatierapporten per opleiding.
Wij gebruiken uit de accreditatiebesluiten twee themascores, die in alle soorten rapporten terug te vinden zijn. In onderstaand schema geven we aan welke thema’s het betreft.

De criteria uit de NVAO-accreditatiebesluiten

Nr Onze kolomtitel Thema uit nieuwe “Beperkte Toets” NVAO Nr uitgebreide toets
1 Ambitie Beoogde eindkwalificaties 1
3 Toetsing en eindniveau Toetsing en gerealiseerde eindkwalificaties 16
Bij de meest recente accreditaties zijn dit twee aparte oordelen. In dat geval nemen wij het gemiddelde van beiden.

Deze onderwerpen worden in de NVAO-besluiten beoordeeld met ‘onvoldoende’, ‘voldoende’, ‘goed’ of ‘excellent’. Deze scores coderen wij als 2 (-), 3 (o), 4 (+) en 5 (++).  De betreffende scores worden één op één gepresenteerd en meegeteld in het totaaloordeel over de opleiding.

Doordat de meest recente accreditaties twee aparte oordelen hebben voor ‘Toetsing en eindniveau’ kan dit onderwerp op een gemiddelde score van 2,5 of 3,5 uitkomen. Deze coderen wij als 2,5 (o -) en 3,5 (o+).

Vanwege de geleidelijke vernieuwing van het accreditatiestelsel (oude oordelen blijven doorgaans zes jaar geldig!), hebben we te maken met verschillende soorten besluiten, met elk een verschillende set aspectoordelen. Hoe wij hiermee omgaan, wordt toegelicht op een aparte pagina.

Berekening totaalscore per opleiding

De totaalscore van elke opleiding wordt berekend op grond van de scores op de tien deelonderwerpen. Daarbij telt elk onderwerp even zwaar mee. Dit is de formule:

Totaalscore = optelsom deelscores x 2

Het resultaat is een cijfer op een schaal van 0 tot 100. De gemiddelde opleiding scoort ongeveer 60 punten. Masters met een totaalscore van 75 of meer gelden in de Keuzegids als topopleiding.

Gewogen scores per instelling

Voorin deze Keuzegids staan ook ranglijsten met totaalscores voor complete instellingen. Maar hoe kan je instellingen met een heel verschillend studie-aanbod op een eerlijke manier met elkaar vergelijken? Dat wordt gedaan met een speciale berekening:
stap 1: vergelijking met verwante opleidingen
We kijken eerst van elke opleiding of die hoger of lager scoort dan het gewogen* gemiddelde van zijn eigen groep verwante studies. Dat levert een verschilscore op.

stap 2: elke opleiding weegt zo zwaar als hij groot is
We berekenen een gewogen instellingsgemiddelde. De weegfactor is dit jaar het de instroom van de opleiding. (Anders zou een 3-jarige master meer invloed hebben dan een 1-jarige master.)

Instellingsscore = Som (verschilscore x weegfactor) voor alle opleidingen.

Voorbeeld: een universiteit heeft drie opleidingen:
– De master geneeskunde scoort 66 punt, 4 punten onder het Geneeskunde-gemiddelde. Er zijn 1000  studenten.
– De master communicatie scoort 68 punt, 6 punten boven het gemiddelde. Er zijn 500 studenten.
– De master psychologie scoort 64 punten, is +4. Deze opleiding telt 2000 studenten.

De berekening gaat nu als volgt:
– Geneeskunde:   – 4 x 1000 =   – 4000 punt
– Communicatie: + 6 x  500 =   + 3000 punt
– Psychologie:   + 4 x 2000 =  + 8000 punt

Totaal: 7000 punten / 3500* = + 2 punten. 3500 = de optelsom van de studentenpopulaties.

Dit getal wordt opgeteld bij een neutrale totaalscore van 60 punten. De totaalscore van de instelling voor de ranking is dan 60 + 2 = 62 punten.