Keuzegids Masters 2018: Berekeningswijze en normen

Voor de ranglijsten van deze Keuzegids zijn originele gegevens omgerekend naar een 7-puntsschaal, die loopt van (- – -) via o tot (+++). De uiterste klassen worden slechts in enkele gevallen benut. Meestal is er dus sprake van een 5-puntsschaal. Per type gegevens lichten wij hier de berekeningswijze en de gehanteerde normen toe:

1.  Berekening en klassengrenzen studentenoordelen masters

De studentenoordelen zijn gebaseerd op resultaten van de Nationale Studentenenquête 2015 t/m 2017. Het betreft eigen selecties en bewerkingen van deze oordelen, afkomstig uit het “landelijk benchmarkbestand” van de NSE. De oordelen zijn niet 1-op-1 af te leiden uit publicaties zoals die op de website Studiekeuze123.

Wij geven hier de essentie van onze bewerkingen en normen weer, als verantwoording voor een breed publiek. Voor instellingen die interesse hebben in gedetailleerde rapportage over sterke en zwakke punten van opleidingen (inclusief meerjarige trend) bestaat de mogelijkheid om speciale benchmarkrapporten te bestellen bij het Centrum Hoger Onderwijs Informatie.

Onze bewerking van de masteroordelen omvat de volgende stappen:

1.   Selectie van 40 representatieve vragen, met optimale aansluiting op vragen uit het verleden

2.   Berekening van gemiddelde vraagscores per opleiding,

3.   Landelijke gemiddeldes van alle wo-masters en hbo-masters per vraag – met populatieweging

4.   Schrappen of bundelen van oordelen met te kleine steekproef of te grote onbetrouwbaarheid

5.   Ordening in 8 thema’s + berekening van themascores per opleiding/groep opleidingen

6.   Bepaling klassengrenzen per hoofdthema, voor +/- scores in de Keuzegids

7.   Toepassing klassenindeling

8.   Controle kansverdeling en eventuele bijstelling normen (zie 7)

9.  Publicatie van tabellen met  +/- scores.

In stap 4 zijn wij strenger dan de officiële rapportages over de Nationale Studenten Enquête. Dit betekent dat op de website van Studiekeuze123 soms opleidingen een oordeel krijgen op een volgens ons te smalle statistische basis.

In stap 1 en 5 proberen wij uit een veelheid aan enquêtevragen de essentie over onderwijskwaliteit te destilleren – en wel zodanig, dat dit ook aansluit op kwaliteitsthema’s uit het verleden.

Hierna focussen wij op de thema-indeling en de klassengrenzen. Allereerst de selectie en thema-indeling van enquêtevragen:

 

Studentenoordelen Keuzegids Masters 2018: de thema-indeling
Hoofdthema Vraagnr Korte formulering Weging
1. PROGRAMMA: 10% Inh-1 Niveau van de stof 0,02
Inh-4 Onderwijs stimulerend 0,02
Inh-6 Samenhang programma 0,02
Inh-7 Gehanteerde wervormen 0,02
Uitd_01 Uitgedaagd het beste uit jezelf.. 0,02
2. TOETSING: 10% Toe-1 Duidelijke criteria 0,025
Toe-2 Aansluiting op de stof 0,025
Toe-4 Toetsing kennis/inzicht 0,025
Toe-5 Toetsing vaardigheden 0,025
3. DOCENTEN: 10% Doc-1 Docenten deskundig 0,025
Doc-2 Didact kwaliteit docenten 0,025
Doc-5 Begeleiding door docenten 0,025
Doc-6 Feedback van docenten 0,025
4. WETSCH. VORMING: 10%
(HBO: “onderzoek”)
Wetv-2 Kritisch beoordelen van publicaties 0,025
Wetv-4 Schrijven van wetensch artikelen 0,025
Wetv-5 Methoden en technieken v. onderz. 0,025
Wetv-7 Zelf onderzoek doen * 0,025
5. PRAKTIJKGERICHTHEID: 10%
(= alg. vaardigh + voorb. Beroep)
AlV-1 Kritische houding gestimuleerd 0,0125
AlV-3 Leer probleemoplossen 0,0125
AlV-4 Onderbouwen conclusies 0,0125
AlV-7 Argumenteren ** 0,0125
VbB-1 Opdoen van beroepsvaardigheden 0,017
VbB-2 Praktijkgerichtheid 0,017
VbB-3 Contact beroepspraktijk 0,017
6. STUDEERBAARHEID: 10% Slast-1 Spreiding studielast over ’t jaar 0,017
Slast-2 Haalbaarheid deadlines 0,017
Slast-4 Mogelijkh. onvertraagd studeren 0,017
Roost-3 Studierooster studeerbaar? 0,017
Info-2 Informatie studievoortgang 0,017
Info-5 Tijdige uitlagen toetsen 0,017
7. BEGELEIDING: 10% Sbe-4 Beschikbaarh. Studiebegeleiding 0,025
Sbe-5 Kwaliteit studiebegeleiding 0,025
Doc-3 Bereikbaarheid docenten 0,025
Doc-4 Docenten betrokken bij stud 0,025
8. FACILITEITEN: 10% Sfa-1 Kwal. onderwijsruimten 0,02
Sfa-3 Werkplekken zelfstudie 0,02
Sfa-5 Bibliotheek 0,02
Sfa-6 ICT-faciliteiten 0,02
Sfa-7 Digitale leeromgeving 0,02
*) bij hbo-masters vervangen door Wetv-1: “analytisch denken”
**) bij hbo-masters vervangen door AlV-6: “samenwerken”

De scores per thema zijn gebaseerd op het gemiddelde van de onderliggende vraagscores. Elk thema telt even zwaar mee in de beoordeling. Samen bepalen de acht thema’s voor 80% de totaalscore van een opleiding. De overige 20% wordt bepaald door het expertoordeel uit de accreditatiebesluiten. Zie paragraaf 3.

Alle studentenoordelen per master worden steeds vergeleken met het landelijke gemiddelde. Voor universitaire masters is dat het gemiddelde van alle oordelen over wo-masters. In het hbo is dat het gemiddelde van alle oordelen over hbo-masters. Hier geven wij de gemiddelde scores en standaarddeviaties (van opleidingsscores!) per hoofdthema.

 

Normen studentenoordelen Keuzegids Masters 2018
WO-masters HBO-masters
THEMA Gemidd (‘x’) Stdev (d) Gemidd (‘x’) Stdev (d)
PROGRAMMA 3,89 0,25 3,85 0,3
TOETSING 3,71 0,25 3,65 0,33
DOCENTEN 3,85 0,25 3,883 0,3
WET.VORMING/ ONDERZK 3,72 0,32 3,76 0,32
PRAKTIJKGERICHTHEID 3,7 0,27 3,85 0,29
STUDEERBAARHEID 3,63 0,23 3,52 0,3
BEGELEIDING 3,74 0,26 3,86 0,35
FACILITEITEN 3,62 0,32 3,58 0,35

Deze gemiddeldes vormen de basis voor de beoordeling in de Keuzegids; in de gids worden de verschillen echter uitvergroot. Elke kwaliteitsklasse is 1 standaarddeviatie breed. De klassengrenzen voor het bepalen van de scores in de Keuzegids masters zien er dan als volgt uit:

 

Voorbeeld klassengrenzen: thema ‘PROGRAMMA’ (WO-masters)
Score 0 1 2 3 4 5 6
Gebruikt symbool – – – – – o + ++ +++
Waarden < 3,265 < 3,515 < 3,765 < 4,015 < 4,265 < 4,515 > 4,515
Algemene formules klassengrenzen
Formule ondergrens nvt X – 2,5d X – 1,5d X – 0,5d X + 0,5d X + 1,5d X + 2,5d
Formule bovengrens X- 2,5d X – 1,5d X – 0,5d X + 0,5d X + 1,5d X + 2,5d nvt

Voor alle hoofdthema’s geldt een vergelijkbare kansverdeling van de verschillende scores. Gerekend in aantallen studenten is deze kansverdeling symmetrisch, maar als we naar opleidingen kijken is hij scheef. Dat komt doordat kleinere opleidingen vaker bovengemiddelde scores behalen.

Meerjarige bundeling Bij opleidingen met (te) kleine studentenaantallen berekenen wij waar mogelijk een gemiddeld oordeel over twee of drie enquêtejaren. Deze oordelen worden aan dezelfde normen onderworpen als die van louter 2017. In deze gids is daarop één uitzondering gemaakt:

  • bij de wo-lerarenmasters was het gemiddelde studentenoordeel in 2017 landelijk gezien duidelijk gunstiger dan in 2016. Om te voorkomen dat kleine opleidingen bij meerjarige bundeling een nadeel zouden ondervinden, is in deze gevallen een ‘trendcorrectie’ toegepast. Daar waar oordelen uit 2016 werden meegeteld, zijn alle scores uit dat jaar opgehoogd met 0,18 punt op een 5-puntsschaal.

 

2.  Scores expertoordelen

De ‘expertoordelen’ in de Keuzegids Masters bevatten de directe weergave van scores uit accreditatiebesluiten van de NVAO, die weer gebaseerd zijn op visitatierapporten per opleiding.

Wij gebruiken uit de accreditatiebesluiten TWEE themascores, die in alle soorten rapporten terug te vinden zijn. In onderstaand schema geven we aan welke thema’s het betreft.

 

De criteria uit de NVAO-accreditatiebesluiten
Nr Onze kolomtitel Thema uit nieuwe “Beperkte Toets” NVAO Nr uitge-breide toets
1 Ambitie Beoogde eindkwalificaties 1
3 Toetsing en eindniveau* Toetsing en gerealiseerde eindkwalificaties 16
Bij de meest recente accreditaties zijn dit twee aparte oordelen. In dat geval nemen wij het gemiddelde van beiden.

 

Deze onderwerpen worden in de NVAO-besluiten beoordeeld met ‘onvoldoende’, ‘voldoende’, ‘goed’ of ‘excellent’. Deze scores coderen wij als 2 (-), 3 (o), 4 (+) en 5 (++).  De betreffende scores worden één op één gepresenteerd en meegeteld in het totaaloordeel over de opleiding.

Doordat de meest recente accreditaties twee aparte oordelen hebben voor ‘Toetsing en eindniveau’ kan dit onderwerp op een gemiddelde score van 2,5 of 3,5 uitkomen. Deze coderen wij als 2,5 (o -) en 3,5 (o+).

3.  Berekening totaalscore per opleiding

De totaalscore van elke opleiding wordt berekend op grond van de scores op de tien deelonderwerpen. Daarbij telt elk onderwerp even zwaar mee. Dit is de formule:

Totaalscore = Gemiddelde (deelscores) x 20

Het resultaat is een cijfer op een schaal van 0 tot 100. De gemiddelde opleiding scoort ongeveer 60 punten. Masdters met een totaalscore van 75 of meer gelden in de Keuzegids als topopleiding.

4. Gewogen scores per instelling

Voorin deze Keuzegids staan ook ranglijsten met totaalscores voor complete instellingen. Maar hoe kan je instellingen met een heel verschillend studie-aanbod op een eerlijke manier met elkaar vergelijken? Dat wordt gedaan met een speciale berekening:

stap 1: vergelijking met verwante opleidingen

We kijken eerst van elke opleiding of die hoger of lager scoort dan het gewogen* gemiddelde van zijn eigen groep verwante studies. Dat levert een verschilscore op.

stap 2: elke opleiding weegt zo zwaar als hij groot is

We berekenen een gewogen* instellingsgemiddelde

(*weegfactor is dit jaar het studentenaantal van de opleiding)

Instellingsscore = Som (verschilscore x weegfactor) voor alle opleidingen.

Voorbeeld: een universiteit heeft drie opleidingen:

– De master geneeskunde scoort 66 punt, 4 punten onder het Geneeskunde-gemiddelde. Er zijn 1000  studenten.

– De master communicatie scoort 68 punt, 6 punten boven het gemiddelde. Er zijn 500 studenten.

– De master psychologie scoort 64 punten, is +4. Deze opleiding telt 2000 studenten.

De berekening gaat nu als volgt:

– Genees:   – 4 x 1000 =   – 4000 punt

– Commun: + 6 x  500 =   + 3000 punt

– Psychol:   + 4 x 2000 =  + 8000 punt

Totaal: 7000 punten / 3500* = + 2 punten

*) 3500 = de optelsom van de studentenpopulaties.

Dit getal wordt opgeteld bij een neutrale totaalscore van 60 punten. De totaalscore van de instelling voor de ranking is dan 60 + 2 = 62 punten.