Keuzegids Universiteiten 2018: Berekeningswijze en normen

Voor de ranglijsten van de Keuzegids zijn originele gegevens omgerekend naar een 7-puntsschaal, die loopt van (- – -) via o tot (+++). Deze dienen te lezen worden als scores van 0 t/m 6. De uiterste klassen worden slechts in enkele gevallen benut. Meestal is er dus sprake van een 5-puntsschaal (1 t/m 5). Per type gegevens lichten wij hier de berekeningswijze en de gehanteerde normen toe:

1. Klassengrenzen ‘survival 1e jaar

Elke opleiding krijgt plussen en minnen toegekend, volgens onderstaande normen:

 

Norm “Survival 1e jaar”
Klasse Symbool % naar jr 2
1 – – tot 63%
2 tot 73%
3 o tot 83%
4 + tot 93%
5 ++ v.a. 93%

Let op: De symbolen ‘- -‘ en ‘++’ zijn geen absolute kwaliteitsoordelen. Ze geven aan dat een opleiding (zeer) duidelijk lager of hoger wordt beoordeeld dan het landelijke wo-gemiddelde.

2. Berekening en klassengrenzen studentenoordelen

De studentenoordelen zijn gebaseerd op resultaten van de Nationale Studenten Enquête (2015 tm) 2017. Het betreft eigen selecties en bewerkingen van deze oordelen, afkomstig uit het “landelijk benchmarkbestand” over NSE2016. De oordelen zijn niet 1-op-1 af te leiden uit publicaties zoals die op de website Studiekeuze123.

Wij geven hier de essentie van onze bewerkingen en normen weer, als verantwoording voor een breed publiek. Voor instellingen die interesse hebben in gedetailleerde rapportage over sterke en zwakke punten van opleidingen (inclusief meerjarige trend) bestaat de mogelijkheid om speciale benchmarkrapporten te bestellen bij het Centrum Hoger Onderwijs Informatie.

Onze bewerking van de studentenoordelen omvat de volgende stappen:

  • 1. Selectie van 39 representatieve vragen, met optimale aansluiting op vragen uit het verleden
  • 2. Opschonen (gewijzigd 2017). Voorheen schrapten wij respondenten die minder dan 85% van ‘onze’ NSE-vragen beantwoordden. Dit jaar is daarvan afgezien: de invloed van deze ingreep was zeer klein. Wel is een beperkte cleaning op premasterstudenten uitgevoerd. Dit betreft 14 opleidingen waar een opvallend groot aantal studenten pro forma als bachelorstudent wordt ingeschreven, terwijl ze feitelijk alleen een premaster volgen (systematisch wegfilteren van premasterstudenten was dit jaar nog niet mogelijk, maar is het streven voor 2018)
  • 3. Per opleiding gemiddelde vraagscores berekenen, voor de overgebleven respondenten
  • 4. Landelijk wo-gemiddelde per vraag berekenen – gewogen op basis van populatieverhoudingen
  • 5. Betrouwbaarheidstoets: oordelen moeten een solide statistische basis hebben (gemiddelde betrouwbaarheidsmarge <0,3). Zo niet, dan worden de oordelen van 2 of 3 enquêtejaren gebundeld.
  • 6. Ordening in 8 hoofdthema’s en berekening themascores per opleiding.
  • 7. Bepaling klassengrenzen per hoofdthema, voor +/- scores in de Keuzegids
  • 8. Toepassing klassenindeling
  • 9. Controle kansverdeling

In stap 5 zijn wij strenger dan de officiële rapportages over de Nationale Studenten Enquête. Dit betekent dat op de websites van Studiekeuze123 en NSE Online opleidingen soms een oordeel krijgen op een volgens ons te smalle statistische basis.

In stap 1 en 6 destilleren proberen wij uit een veelheid van enquêtevragen de essentie over onderwijskwaliteit te destilleren. Deze stappen zijn enerzijds gebaseerd op 25 jaar ervaring en debat; anderzijds worden ze ondersteund door uitvoerige multivariate analyse en analyses van schaalbetrouwbaarheid.

Hierna focussen wij op de thema-indeling en de klassengrenzen. Allereerst wordt hier de selectie en thema-indeling van vragen toegelicht:

 

STUDENTENOORDELEN KEUZEGIDS UNIVERSITEITEN 2018: Selectie en indeling enquêtevragen
Hoofdthema Subthema Vraagnr Korte formulering Weging Vgl2017
1. PROGRAMMA: 10% =1 Inh-1 Niveau van de stof 0,02 0,013
Inh-4 Onderwijs stimulerend 0,02 0,013
Inh-6 Samenhang programma 0,02 0,013
Inh-7 Gehanteerde wervormen 0,02 0,013
Uitd_01 Uitgedaagd het beste uit jezelf.. 0,02 x
2. TOETSING: 10% =2 Toe-1 Duidelijke criteria 0,025 0,013
Toe-2 Aansluiting op de stof 0,025 0,013
Toe-4 Toetsing kennis/inzicht 0,025 0,013
Toe-5 Toetsing vaardigheden 0,025 0,013
3. DOCENTEN: 10% =3 Doc-1 Docenten deskundig 0,025 0,025
Doc-2 Didact kwaliteit docenten 0,025 0,025
Doc-5 Begeleiding door docenten 0,025 0,025
Doc-6 Feedback van docenten 0,025 0,025
4. WETSCH. VORMING: 10% =4 Wetv-2 Kritisch beoordelen van publicaties 0,025 0,02
Wetv-4 Schrijven van wetensch. artikelen 0,025 x
Wetv-5 Methoden en technieken v. onderz. 0,025 0,02
Wetv-7 Zelf onderzoek doen 0,025 0,02
5. PRAKTIJKGERICHTHEID: 10% 5a: Alg. vaardigh. AlV-1 Kritische houding gestimuleerd 0,0125 0,02
AlV-3 Leer probleemoplossen 0,0125 0,02
AlV-4 Onderbouwen conclusies 0,0125 0,02
AlV-7 Argumenteren 0,0125 0,02
5. PRAKTIJKGERICHTHEID: 10% 5b: Voorb. beroep VbB-1 Opdoen van beroepsvaardigheden 0,017 0,02
VbB-2 Praktijkgerichtheid 0,017 x
VbB-3 Contact beroepspraktijk 0,017 x
6. STUDEERBAARHEID: 10% =6 Slast-1 Spreiding studielast over ’t jaar 0,017 0,025
Slast-2 Haalbaarheid deadlines 0,017 0,025
Slast-4 Mogelijkh. onvertraagd studeren 0,017 0,025
Roost-3 Studierooster studeerbaar? 0,017 x
Info-2 Informatie studievoortgang 0,017 0,025
Info-5 Tijdige uitlagen toetsen 0,017 x
7. BEGELEIDING: 10% =7 Sbe-4 Beschikbaarh. Studiebegeleiding 0,025 x
Sbe-5 Kwaliteit studiebegeleiding 0,025 x
Doc-3 Bereikbaarheid docenten 0,025 x
Doc-4 Docenten betrokken bij stud 0,025 x
8. FACILITEITEN: 10% =8 Sfa-1 Kwal. onderwijsruimten 0,02 0,025
Sfa-3 Werkplekken zelfstudie 0,02 0,025
Sfa-5 Bibliotheek 0,02 0,025
Sfa-6 ICT-faciliteiten 0,02 0,025
Sfa-7 Digitale leeromgeving 0,02 x
De studentenoordelen bepalen samen voor 80% het oordeel over een opleiding

Alle oordelen zijn steeds vergeleken met het landelijke WO-gemiddelde. De scores zijn weliswaar afgeleid van de 5-puntsschaal van de Nationale Studentenenquête, maar in de Keuzegids worden de verschillen uitvergroot. Hier geven wij de klassengrenzen per hoofdthema. De breedte van de kwaliteitsklassen is ontleend aan de spreiding van alle oordelen. Bij het thema ‘studeerbaarheid’ zijn de kwaliteitsklassen 0,19 punt breed; bij ‘praktijkgerichtheid’ is dit 0,29 punt.

 

Klassengrenzen contacturen/studentenoordelen KG-UNI 2018
Gemidd – – – – – o + ++ +++
PROGRAMMA 3,84 <3,34 >3,34 >3,54 >3,74 >3,94 >4,14 >4,34
TOETSING 3,75 <3,25 >3,25 >3,45 >3,65 >3,85 >4,05 >4,25
DOCENTEN 3,8 <3,20 >3,20 >3,44 >3,68 >3,92 >4,16 >4,40
WETSCH. VORMING 3,66 <2,94 >2,94 >3,23 >3,52 >3,81 >4,10 >4,39
PRAKTIJKGERICHTH. 3,49 <2,87 >2,87 >3,12 >3,37 >3,62 >3,87 >4,12
STUDEERBAARHEID 3,66 <3,19 >3,19 >3,38 >3,57 >3,76 >3,95 >4,14
BEGELEIDING 3,73 <3,08 >3,08 >3,34 >3,60 >3,86 >4,12 >4,38
FACILITEITEN 3,67 <3,02 >3,02 >3,28 >3,54 >3,80 >4,06 >4,32

Voor alle hoofdthema’s geldt een vergelijkbare kansverdeling van de verschillende scores. Elke opleiding heeft bijna 40% kans op een gemiddelde score (o), twee keer rond de 25% kans op een enkele min of plus, en twee keer ongeveer 5% kans op een dubbele min of plus. De kans op de extreemste scores (3 min of 3 plus) ligt rond de 1 procent.

Hieronder geven wij ter illustratie de frequentieverdeling van alle oordelen:

NB: wie deze grafiek bekijkt, zal zien dat er bij meer opleidingen plussen vallen dan minnen. Deze scheve verdeling is geen toeval. De verklaring is dat hoge scores vooral bij kleine opleidingen vallen, en dat grootschalige opleidingen vaker zwak scoren. Het aantal studenten dat kritisch oordeelt, is dus niet kleiner, maar ze zijn geconcentreerd bij grotere opleidingen.

 

3. De expertoordelen: twee soorten NVAO-besluiten

Het ‘expertoordeel’ in de Keuzegids is gebaseerd op de oordelen uit NVAO-accreditatiebesluiten.

Vanwege de geleidelijke vernieuwing van het accreditatiestelsel (oude oordelen blijven doorgaans zes jaar geldig!), hebben we te maken met drie soorten besluiten, met elk een verschillende set aspectoordelen. Hoe wij hiermee omgaan, wordt toegelicht op een aparte pagina

 

4. Berekening totaalscore per opleiding

De totaalscore van elke opleiding wordt berekend op grond van de scores op de tien deelonderwerpen. Daarbij telt elk onderwerp even zwaar mee. Dit is de formule:

Totaalscore = Som (deelscores) x 2

Het resultaat is een cijfer op een schaal van 0 tot 100.

In de praktijk ligt de laagste score in deze gids op 30 en de hoogste iets boven de 100.

De gemiddelde opleiding scoort ongeveer 60 punten.

5. Gewogen scores per instelling

Voorin deze Keuzegids staan ook ranglijsten met totaalscores voor complete instellingen. Maar hoe kan je instellingen met een heel verschillend studie-aanbod op een eerlijke manier met elkaar vergelijken? Dat wordt gedaan met een speciale berekening:

stap 1: vergelijking met verwante opleidingen

We kijken eerst van elke opleiding of die hoger of lager scoort dan het gewogen* gemiddelde van zijn eigen groep verwante studies. Dat levert een verschilscore op.

stap 2: elke opleiding weegt zo zwaar als hij groot is

We berekenen een gewogen* instellingsgemiddelde

(*weegfactor is de instroom van de opleiding)

Instellingsscore = Som (verschilscore x weegfactor) voor alle opleidingen.

Voorbeeld: een universiteit heeft drie opleidingen:

– Geneeskunde scoort 66 punten, 4 punten onder het Geneeskunde-gemiddelde. De instroom is 200.

– De opleiding Nederlands scoort 68 punten, 6 punten boven het gemiddelde. De instroom is 100

– De opleiding Psychologie scoort 63 punten, vier punten boven het gemiddelde. Deze opleiding telt 400 eerstejaars.

De berekening gaat nu als volgt:

– Geneeskunde: – 4 x 200 = – 800 punt

– Nederlands.: + 6 x 100 = + 600 punt

– Psychologie: + 3 x 400 = +1200 punt

Totaal: 1000 punten / 700* = 1,43 punten

Dit ronden we af op halve punten, dus wordt het + 1,5 punt

*) 700 = de optelsom van de drie instromen.

Dit getal wordt opgeteld bij de gemiddelde totaalscore van alle opleidingen. Deze is 60 punten. De totaalscore van de instelling voor de ranking is dan 60 + 1,5 = 61,5 punten.

NB: op dezelfde wijze zijn de scores per faculteit/sector berekend, die de basis vormen voor de +/- scores in de overzichtstabel op pagina 9. 

 

=> Instellingsscores “beheersing Engels” en “internationalisering”

Bij de rapportcijfers over deze beide onderwerpen is geen getrapte berekenind gemaakt (dus eerst vergelijkend per vakgebied), maar hebben wij per instelling het populatiegewogen gemiddelde berekend van de NSE-scores op een vijfpuntsschaal. Deze scores zijn met een eenvoudige formule vertaald naar rapportcijfers. Daarbij gold:

Rapportcijfer = 1,6 * NSEscore + 1,25

Maastricht scoort bijvoorbeeld gemiddeld 3,87 op een vijfpuntsschaal. Met dee formule wordt dit een rapportcijfer 7,4. Twente en Eindhoven scoren 3,15 en 3,17. Dit worden rapportcijfers 6,3.