Methodiek Keuzegids Universiteiten 2019 (berekeningen)

Wij geven hier de essentie van onze bewerkingen en normen weer, als verantwoording voor een breed publiek. Voor instellingen die interesse hebben in gedetailleerde rapportage over sterke en zwakke punten van opleidingen (inclusief meerjarige trend) bestaat de mogelijkheid om speciale benchmarkrapporten te bestellen.

Voor de ranglijsten van de Keuzegids zijn originele gegevens omgerekend naar een 6-puntsschaal, die loopt van (- – -) via o tot (++). Deze dienen te lezen worden als scores van 0 t/m 5. De laagste klasse wordt slechts in enkele gevallen benut. Meestal is er dus sprake van een 5-puntsschaal (1 t/m 5). Per type gegevens lichten wij hier de berekeningswijze en de gehanteerde normen toe:

Klassengrenzen ‘survival 1e jaar’

Elke opleiding krijgt plussen en minnen toegekend, volgens onderstaande normen:

Norm “Survival 1e jaar”
Klasse Symbool % naar jr 2
1 – – tot 63%
2 tot 73%
3 o tot 83%
4 + tot 93%
5 ++ v.a. 93%

Let op: De symbolen ‘- -‘ en ‘++’ zijn geen absolute kwaliteitsoordelen. Ze geven aan dat een opleiding (zeer) duidelijk lager of hoger wordt beoordeeld dan het landelijke wo-gemiddelde.

Berekening en klassengrenzen studentenoordelen

De studentenoordelen zijn gebaseerd op resultaten van de Nationale Studenten Enquête (2017 tm) 2018. Het betreft eigen selecties en bewerkingen van deze oordelen, afkomstig uit het “landelijk benchmarkbestand” over de NSE 2018. De oordelen zijn niet 1-op-1 af te leiden uit publicaties zoals die op de website Studiekeuze123.

Onze bewerking van de studentenoordelen omvat de volgende stappen:

  • Selectie van 39 representatieve vragen, met optimale aansluiting op vragen uit het verleden
  • Per opleiding gemiddelde vraagscores berekenen, voor de overgebleven respondenten
  • Landelijk wo-gemiddelde per vraag berekenen – gewogen op basis van populatieverhoudingen
  • Betrouwbaarheidstoets: oordelen moeten een solide statistische basis hebben (gemiddelde betrouwbaarheidsmarge <0,25). Zo niet, dan worden de oordelen van 2 enquêtejaren gebundeld. Daarbij geldt dan een marge van 0,3 als het maximaal aanvaardbare.
  • Ordening in 7 hoofdthema’s en berekening themascores per opleiding.
  • Bepaling klassengrenzen per hoofdthema, voor +/- scores in de Keuzegids (op basis van gemiddelde en spreiding voor het gehele wo)
  • Toepassing klassenindeling
  • Controle kansverdeling

De betrouwbaarheidstoets is strenger dan de officiële rapportages over de Nationale Studenten Enquête. Dit betekent dat op de websites van Studiekeuze123 en NSE Online opleidingen soms een oordeel krijgen op een volgens ons te smalle statistische basis.

In stappen proberen wij uit een veelheid van enquêtevragen de essentie over onderwijskwaliteit te destilleren. Deze stappen zijn enerzijds gebaseerd op 25 jaar ervaring en debat; anderzijds worden ze ondersteund door uitvoerige multivariate analyse en analyses van schaalbetrouwbaarheid.

Hierna focussen wij op de thema-indeling en de klassengrenzen. Allereerst wordt hier de selectie en thema-indeling van vragen toegelicht:

 

STUDENTENOORDELEN KEUZEGIDS UNIVERSITEITEN 2019: Selectie en indeling enquêtevragen
Hoofdthema Subthema Vraagnr Korte formulering Weging
0. CONTACTUREN: 10% =0 contact-1 gem. aantal contacturen p/week 5%
contact-2 Te weinig/ te veel? 5%
1. PROGRAMMA: 10% =1 Inh-1 Niveau van de stof 2%
Inh-4 Onderwijs stimulerend 2%
Inh-6 Samenhang programma 2%
Inh-7 Gehanteerde wervormen 2%
Uitd_01 Uitgedaagd het beste uit jezelf.. 2%
2. TOETSING: 10% =2 Toe-1 Duidelijke criteria 2,5%
Toe-2 Aansluiting op de stof 2,5%
Toe-4 Toetsing kennis/inzicht 2,5%
Toe-5 Toetsing vaardigheden 2,5%
3. DOCENTEN: 10% =3 Doc-1 Docenten deskundig 2,5%
Doc-2 Didact kwaliteit docenten 2,5%
Doc-5 Begeleiding door docenten 2,5%
Doc-6 Feedback van docenten 2,5%
4. WETSCH. VORMING: 10% =4 Wetv-2 Kritisch beoordelen van publicaties 2,5%
Wetv-4 Schrijven van wetensch. artikelen 2,5%
Wetv-5 Methoden en technieken v. onderz. 2,5%
Wetv-7 Zelf onderzoek doen 2,5%
5. PRAKTIJKGERICHTHEID: 10% 5a: Alg. vaardigh. AlV-1 Kritische houding gestimuleerd 1,25%
AlV-3 Leer probleemoplossen 1,25%
AlV-4 Onderbouwen conclusies 1,25%
AlV-7 Argumenteren 1,25%
5b: Voorb. beroep VbB-1 Opdoen van beroepsvaardigheden 1,7%
VbB-2 Praktijkgerichtheid 1,7%
VbB-3 Contact beroepspraktijk 1,7%
6. STUDEERBAARHEID: 10% =6 Slast-1 Spreiding studielast over ’t jaar 1,7%
Slast-2 Haalbaarheid deadlines 1,7%
Slast-4 Mogelijkh. onvertraagd studeren 1,7%
Roost-3 Studierooster studeerbaar? 1,7%
Info-2 Informatie studievoortgang 1,7%
Info-5 Tijdige uitlagen toetsen 1,7%
7. FACILITEITEN: 10% =7 Sfa-1 Kwal. onderwijsruimten 2%
Sfa-3 Werkplekken zelfstudie 2%
Sfa-5 Bibliotheek 2%
Sfa-6 ICT-faciliteiten 2%
Sfa-7 Digitale leeromgeving 2%
De studentenoordelen bepalen samen voor 70% het oordeel over een opleiding.
Contacturen tellen, samen met Survival 1e jaar, voor 20% mee als prestatie-oordeel.
Expertoordelen vormen de laatste 10% van het totaaloordeel.

Alle oordelen zijn steeds vergeleken met het landelijke WO-gemiddelde. De scores zijn weliswaar afgeleid van de 5-puntsschaal van de Nationale Studenten Enquête, maar in de Keuzegids worden de verschillen uitvergroot. Hier geven wij de klassengrenzen per hoofdthema. De breedte van de kwaliteitsklassen is ontleend aan de spreiding van alle oordelen. Bij het thema ‘studeerbaarheid’ zijn de kwaliteitsklassen 0,19 punt breed; bij ‘praktijkgerichtheid’ is dit 0,29 punt

Klassengrenzen contacturen/studentenoordelen KG-UNI 2019
Gemidd – – – – – o + ++
CONTACTUREN 2,91 <2.41 >2.41 >2.61 >2.81 >3.01 >3.21
PROGRAMMA 3,82 <3,32 >3,32 >3,52 >3,72 >3,92 >4,12
TOETSING 3,73 <3,23 >3,23 >3,43 >3,63 >3,83 >4,03
DOCENTEN 3,76 <3,16 >3,16 >3,40 >3,64 >3,88 >4,12
WETSCH. VORMING 3,63 <2,91 >2,91 >3,20 >3,49 >3,78 >4,07
PRAKTIJKGERICHTH. 3,47 <2,85 >2,85 >3,10 >3,35 >3,60 >3,85
STUDEERBAARHEID 3,66 <3,19 >3,19 >3,38 >3,57 >3,76 >3,95
FACILITEITEN 3,67 <3,02 >3,02 >3,28 >3,54 >3,80 >4,06

Voor alle hoofdthema’s geldt een vergelijkbare kansverdeling van de verschillende scores. Elke opleiding heeft bijna 40% kans op een gemiddelde score (o), twee keer rond de 25% kans op een enkele min of plus, en twee keer samen ruim 10% kans op een dubbele min of plus. De kans op de extreemste scores (3 min) ligt minder dan 1 procent.

Hieronder geven wij ter illustratie de frequentieverdeling van alle oordelen:

NB: wie deze grafiek bekijkt, zal zien dat er bij meer opleidingen plussen vallen dan minnen. Deze scheve verdeling is geen toeval. De verklaring is dat hoge scores vooral bij kleine opleidingen vallen, en dat grootschalige opleidingen vaker zwak scoren. Het aantal studenten dat kritisch oordeelt, is dus niet kleiner, maar ze zijn geconcentreerd bij grotere opleidingen.

De expertoordelen: twee soorten NVAO-besluiten

Het ‘expertoordeel’ in de Keuzegids is gebaseerd op de oordelen uit NVAO-accreditatiebesluiten.

Vanwege de geleidelijke vernieuwing van het accreditatiestelsel (oude oordelen blijven doorgaans zes jaar geldig!), hebben we te maken met verschillende soorten besluiten, met elk een verschillende set aspectoordelen. Hoe wij hiermee omgaan, wordt toegelicht op een aparte pagina

Berekening totaalscore per opleiding

De totaalscore van elke opleiding wordt berekend op grond van de scores op de tien deelonderwerpen. Daarbij telt elk onderwerp even zwaar mee. Dit is de formule:

 Totaalscore = Som (deelscores) x 2

Hierbij geldt dat de deelscores corresponderen met de oordelen, waarbij – – – = 0pt en elke volgende stap is één punt meer (o = 3pt, ++ = 5pt). Het resultaat is een cijfer op een schaal van 0 tot 100.
In de praktijk ligt de laagste score in deze gids rond de 30 en de hoogste rond de 100.
De gemiddelde opleiding scoort ongeveer 60 punten (= alle oordelen scoren gemiddeld, dus 3pt x 10 oordelen x 2 = 60).

Gewogen scores per instelling

Voorin deze Keuzegids staan ook ranglijsten met totaalscores voor complete instellingen. Maar hoe kan je instellingen met een heel verschillend studieaanbod op een eerlijke manier met elkaar vergelijken? Dat wordt gedaan met een speciale berekening:

stap 1: vergelijking met verwante opleidingen

We kijken eerst van elke opleiding of die hoger of lager scoort dan het gewogen* gemiddelde van zijn eigen groep verwante studies. Dat levert een verschilscore op.

stap 2: elke opleiding weegt zo zwaar als hij groot is

We berekenen een gewogen* instellingsgemiddelde

(*weegfactor is de instroom van de opleiding)

Instellingsscore = Som (verschilscore x weegfactor) voor alle opleidingen.

Voorbeeld: een universiteit heeft drie opleidingen:

  • Geneeskunde scoort 66 punten, 4 punten onder het Geneeskunde-gemiddelde. De instroom is 200.
  • De opleiding Nederlands scoort 68 punten, 6 punten boven het gemiddelde. De instroom is 100
  • De opleiding Psychologie scoort 63 punten, vier punten boven het gemiddelde. Deze opleiding telt 400 eerstejaars.

De berekening gaat nu als volgt:

  • Geneeskunde: – 4 x 200 = – 800 punt
  • Nederlands.: + 6 x 100 = + 600 punt
  • Psychologie: + 3 x 400 = +1200 punt

Totaal: 1000 punten / 700* = 1,43 punten

Dit ronden we af op halve punten, dus wordt het + 1,5 punt

*) 700 = de optelsom van de drie instromen.

Dit getal wordt opgeteld bij de gemiddelde totaalscore van alle opleidingen. Deze is 60 punten. De totaalscore van de instelling voor de ranking is dan 60 + 1,5 = 61,5 punten.

NB: op dezelfde wijze zijn de scores per faculteit/sector berekend, die de basis vormen voor de +/- scores in de overzichtstabel op pagina 9. 

=> Instellingsscores “beheersing Engels” en “internationalisering”

Bij de rapportcijfers over deze beide onderwerpen is geen getrapte berekenind gemaakt (dus eerst vergelijkend per vakgebied), maar hebben wij per instelling het populatiegewogen gemiddelde berekend van de NSE-scores op een vijfpuntsschaal. Deze scores zijn met een eenvoudige formule vertaald naar rapportcijfers. Daarbij gold:

Rapportcijfer = 1,6 * NSEscore + 1,25

Maastricht scoort bijvoorbeeld gemiddeld 3,87 op een vijfpuntsschaal. Met deze formule wordt dit een rapportcijfer 7,4. Twente en Eindhoven scoren 3,15 en 3,17. Dit worden rapportcijfers 6,3.