Keuzegids Universiteiten 2011:
Berekeningswijze en normen
Voor de ranglijsten van de Keuzegids zijn originele gegevens omgerekend naar een 7-puntsschaal, die loopt van (- – -) via o tot (+++). De uiterste klassen worden slechts in enkele gevallen benut. Meestal is er dus sprake van een 5-puntsschaal. Per type gegevens lichten wij hier de berekeningswijze en de gehanteerde normen toe:
1. Klassegrenzen voor de 'feiten' per opleiding
Elke opleiding krijgt plussen en minnen toegekend, volgens onderstaande normen:
Let op: De symbolen '- -' en '++' zijn geen absolute kwaliteitsoordelen. Ze geven aan dat een opleiding (zeer) duidelijk lager of hoger wordt beoordeeld dan het landelijke wo-gemiddelde.
2. Berekening en klassegrenzen studentenoordelen
De studentenoordelen zijn gebaseerd op resultaten van de Nationale Studentenenquête 2010. Het betreft eigen selecties en bewerkingen van deze oordelen, afkomstig uit het "landelijk benchmarkbestand" uit NSE2010. De oordelen zijn niet 1-op-1 af te leiden uit publicaties zoals die op de website Studiekeuze123.
Wij geven hier de essentie van onze bewerkingen en normen weer, als verantwoording voor een breed publiek. Voor instellingen die interesse hebben in gedetailleerde rapportage over sterke en zwakke punten van opleidingen (inclusief meerjarige trend) bestaat de mogelijkheid om speciale benchmarkrapporten te bestellen bij het Centrum Hoger Onderwijs Informatie.
Onze bewerking van de studentenoordelen omvat de volgende stappen:
1. Opschonen van het bestand (alleen studenten die minstens 65 van 77 relevante vragen beantwoordden, zijn meegeteld)
2. Berekening van gemiddelde vraagscores per opleiding, voor de overgebleven respondenten
3. Berekening landelijk Wo-gemiddelde per vraag – met weging op basis van populatieverhoudingen
4. Selectie van 28 representatieve vragen, met optimale aansluiting op vragen uit het verleden
5. Schrappen of bundelen van alle oordelen met te kleine steekproef of te grote onbetrouwbaarheid
6. Ordening in 9 thema's + berekening van themascores per opleiding/groep opleidingen
7. Verdere bundeling tot 5 hoofdthema's
8. Bepaling klassengrenzen per hoofdthema, voor +/- scores in de Keuzegids
9. Toepassing klassenindeling
10. Controle kansverdeling
In stap 1 en 5 zijn wij strenger geweest dan de officiële rapportages over de Nationale Studenten Enquête. Dit betekent dat op de websites van Studiekeuze123 en NSE Online opleidingen een oordeel krijgen op een volgens ons te smalle statistische basis.
In stap 4, 6 en 7 proberen wij uit een veelheid van 77 enquêtevragen de essentie over onderwijskwaliteit te destilleren – en wel zodanig, dat dit ook aansluit op kwaliteitsthema's uit het verleden.
Met stap 1, 2 en 6 tenslotte vermijden wij dat de beoordeling van opleidingen wordt vertekend door verschillen in wel/niet beantwoorde vragen (anders kan een opleiding ervan profiteren als een 'lastige' vraag enkele malen niet beantwoord is)
Hierna focusen wij op de thema-indeling en de klassengrenzen. Allereerst wordt hier de selectie en thema-indeling van vragen toegelicht:
De bovenstaande wegingspercentages betreffen steeds het aandeel van elke vraag en elk thema in het totaal van de in de Keuzegids getoonde studentenoordelen. Deze oordelen zelf vormen 5 van de 10 beoordelingscriteria van de Keuzegids. Het aandeel van elke vraag in de totale rankingscore van een opleiding is dus de helft van de hier vermelde percentages.
Alle oordelen zijn steeds vergeleken met het landelijke WO-gemiddelde. Hier geven wij de klassengrenzen per hoofdthema. De scores zijn weliswaar afgeleid van de 5-puntsschaal van de Nationale Studentenenquête, maar in de Keuzegids worden de verschillen uitvergroot. Elke kwaliteitsklasse is daarbij 0,24 punt breed. Deze klassenbreedte is ontleend aan de gemiddelde betrouwbaarheidmarge van alle oordelen.
Voor alle vijf de hoofdthema's geldt een vergelijkbare kansverdeling van de verschillende scores. Elke opleiding heeft bijna 40% kans op een gemiddelde score (''o"), bijna 25% kans op een enkele min ("-") en idem op een enkele plus ("+")'. De kans op een sterk positieve of negatieve score is tweemaal ruim 5%.
Hieronder geven wij de frequentieverdeling van alle oordelen:
Deze kansverdeling komt vrijwel exact overeen met die uit de Keuzegids Universiteiten 2010, toen de oordelen nog gebaseerd waren op een enquête met andere vragen en een andere beoordelingsschaal. Uit 'onvergelijkbare' enquêtes zijn dus zowel naar inhoud als naar spreiding sterk vergelijkbare oordelen afgeleid. Bij opleidingen die zowel in 2009 als 2010 zijn beoordeeld vinden wij ook een sterk significante samenhang tussen de oordelen in beirde jaren.
De middelste klasse (o), waarde 3 punten, omvat steeds de scores "gemiddelde ± 0,5 klassebreedte"
De klasse 'goed' (+), waarde 4 punten, omvat de scores tussen "GEM + 0,5 KBR" en "GEM + 1,5 KBR"
Als voorbeeld geven we hier de concrete klassegrenzen per issue voor het jaar 2008:
3. Berekening en klassegrenzen expertoordelen
Het 'expertoordeel' in de Keuzegids is gebaseerd op de oordelen uit VBI-rapporten over 5 facetten van de opleiding. Dit betreft: "Niveau bachelor", "eisen programma", "eisen personeel", "kwaliteit personeel" en "gerealiseerd niveau".
Deze facetten worden in de VBI-rapporten beoordeeld met 'onvoldoende', 'voldoende', 'goed' of 'excellent'. Deze scores coderen wij als 1,2,3,4
Een gemiddelde score op deze vijf punten van 2,0 tm 2,4 rekenen wij als "voldoende". 2,6 en 2,8 is 'goed' en daarboven is 'uitstekend' [NB: in het hbo hanteren wij een wat strengere norm, omdat visitatiepanels daar systematisch guller zijn geweest met positieve oordelen].
4. Berekening totaalscore per opleiding
De totaalscore van elke opleiding wordt berekend op grond van de scores op de tien deelonderwerpen. Daarbij telt elk onderwerp even zwaar mee. Dit is de formule:
Totaalscore = Som (deelscores) x 2
Het resultaat is een cijfer op een schaal van 0 tot 100. De gemiddelde opleiding scoort ongeveer 60 punten. De uitersten liggen in de praktijk bij 34 en 90 punten.
5. Gewogen scores per instelling
Voorin de Keuzegids staan ook ranglijsten met totaalscores voor complete instellingen. Maar hoe kan je instellingen met een heel verschillend studie-aanbod op een eerlijke manier met elkaar vergelijken? Dat wordt gedaan met een speciale berekening:
stap 1: vergelijking met verwante opleidingen
We kijken eerst van elke opleiding of die hoger of lager scoort dan het gewogen* gemiddelde van zijn eigen groep verwante studies. Dat levert een verschilscore op.
stap 2: elke opleiding weegt zo zwaar als hij groot is
We berekenen een gewogen* instellingsgemiddelde
(*weegfactor is de instroom van de opleiding)
Instellingsscore = Som (verschilscore x weegfactor) voor alle opleidingen.
Voorbeeld: een hogeschool heeft drie opleidingen:
– Biologie scoort 66 punt, 4 punt onder het bio-gemiddelde. De instroom is 200.
– De opleiding Kunstgeschiedenis scoort 68 punt, 6 punten boven het gemiddelde. De instroom is 100
– De opleiding Bedrijfskunde scoort 64 punten, is +4. Deze opleiding telt 400 eerstejaars.
De berekening gaat nu als volgt:
– Bio: – 4 x 200 = – 800 punt
– Kuges: + 6 x 100 = + 600 punt
– Bdrk: + 4 x 400 = +1600 punt
Totaal: 1400 punten / 700* = + 2 punten
*) 700 = de optelsom van de drie instromen.
Dit getal wordt opgeteld bij de gewogen gemiddelde totaalscore van alle opleidingen. Dit gemiddelde is 60 punten. De totaalscore van de instelling voor de ranking is dan 60 + 2 = 62 punten.
NB: bij instellingen met maar één opleiding zal de instellingsscore dus vaak afwijken van de score in de opleidingstabel!
Als bovenstaande universiteit alleen biologie had, zouden we de volgende scores zien:
– Opleidingsscore: 66, (maar wel 4 punt onder het landelijke bio-gemiddelde)
– Instellingsscore 61 – 4 = 57!
Het verschil is dat de instellingsscore een "correctie voor disciplinemix" bevat, omdat het (nog steeds in dit voorbeeld) voor biologie makkelijker is om 66 punten te scoren dan met een opleiding bedrijfskunde.