Voor de ranglijsten van de Keuzegids zijn originele gegevens omgerekend naar een 7-puntsschaal, die loopt van (- – -) via o tot (+++). De uiterste klassen worden slechts in enkele gevallen benut. Meestal is er dus sprake van een 5-puntsschaal. Per type gegevens lichten wij hier de berekeningswijze en de gehanteerde normen toe:

1. Klassengrenzen ‘survival 1e jaar

Elke opleiding krijgt plussen en minnen toegekend, volgens onderstaande normen:

Let op: De symbolen ‘- -‘ en ‘++’ zijn geen absolute kwaliteitsoordelen. Ze geven aan dat een opleiding (zeer) duidelijk lager of hoger wordt beoordeeld dan het landelijke wo-gemiddelde.

2. Berekening en klassegrenzen studentenoordelen

De studentenoordelen zijn gebaseerd op resultaten van de Nationale Studentenenquête 2013. Het betreft eigen selecties en bewerkingen van deze oordelen, afkomstig uit het “landelijk benchmarkbestand” over NSE2014. De oordelen zijn niet 1-op-1 af te leiden uit publicaties zoals die op de website Studiekeuze123.

Wij geven hier de essentie van onze bewerkingen en normen weer, als verantwoording voor een breed publiek. Voor instellingen die interesse hebben in gedetailleerde rapportage over sterke en zwakke punten van opleidingen (inclusief meerjarige trend) bestaat de mogelijkheid om speciale benchmarkrapporten te bestellen bij het Centrum Hoger Onderwijs Informatie.

Onze bewerking van de studentenoordelen omvat de volgende stappen:

  • 1. Opschonen van het bestand (alleen studenten die minstens 31 van 37 relevante vragen beantwoordden, zijn meegeteld)
  • 2. Berekening van gemiddelde vraagscores per opleiding, voor de overgebleven respondenten
  • 3. Berekening landelijk Wo-gemiddelde per vraag – met weging op basis van populatieverhoudingen
  • 4. Selectie van 37 representatieve vragen, met optimale aansluiting op vragen uit het verleden
  • 5. Schrappen of bundelen van alle oordelen met te kleine steekproef of te grote onbetrouwbaarheid
  • 6. Ordening in 10 thema’s + berekening van themascores per opleiding/groep opleidingen
  • 7. Verdere bundeling tot 6 hoofdthema’s
  • 8. Bepaling klassengrenzen per hoofdthema, voor +/- scores in de Keuzegids
  • 9. Toepassing klassenindeling
  • 10. Controle kansverdeling

In stap 1 en 5 zijn wij strenger dan de officiële rapportages over de Nationale Studenten Enquête. Dit betekent dat op de websites van Studiekeuze123 en NSE Online opleidingen een oordeel krijgen op een volgens ons te smalle statistische basis.

In stap 4, 6 en 7 proberen wij uit een veelheid van enquêtevragen de essentie over onderwijskwaliteit te destilleren – en wel zodanig, dat dit ook aansluit op kwaliteitsthema’s uit het verleden.

Met stap 1, 2 en 6 tenslotte vermijden wij dat de beoordeling van opleidingen wordt vertekend door verschillen in wel/niet beantwoorde vragen (anders kan een opleiding ervan profiteren als een ‘lastige’ vraag enkele malen niet beantwoord is)

Hierna focussen wij op de thema-indeling en de klassengrenzen. Allereerst wordt hier de selectie en thema-indeling van vragen toegelicht:

De bovenstaande wegingspercentages betreffen steeds het aandeel van elke vraag en elk thema in het totaal van de in de Keuzegids getoonde studentenoordelen. Deze oordelen zelf vormen 7 van de 10 beoordelingscriteria van de Keuzegids. Het aandeel van elk enquetethema is dus precies 10% van de totaalscore van een opleiding.

Alle oordelen zijn steeds vergeleken met het landelijke WO-gemiddelde. De scores zijn weliswaar afgeleid van de 5-puntsschaal van de Nationale Studentenenquête, maar in de Keuzegids worden de verschillen uitvergroot. Hier geven wij de klassengrenzen per hoofdthema. De breedte van de kwaliteitsklassen is ontleend aan de spreiding van alle oordelen. Bij het thema ‘Ínhoud’ zijn de kwaliteitsklassen 0,20 punt breed; bij ‘wetenschappelijke vorming’ is dit 0,27 punt.

Voor alle hoofdthema’s geldt een vergelijkbare kansverdeling van de verschillende scores. Elke opleiding heeft bijna 40% kans op een gemiddelde score (o), twee keer bijna 25% kans op een enkele min of plus, en twee keer ruim 5% kans op een dubbele min of plus. De kans op de extreemste scores (3 min of 3 plus) ligt rond de 1 procent.

Hieronder geven wij ter illustratie de frequentieverdeling van alle oordelen:

 

3. De expertoordelen: twee soorten NVAO-besluiten; normstelling

Het ‘expertoordeel’ in de Keuzegids is gebaseerd op de oordelen uit NVAO-accreditatiebesluiten. Vanwege de geleidelijke vernieuwing van het accreditatiestelsel (oude oordelen blijven doorgaans zes jaar geldig!), hebben we te maken met twee soorten besluiten, met elk een verschillende set aspectoordelen.

a.   Oude accreditatiebesluiten (genomen vóór herfst 2012). 7 beoordeelde onderwerpen. 21 facetten of aspecten.

b.   Nieuw, Beperkte Toets. 3 beoordeelde hoofdissues, 1 totaaloordeel

Van de nieuwe Beperkte Toets worden alle oordelen door ons gebruikt. Bij de uitgebreide oordelen hebben wij 5 aspecten geselecteerd die over de essentie van de onderwijskwaliteit gaan, met name over het ‘niveau’ van de opleiding. Hieronder wordt dit in drie stappen toegelicht.

Stap 1: berekening ‘NVAO-punten’

Er zijn dus steeds 4 (groepen) aspecten waarop punten verdiend worden. De telling is zo: onvoldoende = 2;  voldoende = 3;  goed = 4;  uitstekend = 5.

Een opleiding die louter ‘voldoende’ scoort, krijgt dus steeds 12 punten

Stap 2: vertaling naar score Keuzegids

Minder dan 12 NVAO-punten is in de Keuzegids ALTIJD onvoldoende. Hogere scores leveren in de Keuzegids stapsgewijs plussen op. Zie hieronder de details van onze normen:

Deze normen vragen om toelichting. Bij andere beoordelingscriteria hanteert de Keuzegids relatieve normen: opleidingen die hoger of lager dan het gemiddelde presteren krijgen één tot drie plussen of minnen. Bij de accreditatiescores wijken wij hier welbewust van af. Alleen als de NVAO een opleiding één of meer onvoldoendes geeft, krijgt de opleiding in de Keuzegids één of twee mintekens bij het expertoordeel.

Anders gezegd: bij de NVAO heeft een onvoldoende absolute betekenis. In die context zou het niet passen als de Keuzegids aan opleidingen met louter voldoendes een ‘min’ zou geven omdat ze lager scoren dan het gemiddelde. Door deze aanpak krijgt uiteraard slechts een kleine minderheid van de opleidingen een ‘min’ bij het expertoordeel.

 

4. Berekening totaalscore per opleiding

De totaalscore van elke opleiding wordt berekend op grond van de scores op de tien deelonderwerpen. Daarbij telt elk onderwerp even zwaar mee. Dit is de formule:

Totaalscore = Som (deelscores) x 2

Het resultaat is een cijfer op een schaal van 0 tot 100.

In de praktijk ligt de laagste score in deze gids op 30 en de hoogste op precies 100.

De gemiddelde opleiding scoort ongeveer 61 punten.

5. Gewogen scores per instelling

Voorin deze Keuzegids staan ook ranglijsten met totaalscores voor complete instellingen. Maar hoe kan je instellingen met een heel verschillend studie-aanbod op een eerlijke manier met elkaar vergelijken? Dat wordt gedaan met een speciale berekening:

stap 1: vergelijking met verwante opleidingen

We kijken eerst van elke opleiding of die hoger of lager scoort dan het gewogen* gemiddelde van zijn eigen groep verwante studies. Dat levert een verschilscore op.

stap 2: elke opleiding weegt zo zwaar als hij groot is

We berekenen een gewogen* instellingsgemiddelde

(*weegfactor is de instroom van de opleiding)

Instellingsscore = Som (verschilscore x weegfactor) voor alle opleidingen.

Voorbeeld: een universiteit heeft drie opleidingen:

– Geneeskunde scoort 66 punt, 4 punt onder het Geneeskunde-gemiddelde. De instroom is 200.

– De opleiding Nederlands scoort 68 punt, 6 punten boven het gemiddelde. De instroom is 100

– De opleiding Psychologie scoort 64 punten, is +4. Deze opleiding telt 400 eerstejaars.

De berekening gaat nu als volgt:

– Genees: – 4 x 200 = – 800 punt

– Nederl.: + 6 x 100 = + 600 punt

– Psychol: + 4 x 400 = +1600 punt

Totaal: 1400 punten / 700* = + 2 punten

*) 700 = de optelsom van de drie instromen.

Dit getal wordt opgeteld bij de gewogen gemiddelde totaalscore van alle opleidingen. Dit gemiddelde is 61 punten. De totaalscore van de instelling voor de ranking is dan 61 + 2 = 63 punten.

NB: op dezelfde wijze zijn de scores per faculteit/sector berekend, die de basis vormen voor de +/- scores in de overzichtstabel op pagina 9.